引入位置编码机制对抗网络的文本生成模型

来源：计算机技术与发展杂志2024年第09期北京时间：

作者：贺妮;牟莉;万晓慧

摘要：针对目前对抗网络文本生成模型在生成文本时,出现词与词之间位置关系紊乱导致文本逻辑不通的问题,该文提出了一种引入位置编码机制对抗网络的文本生成模型(Position-Encoding GAN,PE_GAN)并进行探讨和验证。 在对抗神经网络模型的基础上引入位置编码机制,可以通过带有位置编码的词向量来标记文本中词与词之间的位置关系,生成器和判别器使用 GRU 神经网络的门控机制来减少梯度消失,同时利用蒙特卡洛策略思想来降低数据过拟合风险并提高生成文本的准确性。 为了验证 PE_GAN 模型的有效性,使用开源数据和网络爬取的小说和新闻文本共同作为实验的数据集,结果表明:该模型中生成器和判别器 loss 值的差距比对比模型小,表明生成的文本更加接近真实文本;与 Gumbel-softmax GAN 模型、seq-GAN 模型和 LFMGAN 模型相比,PE_GAN 模型的 BLEU-2、BLEU-3 和 BLEU-4 的值分别都有明显的提高,表明引入位置编码机制后可以改善生成文本的逻辑性,由此可知该模型有较好的应用性。

关键词：生成对抗神经网络;位置编码;文本生成;GRU神经网络;蒙特卡洛策略