基于单向Transformer和孪生网络的多轮任务型对话技术
来源：计算机工程杂志2021年第7期北京时间：
作者：王涛, 刘超辉, 郑青青, 黄嘉曦
单位：深圳市易马达科技有限公司, 广东 深圳 518055
摘要：循环神经网络和Transformer在多轮对话系统的建模上依赖大量的样本数据且回复准确率过低。为此，提出一种针对任务型对话系统的建模方法。引入预训练模型对句子语意和对话过程进行深度编码，对Transformer模型进行精简，仅保留编码器部分的单向Transformer，将应答部分抽象成不同的指令，采用孪生网络对指令进行相似度排序，选择相似度最高的指令生成应答。在MultiWOZ数据集上的实验结果表明，与LSTM和基于Transformer模型相比，该方法预测速度更快，在小数据集上具有更好的性能，在大数据集上也能取得与当前先进模型相当的效果。
关键词：循环神经网络,多轮对话系统,预训练模型,Transformer模型,孪生网络
基金资助：中美绿色基金（MA009RX18）。
