《计算机应用杂志》发表论文赏析
作者:赵宇晴, 向阳
单位:同济大学 计算机科学与技术系, 上海 201800
摘要:面向对话生成问题,提出一种构建对话生成模型的方法--基于分层编码的深度增强学习对话模型(EHRED),用以解决当前标准序列到序列(seq2seq)结构采用最大似然函数作为目标函数所带来的易生成通用回答的问题。该方法结合了分层编码和增强学习技术,利用分层编码来对多轮对话进行建模,在标准seq2seq的基础上新增了中间层来加强对历史对话语句的记忆,而后采用了语言模型来构建奖励函数,进而用增强学习中的策略梯度方法代替原有的最大似然损失函数进行训练。实验结果表明EHRED能生成语义信息更丰富的回答,在标准的人工测评中,其效果优于当前广泛采用的标准seq2seq循环神经网络(RNN)模型5.7~11.1个百分点。
关键词:对话生成,深度增强学习,分层编码,循环神经网络,序列到序列
基金资助:国家自然科学基金资助项目(71571136);国家973计划项目(2014CB340404);上海市科委基础研究项目(16JC1403000)。