融合动态卷积注意力的机器阅读理解研究

来源：计算机技术与发展杂志2023年第07期北京时间：

作者：吴春燕;李理;黄鹏程;刘知贵;';张小乾

单位：1. 西南科技大学 计算机科学与技术学院,四川 绵阳 621000;2. 西南科技大学 信息工程学院,四川 绵阳 621000

摘要：针对机器阅读理解在采用长短期记忆神经网络和注意力机制处理文本序列信息时,存在特征信息提取不足和预测结果准确性不高的问题,提出了一种融合动态卷积注意力的片段抽取型机器阅读理解模型。 该模型考虑到 LSTM 的当前输入和之前的状态相互独立,可能会导致上下文信息丢失,采用 Mogrifier 作为编码器,让当前输入与前一个状态充分交互多次,增强上下文和问题中的显著结构特征并减弱其次要特征;其次,由于静态卷积的卷积核相同,只能提取固定长度文本的特征,这可能对机器更好的理解文本产生阻碍,通过引入动态卷积,采用多个不同卷积核的一维卷积来捕获上下文和问题的局部结构,弥补注意力机制只有全局捕获能力的缺点。 在 SQuAD 数据集上的实验结果表明,与其他模型相比,该方法有效提升了模型在特征信息提取和答案预测方面的能力。

关键词：机器阅读理解;片段抽取;答案预测;长短期记忆神经网络;动态卷积