基于混合式注意力机制的语音识别研究

来源：计算机应用研究杂志2020年第1期北京时间：

作者：李业良,张二华,唐振民,

单位：南京理工大学计算机科学与工程学院,南京210094；

摘要：为了解决语音识别中基于卷积位置信息的混合式注意力机制无法提取长期有效位置信息的问题，提出了一种捕捉长期有效位置信息的新型混合式注意力机制。首先，对当前时刻生成的注意力得分作卷积来提取多通道特征图，并通过全局平均池化来得到恒定维度的特征向量；接着，引入长短期记忆网络（long short-term memo-ry，LSTM）单元作为外部记忆模块，并以生成的特征向量作为输入，生成下一时刻的位置信息向量；最后，结合经典的LAS（listen，attend and spell）模型来验证提出方案的有效性。实验结果表明，该方案能充分考虑过去多个时刻的注意力得分。相对于基于卷积位置信息的LAS模型，该方案在纯净和含噪语音数据集上取得的标签错误率分别减少了1.8%和2.21%。

关键词：卷积,注意力机制,全局平均池化,长短期记忆网络,LAS模型,

基金资助：军委装备发展部“十三五”装备预研基金资助项目；；