基于韵律特征辅助的端到端语音识别方法

来源：计算机应用杂志2023年第2期北京时间：

作者：刘聪, 万根顺, 高建清, 付中华

单位：1.科大讯飞股份有限公司 AI研究院，合肥 230088；2.西安讯飞超脑信息科技有限公司，西安 710000

摘要：针对传统的语音识别系统采用数据驱动并利用语言模型来决策最优的解码路径，导致在部分场景下的解码结果存在明显的音对字错的问题，提出一种基于韵律特征辅助的端到端语音识别方法，利用语音中的韵律信息辅助增强正确汉字组合在语言模型中的概率。在基于注意力机制的编码-解码语音识别框架的基础上，首先利用注意力机制的系数分布提取发音间隔、发音能量等韵律特征；然后将韵律特征与解码端结合，从而显著提升了发音相同或相近、语义歧义情况下的语音识别准确率。实验结果表明，该方法在1 000 h及10 000 h级别的语音识别任务上分别较端到端语音识别基线方法在准确率上相对提升了5.2%和5.0%，进一步改善了语音识别结果的可懂度。

关键词：语音识别,端到端,语义歧义,注意力机制,韵律特征

基金资助：科技创新2030-“新一代人工智能”重大项目(2020AAA0103600)