使用Conformer增强的混合CTC/Attention端到端中文语音识别

来源：计算机工程与应用杂志2023年第4期北京时间：

作者：陈戈, 谢旭康, 孙俊, 陈祺东

单位：江南大学 人工智能与计算机学院，江苏 无锡 214122

摘要：最近，基于自注意力的Transformer结构在不同领域的一系列任务上表现出非常好的性能。探索了基于Transformer编码器和LAS（listen，attend and spell）解码器的Transformer-LAS语音识别模型的效果，并针对Transformer不善于捕捉局部信息的问题，使用Conformer代替Transformer，提出Conformer-LAS模型。由于Attention过于灵活的对齐方式，使得在嘈杂环境中的效果急剧下降，采用连接时序分类（connectionist temporal classification，CTC）辅助训练以加快收敛，并加入音素级别的中间CTC损失联合优化，提出了效果更好的Conformer-LAS-CTC语音识别模型。在开源中文普通话Aishell-1数据集上对提出来的模型进行验证，实验结果表明，Conformer-LAS-CTC相对于采用的基线BLSTM-LAS和Transformer-LAS模型在测试集上的字错率分别相对降低了22.58%和48.76%，模型最终字错误率为4.54%。

关键词：端到端,语音识别,Conformer,LAS,连接时序分类