TCN-Transformer-CTC的端到端语音识别

来源：计算机应用研究杂志2022年第3期北京时间：

作者：谢旭康,陈戈,孙俊,陈祺东,

单位：江南大学人工智能与计算机学院,江苏无锡214122；

摘要：基于Transformer的端到端语音识别系统获得广泛的普及，但Transformer中的多头自注意力机制对输入序列的位置信息不敏感，同时它灵活的对齐方式在面对带噪语音时泛化性能较差。针对以上问题，首先提出使用时序卷积神经网络（TCN）来加强神经网络模型对位置信息的捕捉，其次在上述基础上融合连接时序分类（CTC），提出TCN-Transformer-CTC模型。在不使用任何语言模型的情况下，在中文普通话开源语音数据库AISHELL-1上的实验结果表明，TCN-Transformer-CTC相较于Transformer字错误率相对降低了10.91%，模型最终字错误率降低至5.31%，验证了提出的模型具有一定的先进性。

关键词：端到端语音识别,Transformer,时序卷积神经网络,连接时序分类,

基金资助：国家自然科学基金面上项目(61672263)；；