端到端流式语音识别研究综述

来源：计算机工程与应用杂志2023年第2期北京时间：

作者：王澳回, 张珑, 宋文宇, 孟杰

单位：1.天津师范大学 计算机与信息工程学院，天津 300387；2.广州华立科技职业学院 计算机信息工程学院，广州 511325

摘要：语音识别是实现人机交互的一种重要途径，是自然语言处理的基础环节，随着人工智能技术的发展，人机交互等大量应用场景存在着流式语音识别的需求。流式语音识别的定义是一边输入语音一边输出结果，它能够大大减少人机交互过程中语音识别的处理时间。目前在学术研究领域，端到端语音识别已经取得了丰硕的研究成果，而流式语音识别在学术研究以及工业应用中还存在着一些挑战与困难，因此，最近两年，端到端流式语音识别逐渐成为语音领域的一个研究热点与重点。从端到端流式识别模型与性能优化等方面对近些年所展开的研究进行全面的调查与分析，具体包括以下内容：（1）详细分析和归纳了端到端流式语音识别的各种方法与模型，包括直接实现流式识别的CTC与RNN-T模型，以及对注意力机制进行改进以实现流式识别的单调注意力机制等方法；（2）介绍了端到端流式语音识别模型提高识别准确率与减少延迟的方法，在提高准确率方面，主要有最小词错率训练、知识蒸馏等方法，在降低延迟方面，主要有对齐、正则化等方法；（3）介绍了流式语音识别一些常用的中英文开源数据集以及流式识别模型的性能评价标准；（4）讨论了端到端流式语音识别模型的未来发展与展望。

关键词：人机交互,语音识别,端到端,流式,延迟