基于小样本学习的方言语音识别方法

来源：江苏大学学报·自然科学版杂志2025年第6期北京时间：

作者：张绍阳,张子卓,柳永利,解熠

单位：(1. 长安大学 信息工程学院， 陕西 西安 710064； 2. 长安大学 信息与网络管理处， 陕西 西安 710064； 3. 陕西交通控股集团有限公司运营管理分公司， 陕西 西安 710065)<div>\t</div>

摘要：为了快速构建小样本方言语料数据集，改善汉语方言语音识别效果，研究了基于小样本学习的方言语音识别方法.以选取的高质量公开语料为基础，通过抽取、修正、补充、录制等步骤构建方言语料数据集.结合链接时序分类网络和注意力架构的互补特点及语言模型对端到端语音识别模型的补充作用，构建附加语言模型的基于混合CTC/Attention的端到端语音识别模型.在此基础上，采用基于数据增强和迁移学习的小样本学习方法完成方言语音识别模型的训练.基于关中方言语料进行了试验.结果表明：基于字错率为4.9%的语音识别基础模型进行微调，所得方言模型在测试集上的字错率可低至6.9%，可见小样本方言语料数据集构建方案具有可行性，基于小样本学习的方言语音识别方案具有有效性；由交叉验证试验可得，微调后的方言模型在测试集中识别普通话字错率为27.2%，可见该模型支持跨语种识别.

关键词：方言,语音识别,低资源,端到端,深度学习,小样本学习,模型微调

基金资助：陕西省重点产业创新链（群）项目(2021ZDLGY07-06)