多任务学习在中国方言分类中的应用研究

来源：计算机技术与发展杂志2022年第04期北京时间：

作者：万苗;任杰*;马苗;曹瑞

单位：1. 陕西师范大学 计算机科学学院,陕西 西安 710119;2. 西北大学 信息科学与技术学院,陕西 西安 710127

摘要：近年来,随着深度学习技术在语音识别领域的出色表现,基于深度学习的语音识别系统被广泛应用于智能家居、智能客服、会议纪要、实时字幕等多个应用场景。 但由于中国民族众多,语言文化差异大、方言多样复杂等特点,给语音识别系统带来了很大的挑战,特别针对短时语音段方言识别任务,已有的中国方言分类系统性能依然较差。 针对特征参数梅尔倒谱系数( mel-scale frequency cepstral coefficients,MFCC) 进行研究分析,面向中国十种方言数据集构建基于深度学习的方言分类模型。 首先,针对 MFCC 构建基于短期记忆网络( long short-term memory,LSTM) 的单任务学习模型,准确率可达 79. 04% ;然后,深入挖掘方言地域特征,提出以方言所在区域为辅助任务的多任务模型,构建基于参数硬共享的多任务学习模型,实验结果显示,分类准确率最高可达 79. 96% ;最后,针对参数硬共享无法有效挖掘子任务间关联性的问题,首次提出基于参数稀疏共享的多任务学习模型,该模型通过联合训练,自动挖掘子任务间相关性,裁剪多余网络,并进行网络参数共享,实验结果显示,提出的基于 MFCC 特征的参数稀疏共享的多任务分类模型性能最优,分类准确率最高可达83. 59% 。

关键词：中国方言分类;多任务学习;神经网络;MFCC;神经网络参数共享