多尺度卷积与跨模态注意力的声门耦合病理语音识别
来源：计算机工程与应用杂志2026年第9期北京时间：
作者：段淑斐, 刘耀雄, 胡宇, 李付江, 朱婷, 张卫
单位：1.山西电子科技学院 计算机科学与技术学院，山西 临汾 041000；2.太原理工大学 电子信息工程学院，山西 晋中 030600；3.英国纽卡斯尔大学 计算机学院，英国 纽卡斯尔 NE17RU；4.北京大学第一医院 太原医院，太原 030032；
摘要：声门振动异常是病理语音的核心表征，蕴含关键的诊断线索。传统方法或仅依赖声学信号，难以刻画声门动力学变化，或在多模态建模中存在尺度感知受限与模态交互不足的问题，限制了判别性能。针对上述问题，提出基于多尺度卷积、跨模态注意力与深度GRU融合的耦合声门病理语音识别模型。设计基于声门信息的面向病理特征分层建模的多尺度输入模块Ms-Input，以增强模型对不同尺度特征的感知能力。引入面向异构模态空间对齐的跨模态注意力模块进一步促进跨模态信息的深度交互，并通过注意力机制自适应地为不同空间维度特征赋予权重。采用基于深层门控循环单元的特征融合策略实现模型级的特征融合。该研究挖掘并利用了语音信号与声门信号之间的互补特性，实现了更为全面、鲁棒的特征表达。在SVD及THE-POSSD数据集上的综合实验表明，提出的模型在病理语音识别任务中性能显著优于基准方法，充分验证了其有效性、泛化能力及鲁棒性，为提升构音障碍辅助诊断的准确性提供了有力支持。
关键词：病理语音,声门,多尺度卷积,注意力机制,特征融合
基金资助：国家自然科学基金青年基金（12004275）；山西省回国留学人员科研资助项目（2024-060）；山西省自然科学基金面上项目（202403021211098）；山西电子科技学院科研启动经费（2025KJ016）。
