基于文本和声学特征的双模态融合抑郁倾向识别算法

来源：计算机工程杂志2024年第11期北京时间：

作者：赵健, 崔骞, 石佳, 刘岳

单位：西北大学信息科学与技术学院, 陕西 西安 710127

摘要：在抑郁症诊断中, 抑郁症患者的面部表情、声音信号和文字等数据可以作为评估抑郁倾向的客观指标。相较于视频, 文本和音频模态在处理敏感的个人信息时能更好地保护患者的隐私, 并且文本和音频均属于语言模态, 相关性较强。针对抑郁倾向识别中变长文本数据不易被分析以及手动提取音频特征存在局限性的问题, 提出一种基于Transformer的融合网络优化方法。对于文本模态, 使用卷积神经网络对文本进行特征提取, 得到文本在不同尺度下的局部特征, 然后引入Transformer模型来处理全局信息和长距离依赖。对于音频模态, 为了降低手动提取音频特征对识别结果的影响, 通过使用VGGish网络来自动提取音频特征, 并将提取好的音频特征送入Transformer中。最后, 为进一步增强文本和音频模态融合网络的识别性能, 引入SE通道注意力机制, 使模型能够自适应地调整各模态之间的权重分配, 更有效地聚焦于关键特征。实验结果表明, 双模态融合后的网络准确率达到92.7%, 相比仅使用文本或音频模态, 准确率分别提升2.9和4.9个百分点。

关键词：Transformer模型,VGGish网络,双模态融合,抑郁倾向识别,SE通道注意力机制,深度学习

基金资助：陕西省国际科技合作计划项目(2021KWZ-07)