基于CLDSP和交叉注意力机制的多模态抑郁症检测
来源：计算机工程与应用杂志2026年第11期北京时间：
作者：郑泽, 李鸿燕
单位：太原理工大学 电子信息工程学院，山西 晋中 030600；
摘要：针对现有多模态抑郁症检测模型存在的上下文语义表征以及跨模态交互能力不足等问题，提出一种融合时空特征优化与动态线索增强的多模态抑郁症检测模型。模型采用三层式架构：在语音模态处理层，构建基于一维CNN与Bi-LSTM的时空音频特征提取网络，通过复合型门控注意力机制实现语音时空特征的自适应筛选；在视觉模态处理层，设计双流特征增强网络，空间分析支路采用Inception ResNet模块捕获面部静态显著性区域，时序建模支路提出基于纹理特征描述符CLSDP的面部动态解析方法，实现对抑郁线索的精准量化表征；在多模态融合决策层，提出基于交叉注意力机制和Transformer的双路径级联跨模态注意力融合网络捕获模态间互补特征。在AVEC2013/AVEC2014标准数据集上的实验表明，所提出的模型将均方根误差与平均绝对误差分别优化至4.309/4.263和4.919/4.259，显著提升了多模态抑郁情绪分类的效果。
关键词：抑郁症检测,多模态特征融合,交叉注意力机制,CLDSP,Transformer
基金资助：国家自然科学基金（62201377）；山西省回国留学人员科研资助项目（2022-072）。
