基于面部全局抑郁特征局部感知力增强和全局-局部语义相关性特征融合的抑郁强度识别

来源：电子与信息学报杂志2024年第5期北京时间：

作者：孙强, 李正, 何浪

单位：1.西安理工大学自动化与信息工程学院通信工程系 西安 7100482.西安理工大学自动化与信息工程学院电子工程系 西安 7100483.西安邮电大学计算机学院 西安 710121

摘要：现有基于深度学习的大多数方法在实现患者抑郁程度自动识别的过程中，主要存在两大挑战：(1)难以利用深度模型自动地从面部表情有效学习到抑郁强度相关的全局上下文信息，(2)往往忽略抑郁强度相关的全局和局部信息之间的语义一致性。为此，该文提出一种全局抑郁特征局部感知力增强和全局-局部语义相关性特征融合(PLEGDF-FGLSCF)的抑郁强度识别深度模型。首先，设计了全局抑郁特征局部感知力增强(PLEGDF)模块，用于提取面部局部区域之间的语义相关性信息，促进不同局部区域与抑郁相关的信息之间的交互，从而增强局部抑郁特征驱动的全局抑郁特征表达力。然后，提出了全局-局部语义相关性特征融合(FGLSCF)模块，用于捕捉全局和局部语义信息之间的关联性，实现全局和局部抑郁特征之间的语义一致性描述。最后，在AVEC2013和AVEC2014数据集上，利用PLEGDF-FGLSCF模型获得的识别结果在均方根误差(RMSE)和平均绝对误差(MAE)指标上的值分别是7.75/5.96和7.49/5.99，优于大多数已有的基准模型，证实了该方法的合理性和有效性。

关键词：抑郁强度, 人脸图像, 局部感知力增强, 全局和局部特征融合, 语义一致性

基金资助：国家自然科学基金(62370215)，西安市科技计划项目(22GXFW0086)，西安市碑林区科技计划项目(GX2243)