基于音视频信息的深度多模态抑郁症识别综述

来源：计算机技术与发展杂志2023年第07期北京时间：

作者：张石清;';张星楠;';赵小明

单位：1. 浙江理工大学 信息学院,浙江 杭州 310023;2. 台州学院 智能信息处理研究所,浙江 台州 318000

摘要：抑郁症是一种精神疾病,严重时会导致自杀行为的发生。 当前抑郁症患者人数正变得越来越多,越来越普遍化、年轻化。 采用机器学习方法开展面向音频、视频等模态信息的多模态抑郁症识别研究已成为一个计算机科学、心理学、医学等多学科交叉的热点课题。 近年来,新发展起来的深度学习技术也逐渐被应用于面向音频、视频等模态信息的多模态抑郁症识别中的深度特征提取任务。 为了系统总结和归纳近年来深度学习技术在多模态抑郁症识别领域的研究进展,首先介绍了抑郁症的临床表现及心理学诊断方法,随后简要总结了现有的抑郁症数据集,并阐述了代表性深度学习技术的基本原理及进展情况;然后,系统分析和总结了面向音频、视频的多模态抑郁症识别涉及到的关键技术,包括手工特征提取和深度特征提取,以及多模态信息融合策略;最后,指出了该领域存在的机遇与挑战,并对下一步的研究方向进行了总结与展望。

关键词：抑郁症;深度学习;音频;视频;特征提取;多模态;融合方法