多模态深度学习综述

来源：计算机应用研究杂志2020年第6期北京时间：

作者：刘建伟,丁熙浩,罗雄麟,

单位：中国石油大学(北京)自动化系,北京102249；

摘要：在多模态深度学习发展前期总结当前多模态深度学习，发现在不同多模态组合和学习目标下，多模态深度学习实现过程中的共有问题，并对共有问题进行分类，叙述解决各类问题的方法。具体来说，从涉及自然语言、视觉、听觉的多模态学习中考虑了语言翻译、事件探测、信息描述、情绪识别、声音识别和合成以及多媒体检索等方面研究，将多模态深度学习实现过程中的共有问题分为模态表示、模态传译、模态融合和模态对齐四类，并对各类问题进行子分类和论述，同时列举了为解决各类问题产生的神经网络模型。最后论述了实际多模态系统、多模态深度学习研究中常用的数据集和评判标准，并展望了多模态深度学习的发展趋势。

关键词：多模态,深度学习,多神经网络,多模态表示,多模态传译,多模态融合,多模态对齐,