基于变分蒸馏的模态联合表示学习

来源：计算机应用与软件杂志2025年第5期北京时间：

作者：张亚伟, 王晶晶, 李嘉贤, 周萌南

摘要：近年来，多模态交互的深度学习研究和发展得到了广泛关注，其中多模态预测模型不可或缺。但是实验表明这些大模型大多不适合单模态场景，同时需要大量难以获取的多模态对齐语料训练，并且参数量巨大难以部署，因此提出一种轻量级的模态联合编码器MIBERT，不需要对齐多模态语料且专注于单模态场景。为了训练MIBERT，设计模态联合蒸馏MJ-KD，把预测模型Bertlarge和ResNet152作为教师模型，通过MJ-KD将其知识迁移到MIBERT。实验结果表明，所提出的MIBERT分别在图片和文本单模态场景中的多个任务上取得了与基准模型匹配或更好的性能。

关键词：知识蒸馏, 多模态, 变分互信息