融合序列变分Transformer与对比学习的多样化图像描述生成

来源：计算机工程与应用杂志2024年第21期北京时间：

作者：刘明明, 刘兵, 刘浩, 张海燕

单位：1.江苏建筑职业技术学院 智能制造学院，江苏 徐州 221116 ；2.中国矿业大学 计算机科学与技术学院，江苏 徐州 221116

摘要：近年来，基于Transformer的图像描述生成模型取得了显著的性能提升。然而，现有方法性能严重依赖预定义的指标或交叉熵损失，难以生成自然而多样的描述语句。引入一种序列变分Transformer模型，用于多样化图像描述生成。通过最大化图像模态内互信息的变分下界，缓解模式坍塌问题。最大化图像-文本多模态间的互信息，将序列变分Transformer模型与对比学习无缝集成，从而进一步增强序列变分编码器的表征学习能力，促进多样化描述的生成。在MSCOCO标准数据集上进行了定量和定性实验，在随机生成100个描述语句时，与当前最优结果相比，准确性指标CIDEr（consensus-based image description evaluation）提升了5.5%，多样性指标Div-2（2-gram diversity）提升了10.5%。

关键词：图像理解,图像描述,对比学习,互信息