基于视觉特征引导融合的视频描述方法

来源：计算机工程与应用杂志2022年第20期北京时间：

作者：苗教伟, 季怡, 刘纯平

单位：苏州大学 计算机科学与技术学院，江苏 苏州 215006

摘要：视频描述生成因其广泛的潜在应用场景而成为近年来的研究热点之一。针对模型解码过程中视觉特征和文本特征交互不足而导致描述中出现识别错误的情况，提出基于编解码框架下的视觉与文本特征交互增强的多特征融合视频描述方法。在解码过程中，该方法使用视觉特征辅助引导描述生成，不仅为每一步的生成过程提供了文本信息，同时还提供了视觉参考信息，引导其生成更准确的词，大幅度提升了模型产生的描述质量；同时，结合循环dropout缓解解码器存在的过拟合情况，进一步提升了评价分数。在该领域广泛使用的MSVD和MSRVTT数据集上的消融和对比实验结果证明，提出的方法的可以有效生成视频描述，综合指标分别增长了17.2和2.1个百分点。

关键词：编解码框架,视频描述,特征融合,dropout,特征交互