基于双Transformer结构的多模态视频段落描述生成研究

来源：计算机工程与应用杂志2025年第21期北京时间：

作者：赵宏, 张立军

单位：兰州理工大学 计算机与通信学院，兰州 730050

摘要：针对现有视频段落描述方法对视频中主要事件的关注度不足与多事件描述之间缺乏连贯性的问题，在现有编码器-解码器框架的基础上，提出了一种基于双Transformer结构的多模态视频段落描述模型。采用Faster-RCNN对视频中心帧目标进行细粒度特征提取，由混合注意力结合全局视觉特征选择最具代表性的细粒度局部视觉特征，对视频中主要事件信息进行补充与增强，提高视频内容描述的准确性；提出在Transformer结构中增加存储模块与混合注意力模块，并设计了双Transformer结构，内部Transformer对事件内一致性进行建模，外部Transformer由混合注意力计算与当前事件最相关的状态建模事件间的一致性，结合内外部Transformer的输出对事件内容进行预测，提高生成描述语句的连贯性。在ActivityNet Captions数据集和YouCookII数据集上的实验结果表明，所提模型在BLEU-4、METEOR、ROUGE-L和CIDEr指标上相较于现有主流视频段落描述模型有明显提升，验证了模型的有效性。

关键词：视频段落描述,编码器-解码器结构,细粒度局部视觉特征,双Transformer结构