密集视频描述研究方法综述

来源：计算机工程与应用杂志2023年第12期北京时间：

作者：黄先开, 张佳玉, 王馨宇, 王晓川, 刘瑞军

单位：北京工商大学 计算机学院，北京 100048

摘要：密集视频描述是视频理解的重要分支之一，也是计算机视觉与自然语言处理领域交叉的热点研究方向。其主要目的是对包含丰富事件的视频进行针对内容的事件定位，并将其描述为人类日常沟通所用的自然语言。与生成单句描述文本的传统视频描述任务相比，密集视频描述的输入视频不再需要进行针对单一事件的裁剪，输出描述文本为针对视频内多个事件的描述段落。简要概述了密集视频描述方法的基本原理及存在问题，并总结了该领域主要面临的研究困难与挑战；对目前主流的密集视频描述方法，依照其对实现流程不同阶段分为基于事件建议、基于编码、基于解码、加入其他辅助模型，以及基于整体流程等五种类别，分别介绍其实现方式及优缺点；对本领域相关数据集以及评价方式进行总结，并对不同方法在相关数据集上的评价结果进行对比；简要讨论密集视频描述技术及其应用的未来发展方向。

关键词：密集视频描述,视频描述,视频理解,计算机视觉,自然语言处理