跨视图时序对比学习的自监督视频表征算法

来源：计算机工程与应用杂志2024年第18期北京时间：

作者：王露露, 徐增敏, 张雪莲, 蒙儒省, 卢涛

单位：1.桂林电子科技大学 数学与计算科学学院 广西高校数据分析与计算重点实验室，广西 桂林 541004；2.广西应用数学中心（桂林电子科技大学），广西 桂林 541004；3.桂林安维科技有限公司，广西 桂林 541010；4.武汉工程大学 计算机科学与工程学院 智能机器人湖北省重点实验室，武汉 430205

摘要：现有的自监督表征算法主要关注视频帧之间的短期运动特性，但是帧间动作序列的变化幅度较小，而且单视图数据因语义受限影响深度特征表达能力，视频动作中丰富的多视图信息未被充分利用。为此提出基于跨视图语义一致性的时序对比学习算法，自监督学习RGB帧和光流场两种数据中蕴含的动作时序变化特性，主要思路为：设计局部时序对比学习方法，采用不同正负样本划分策略，挖掘同一实例不重叠片段之间的时序相关性和判别可分性，增强细粒度特征表达能力；研究全局对比学习方法，通过跨视图语义协同训练来增加正样本，学习多实例不同视图的语义一致性，提高模型的泛化能力。通过两个下游任务对模型效果进行评估，在UCF101和HMDB51数据集的实验结果表明，所提方法在动作识别和视频检索任务上，较前沿主流方法平均提升了2~3.5个百分点。

关键词：自监督学习,视频表征学习,时序对比学习,局部对比学习,跨视图协同