多时间尺度一致性的弱监督时序动作定位

来源：计算机工程与应用杂志2023年第10期北京时间：

作者：郭文斌, 杨兴明, 蒋哲远, 吴克伟, 谢昭

单位：1.合肥工业大学 计算机与信息学院，合肥 230009；2.合肥工业大学 工业安全与应急技术安徽省重点实验室，合肥 230009

摘要：由于弱监督时序动作定位模型使用视频级的标签作为监督信号，模型在识别出动作实例中最具区分性的视频片段时，也会将和视频级标签有关的背景片段误认为是动作，难以产生完整的动作提议。为了进一步检测动作片段，通过分析动作片段在多时间尺度上标记的一致性，提出了一种多时间尺度一致性的弱监督时序动作定位方法。对输入的视频帧提取RGB和光流的特征，设计一种多时间尺度的模块，使用不同尺寸的卷积核建模视频的时序关系。通过估计多时间尺度特征的时间类激活图，并对多分支的时间类激活图进行融合，获得多时间尺度一致性的动作预测标签。为了进一步优化模型预测的动作标签，采用迭代优化策略，在每次迭代中更新预测标签，并为模型训练提供有效的帧级监督信号。在THUMOS14和ActivityNet1.3数据集上进行实验验证，实验结果表明，方法性能优于现有弱监督时序动作定位方法。

关键词：弱监督,时序动作定位,多时间尺度,一致性