基于动作发现与边界预测的时序动作定位

来源：计算机应用与软件杂志2024年第3期北京时间：

作者：陈乐聪, 李平, 曹佳晨

摘要：时序动作定位指寻找视频中不同动作实例的开始与结束时间，即时序边界。现有强化学习方法存在重复搜索视频相同内容以及帧级别输入造成语义信息不足的问题，为此提出基于动作发现与边界预测的时序动作定位方法。将动作发现看作强化学习问题，训练视频被重编码为含多个视频单元的序列作为环境（Environment），含记忆模块的智能体（Agent）与具有动作实例移除机制的环境进行交互，进而学会观察视频单元跳过背景而找到动作实例所在单元；将边界预测转化为回归问题，边界预测网络根据智能体发现的视频单元预测对应动作实例的时序边界。实验结果表明，该方法在THUMOS-14上的mAP@0.5相比最新强化学习方法提高6.6%，证实了该方法的优越性能。

关键词：时序动作定位, 动作发现, 边界预测, 智能体, 强化学习