基于多级空洞金字塔网络的视频指令学习框架

来源：计算机应用与软件杂志2024年第5期北京时间：

作者：朱展模, 陈俊洪, 杨振国, 刘文印

摘要：为了从未修剪视频中生成操作指令，提出基于多级空洞金字塔网络(MS-APN)的视频指令学习框架。具体来说，使用空洞卷积金字塔模块捕捉视频多尺度动作特征，并采用多级网络结构优化分割结果将未修剪视频分割成一系列视频片段并抽取动作特征。运用目标检测模型提取物体特征，并将其与动作特征进行融合，输入分类器识别主体和受体物体。通过定义指令四元组生成机器人指令。在MPICooking 2数据集上进行了实验，视频动作分割、操作物体分类、操作指令生成的准确率分别达到了84.1%、76.5%和62.4%,并成功将系统部署到Baxter机器人上进行验证。

关键词：视频指令学习, 机器人指令生成, 动作分割, 空洞卷积