基于特征深层融合的吊装过程视频目标分割

来源：上海理工大学学报杂志2024年第4期北京时间：

作者：周明君，王朝立，孙占全

单位：上海理工大学 光电信息与计算机工程学院，上海 200093,上海理工大学 光电信息与计算机工程学院，上海 200093,上海理工大学 光电信息与计算机工程学院，上海 200093

摘要：吊装事故的频繁发生, 对国家、社会、人民都造成了非常大的损害。根据吊装过程的视频信息，实现无人安全监控的关键是准确度和速度，提出了一种新的基于全局编码和非对称卷积的目标分割网络，研究视频图像的半监督目标分割问题。首先，将带有标签的视频图像输入网络，分别通过全局编码器与相似性编码器提取到互为补充的特征，从而获得对目标外观的有效表示；然后，通过非对称卷积将两个分支的特征进行深层融合；最后，采用残差上采样解码生成预测掩膜，实现对目标的分割。该方法在DAVIS2017数据集上的准确度为0.675，综合指标为0.708，帧率为31 帧/s；在实验用吊装数据集上的准确度为0.952，综合指标为0.976，比基线方法高5.1%，帧率为26.16 帧/s。与其他网络方法进行了实验比较，验证了分割算法在准确度与速度方面的有效性。

关键词：深度学习;视频目标分割;特征深层融合;目标外观表示;吊装

基金资助：国家自然科学基金资助项目（6217323）；国防科工局基础研究项目 (JCKY2019413D001)