基于多尺度目标检测的人机协作装配场景认知方法

来源：计算机集成制造系统杂志2024年第5期北京时间：

作者：董元发, 严华兵, 刘勇哲, 彭巍, 周彬, 方子帆

单位：1.三峡大学水电机械设备设计与维护湖北省重点实验室2.三峡大学机械与动力学院3.三峡大学智能制造创新技术中心

摘要：人机协作装配场景的快速理解对提高协作机器人认知能力、实现人机协作装配具有重要的现实意义。针对非结构化人机协作装配场景认知过程中目标尺度差异较大、缺少统一场景描述框架等问题,首先构建了一种轻量级多尺度目标检测网络LMS-Net,并在网络训练过程中引入目标检测框聚类机制以提高多尺度目标检测精度;然后将LMS-Net检测结果转换为人物交互图并建立了人机协作装配场景元描述模型,提出了基于多尺度目标检测的人机协作装配场景认知方法。在自建数据集HRC-Action上的实验结果表明所构建多尺度目标检测网络具有较高的准确率(平均89%)和较快的速度(深度学习工作站平均58.7 FPS,Jetson Nano B01嵌入式开发板平均25 FPS),所提人机协作装配场景认知方法具有较好的可行性和实用性。

关键词：人机协作装配,场景认知,目标检测,人物交互图

基金资助：国家自然科学基金资助项目(52075292);湖北省自然科学基金资助项目(2023AFB1116);湖北省水电机械设备设计与维护重点实验室(三峡大学)开放基金资助项目(2020KJX05)。