基于多尺度目标检测的人机协作装配场景认知方法
来源:计算机集成制造系统杂志2024年第5期北京时间:
作者:董元发, 严华兵, 刘勇哲, 彭巍, 周彬, 方子帆
单位:1.三峡大学水电机械设备设计与维护湖北省重点实验室2.三峡大学机械与动力学院3.三峡大学智能制造创新技术中心
摘要:人机协作装配场景的快速理解对提高协作机器人认知能力、实现人机协作装配具有重要的现实意义。针对非结构化人机协作装配场景认知过程中目标尺度差异较大、缺少统一场景描述框架等问题,首先构建了一种轻量级多尺度目标检测网络LMS-Net,并在网络训练过程中引入目标检测框聚类机制以提高多尺度目标检测精度;然后将LMS-Net检测结果转换为人物交互图并建立了人机协作装配场景元描述模型,提出了基于多尺度目标检测的人机协作装配场景认知方法。在自建数据集HRC-Action上的实验结果表明所构建多尺度目标检测网络具有较高的准确率(平均89%)和较快的速度(深度学习工作站平均58.7 FPS,Jetson Nano B01嵌入式开发板平均25 FPS),所提人机协作装配场景认知方法具有较好的可行性和实用性。
关键词:人机协作装配,场景认知,目标检测,人物交互图
基金资助:国家自然科学基金资助项目(52075292);湖北省自然科学基金资助项目(2023AFB1116);湖北省水电机械设备设计与维护重点实验室(三峡大学)开放基金资助项目(2020KJX05)。
2024年5期其他文献查阅:
“人-机-环境”共融的工业数字孪生系统智能优化方法
数字孪生多模态视觉推理的神经-符号系统
基于大语言模型的人机交互移动检测机器人导航方法
眼动交互关键技术研究现状与展望
基于改进YOLOv5s的智能车间工人不安全行为实时检测方法
基于神经网络的虚拟人姿态仿真方法
面向虚拟人上肢的避障作业姿态规划算法
自适应神经模糊推理系统优化的快速上肢评估方法
基于多尺度目标检测的人机协作装配场景认知方法
基于隐式意图脑电解码的人机交互多任务建模研究
面向任务的载人深潜人机交互信息重要度评估
基于视觉感知域的钢轨铣磨车人机界面布局优化方法
基于手持示教笔的工业机器人轨迹演示示教方法
基于映射距离比离群因子的离群点检测算法
融合粒子群的改进金豺算法及应用
ASE-ERNIE:一种基于ERNIE的中文指令动作序列生成方法
基于HCPN的复杂BPMN协作模型数据流建模与验证
基于双臂共轴桁架机器人的钣金件分拣顺序规划
基于双矩阵编码混合蛙跳算法的多焊接机器人任务分配
基于深度强化学习的机器人多动作协同抓取策略
基于关节双位置反馈的柔性协作机械臂零力控制
含运动副间隙的6-RSS并联机器人弹性动力学建模与分析
基于分解协调机制的多层单元流水式车间布局优化方法
基于新混合乌鸦搜索算法的置换流水车间调度
基于深度学习的钢卷端面缺陷检测系统设计
基于微服务的智能制造知识图谱平台架构
考虑维护时间差异的混联系统维护决策
基于DRSN和优化BiLSTM的轴承剩余寿命预测方法
考虑政府补贴的绿色供应链创新努力策略研究
基于分层监测域人工势场法的无人驾驶车辆路径规划