基于上下文感知与图注意力网络的人机协作装配人员作业意图识别方法

来源：计算机集成制造系统杂志2024年第6期北京时间：

作者：姚冬安, 徐文君, 姚碧涛, 刘佳宜, 纪圳睿

单位：1.武汉理工大学信息工程学院2.武汉理工大学机电工程学院3.宽带无线通信与传感器网络湖北省重点实验室

摘要：针对人机协作装配现有研究尚未充分综合利用复杂装配环境中各要素的三维空间特征与视觉特征,并考虑装配环境中丰富的上下文信息,使得复杂装配环境下人员作业意图识别精度较低,提出结合装配环境各要素的三维空间特征和视觉特征,基于图注意力网络实现人员作业意图的高精度识别方法。首先利用FasterR-CNN神经网络对装配场景中的各要素,如人员、机器人、零件等进行目标检测,得到各要素的空间位置信息,同时从网络中提取各要素的视觉特征信息;然后结合图注意力网络推理装配过程中人员对不同作业对象的作业意图,如搬运、组装、触碰等;最后通过人机协作场景下的齿轮装配实验对所提方法进行验证。实验结果表明,相比深度卷积神经网络,所提方法在识别准确性、场景泛化性等方面具有优越性。

关键词：人机协作装配,作业意图识别,上下文感知,图注意力网络

基金资助：国家自然科学基金资助项目（51775399,52005376）;国防基础科研计划资助项目（JCKY2020206B015）;湖北省自然科学基金杰出青年资助项目（2021CFA077）;湖北省青年拔尖人才培养计划资助项目。