基于注意力机制和视触融合的机器人抓取滑动检测

来源：信息与控制杂志2024年第2期北京时间：

作者：黄兆基, 高军礼, 唐兆年, 宋海涛, 郭靖

摘要：机器人抓取滑动检测对于抓取任务而言具有重要的意义。在抓取过程中, 视觉和触觉作为判断抓取状态的关键模态信息, 实现其高效融合仍具有挑战性。基于视触觉模态信息融合理念, 提出一种新型视触觉融合模型, 用于高效解决机器人抓取滑动检测问题。首先, 该模型通过卷积神经网络、多尺度时序卷积网络提取视触觉数据的空间和时序特征信息; 然后, 使用注意力机制为视触觉特征分配权重, 并通过多尺度时序卷积网络进行多模态信息融合; 最后, 通过全连接层输出机器人抓取状态的检测结果。使用7自由度XArm机械臂、D455 RGB摄像头和XELA触觉传感器进行数据采集。实验结果表明, 基于该模型的机器人抓取滑动检测的准确率高达98.98%, 该模型在可靠、顺利执行机器人抓取任务方面具有较好的研究与应用价值。

关键词：机器人抓取, 视触融合, 多尺度时序卷积网络, 注意力机制