一种视/触觉融合的柔性物体抓取力估计方法

来源：机器人杂志2024年第5期北京时间：

作者：吴培良, 李瑶, 牛明月, 陈雯柏, 高国伟

摘要：针对柔性物体操纵问题, 提出了一种视/触觉融合的柔性物体抓取力估计方法——多感知局部增强Transformer(MSLET)。该方法利用模型学习每种传感器模态的低维特征, 推断待抓取物体的物理特征, 融合各模态的物理特征向量, 用于预测抓取结果, 并结合安全抓取物体的经验, 推断最佳抓取力。首先, 提出了用于提取视觉图像和触觉图像浅层特征的Feature-to-Patch模块, 它利用2种图像的浅层特征提取图像块, 进而得到它们的边缘特征, 充分学习数据的特征信息, 更好地推断物体的物理特征。其次, 提出了用于增强局部特征的Local-Enhanced模块, 对多头自注意力机制生成的图像块进行深度可分离卷积处理, 以此增强局部性特征处理, 促进空间维度上相邻标记之间的相关性, 提高抓取结果的预测准确率。最后, 对比实验表明, 本文算法在保证运行效率的同时, 将抓取准确率相较于当前最优模型提高了10.19%, 证明该算法能够有效估计柔性物体抓取力。

关键词：视/触觉融合, 抓取力估计, 物理特征嵌入