深度强化学习的机械臂密集场景多物体抓取方法

来源：计算机工程与应用杂志2024年第23期北京时间：

作者：李鑫, 沈捷, 曹恺, 李涛

单位：1.南京工业大学 电气工程与控制科学学院，南京 211816 ；2.南京航空航天大学 自动化学院，南京 210016

摘要：机械臂在密集杂乱场景中抓取物体时容易碰撞，需要借助推动分离物体，以获取足够的抓取空间。目前已有的推抓协同方法样本效率和抓取成功率偏低，针对这些问题，提出了一种新的基于DDQN（double deep Q network）的深度强化学习方法能够高效地学习优秀的推抓协同策略，该方法包括可以筛选有效动作的掩码函数（mask function），协助机械臂探索更多有助于抓取的样本，促进模型进行高效率的学习。同时，利用推动前后工作空间内所有物体的平均相对距离的差值设计了推动奖励函数，能够更准确地评估候选推动作对物体密集程度的影响。通过该方法与VPG（visual pushing grasping）算法的实验结果进行分析，证明提出的方法在加快训练进程的同时，也提高了抓取的成功率，验证系统可以完整地迁移到现实场景中。

关键词：深度强化学习,机械臂,推抓协同,密集场景