基于裁剪近端策略优化算法的软机械臂不规则物体抓取

来源：计算机应用杂志2024年第11期北京时间：

作者：余家宸, 杨晔

单位：1.上海师范大学 信息与机电工程学院，上海 201418；2.上海智能教育大数据工程技术研究中心（上海师范大学），上海 200234

摘要：为应对传统深度强化学习（DRL）算法在处理复杂场景，特别是在不规则物体抓取和软体机械臂应用中算法稳定性和学习率较差的问题，提出一种基于裁剪近端策略优化（CPPO）算法的软体机械臂控制策略。通过引入裁剪函数，该算法优化了近端策略优化（PPO）算法的性能，提升了它在高维状态空间的稳定性和学习效率。首先定义了软体机械臂的状态空间和动作空间，并设计了模仿八爪鱼触手的软体机械臂模型；其次利用Matlab的SoRoSim （Soft Robot Simulation）工具箱进行建模，同时定义了结合连续和稀疏函数的环境奖励函数；最后构建了基于Matlab的仿真平台，通过Python脚本和滤波器对不规则物体图像进行预处理，并利用Redis缓存高效传输处理后的轮廓数据至仿真平台。与TRPO （Trust Region Policy Optimization）和SAC （Soft Actor-Critic）算法的对比实验结果表明，CPPO算法在软体机械臂抓取不规则物体任务中达到了86.3%的成功率，比TRPO算法高出了3.6个百分点。这说明CPPO算法可以应用于软体机械臂控制，可在非结构化环境下为软体机械臂在复杂抓取任务中的应用提供重要参考。

关键词：深度强化学习,近端策略优化算法,不规则物体检测,软体机械臂,机械臂抓取

基金资助：国家自然科学基金资助项目(51605298)