基于强化学习的复杂介质介入路径规划应用

来源：计算机技术与发展杂志2025年第08期北京时间：

作者：王垚锴;万亚平*;邹?刚;*;林?熹;陈一飞

单位：1. 南华大学 计算机学院,湖南 衡阳 421099;2. 湖南中科助英智能科技研究院,湖南 长沙 410006;3. 湖南省肿瘤医院,湖南 长沙 410006

摘要：在复杂介质中训练介入路径规划模型时,传统算法常面临收敛速度慢、易陷入死锁区域和目标不可达等问题。复杂介质具有关键结构紧密分布的特点,这对路径规划提出更高要求。为解决这些挑战,以医学为应用场景,该文从环境状态建模、安全约束引入和奖励函数设计三个方面改进基于SAC的穿刺路径规划算法。环境状态部分,对三维器官点云进行体素化处理,构建多尺度体素环境。安全约束部分,构建动作空间和状态空间将运动方向限制在类圆锥体范围内。然后,引入包围形法,将穿刺针分解为多个球体进行细粒度的碰撞检测,更真实地模拟实际手术中的针与组织的接触情况。同时,使用KD树构建障碍物的空间索引,通过高效的最近邻搜索进行快速碰撞检测。奖励设计部分,结合临床要求,提出基于多器官体素的多尺度奖励函数。实验结果表明,环境状态的模型优化达50%以上,碰撞检测耗时减少70%,算法在2000轮时收敛,穿刺路径更加平滑、安全。

关键词：强化学习;穿刺路径规划;多尺度体素环境;包围形法;多尺度奖励函数