基于大语言模型的人机交互移动检测机器人导航方法
来源：计算机集成制造系统杂志2024年第5期北京时间：
作者：王湉, 范峻铭, 郑湃
单位：香港理工大学工业及系统工程学系
摘要：在工业制造领域,移动机器人的广泛应用已成为提高作业安全和效率的关键。然而,现有的机器人系统只能完成预定义的导航任务,无法适应非结构化场景。为了突破这一瓶颈,提出一种基于大语言模型(LLM)的人机交互移动检测机器人导航方法,可代替操作人员进入工业环境中的危险区域进行检测,并且可以根据人类自然语言指令完成复杂的导航任务。首先,通过高分辨率网络(HRNet)模型进行场景语义分割,并在点云融合阶段将语义分割结果渲染到重建的三维场景网格模型中,得到三维语义地图;然后利用大语言模型让机器人可以理解人类的自然语言指令,并根据创建的三维语义地图生成Python代码控制机器人完成导航任务。最后,通过一系列非结构化场景下的实验验证了该系统的有效性。
关键词：人机交互,大语言模型,视觉语言导航,智能制造,工业5.0
基金资助：香港研究资助局资助项目(15210222,15206723)。
