基于大语言模型的人机交互移动检测机器人导航方法
来源:计算机集成制造系统杂志2024年第5期北京时间:
作者:王湉, 范峻铭, 郑湃
单位:香港理工大学工业及系统工程学系
摘要:在工业制造领域,移动机器人的广泛应用已成为提高作业安全和效率的关键。然而,现有的机器人系统只能完成预定义的导航任务,无法适应非结构化场景。为了突破这一瓶颈,提出一种基于大语言模型(LLM)的人机交互移动检测机器人导航方法,可代替操作人员进入工业环境中的危险区域进行检测,并且可以根据人类自然语言指令完成复杂的导航任务。首先,通过高分辨率网络(HRNet)模型进行场景语义分割,并在点云融合阶段将语义分割结果渲染到重建的三维场景网格模型中,得到三维语义地图;然后利用大语言模型让机器人可以理解人类的自然语言指令,并根据创建的三维语义地图生成Python代码控制机器人完成导航任务。最后,通过一系列非结构化场景下的实验验证了该系统的有效性。
关键词:人机交互,大语言模型,视觉语言导航,智能制造,工业5.0
基金资助:香港研究资助局资助项目(15210222,15206723)。
2024年5期其他文献查阅:
“人-机-环境”共融的工业数字孪生系统智能优化方法
数字孪生多模态视觉推理的神经-符号系统
基于大语言模型的人机交互移动检测机器人导航方法
眼动交互关键技术研究现状与展望
基于改进YOLOv5s的智能车间工人不安全行为实时检测方法
基于神经网络的虚拟人姿态仿真方法
面向虚拟人上肢的避障作业姿态规划算法
自适应神经模糊推理系统优化的快速上肢评估方法
基于多尺度目标检测的人机协作装配场景认知方法
基于隐式意图脑电解码的人机交互多任务建模研究
面向任务的载人深潜人机交互信息重要度评估
基于视觉感知域的钢轨铣磨车人机界面布局优化方法
基于手持示教笔的工业机器人轨迹演示示教方法
基于映射距离比离群因子的离群点检测算法
融合粒子群的改进金豺算法及应用
ASE-ERNIE:一种基于ERNIE的中文指令动作序列生成方法
基于HCPN的复杂BPMN协作模型数据流建模与验证
基于双臂共轴桁架机器人的钣金件分拣顺序规划
基于双矩阵编码混合蛙跳算法的多焊接机器人任务分配
基于深度强化学习的机器人多动作协同抓取策略
基于关节双位置反馈的柔性协作机械臂零力控制
含运动副间隙的6-RSS并联机器人弹性动力学建模与分析
基于分解协调机制的多层单元流水式车间布局优化方法
基于新混合乌鸦搜索算法的置换流水车间调度
基于深度学习的钢卷端面缺陷检测系统设计
基于微服务的智能制造知识图谱平台架构
考虑维护时间差异的混联系统维护决策
基于DRSN和优化BiLSTM的轴承剩余寿命预测方法
考虑政府补贴的绿色供应链创新努力策略研究
基于分层监测域人工势场法的无人驾驶车辆路径规划