基于多模态的履带式挖掘机自动驾驶决策网络
来源：机械工程学报杂志2025年第4期北京时间：
作者：陈其怀, 林添良, 马荣华, 温建和, 缪骋, 任好玲
单位：1. 华侨大学机电及自动化学院 泉州 361021;2. 福建省移动机械绿色智能驱动与传动重点实验室 泉州 361021
摘要：履带挖掘机应用场景复杂，工作环境无规则。当前基于深度学习的自动驾驶决策方法主要以单目相机RGB图像为输入，数据类型单一、预测精度较低、对驾驶场景理解不足，不能够完成履带式挖掘机自动驾驶的决策。为了更好地实现对履带式挖掘机自动驾驶的决策，提出将多种双目图像信息进行融合，同时引入注意力机制，构建基于多模态的履带式挖掘机决策网络，得到转向和速度多任务预测量。为了验证所提出方案的可行性，利用开源驾驶场景数据集和非结构化道路真实场地数据集进行测试，并开展实车试验。试验结果表明，综合多种双目图像信息的模型在履带式挖掘机转向角和速度预测方面，泛化能力有着明显的优势，能较好地完成履带挖掘机的自动行走，并进行自主避障。
关键词：工程机械,深度学习,自动驾驶,行为决策,多模态；
基金资助：国家自然科学基金(52275055)、福建省高校产学研联合创新(2022H6007)和厦门市重大科技计划(3502Z20231013)资助项目。
