基于改进YOLOv5l的设施番茄3D信息检测方法

来源：中国农机化学报杂志2024年第1期北京时间：

作者：林森, , 许童羽, 葛禹豪, 马璟, 孙添龙, 赵春江

摘要：针对温室环境中由于遮挡和光线复杂等原因造成的果实识别和定位不准确这一问题，将深度学习目标检测算法与Intel RealSense D435i深度相机相结合，提出一种获取番茄在三维空间中协同位置的方法，用于温室中采摘机器人执行番茄定位和采摘任务。基于YOLOv5网络，使用GhostConvolution替换原始网络中的CSP结构，并采用BiFPN的多尺度连接方法，最大限度地利用不同特征层提取番茄特征信息，以提高边界框回归的准确性。比较不同的注意机制，并选择CBAM注意机制插入到模型的特征提取网络中。该模型通过RGBD相机获取检测到的番茄的中心点，并计算其在相机坐标系中的空间坐标信息。为最大限度地减少复杂温室环境对目标识别以及最终采摘效果的影响，筛选所有超过1.5 m的视频流，以便视觉算法只专注于识别和检测1.5 m范围内的目标。试验表明，模型检测红色和绿色番茄的平均精度均值分别为82.4%和82.2%。最后，介绍深度相机与目标检测网络相结合以检测番茄物体深度的方法。为番茄采摘机器人视觉系统提供理论支持。

关键词：番茄,深度学习,采摘机器人,3D目标检测,YOLOv5

基金资助：北京市科技计划课题(Z211100004621006)；“科技创新2030”项目子课题(2021ZD0113602)