基于RGB-D信息融合和目标检测的番茄串采摘点识别定位方法

来源：农业工程学报杂志2021年第18期北京时间：

作者：张勤,陈建敏,李彬,徐灿,

摘要：采摘点的识别与定位是智能采摘的关键技术，也是实现高效、适时、无损采摘的重要保证。针对复杂背景下番茄串采摘点识别定位问题，提出基于RGB-D信息融合和目标检测的番茄串采摘点识别定位方法。通过YOLOv4目标检测算法和番茄串与对应果梗的连通关系，快速识别番茄串和可采摘果梗的感兴趣区域（Region of Interest，ROI）；融合RGB-D图像中的深度信息和颜色特征识别采摘点，通过深度分割算法、形态学操作、K-means聚类算法和细化算法提取果梗图像，得到采摘点的图像坐标；匹配果梗深度图和彩色图信息，得到采摘点在相机坐标系下的精确坐标；引导机器人完成采摘任务。研究和大量现场试验结果表明，该方法可在复杂近色背景下，实现番茄串采摘点识别定位，单帧图像平均识别时间为54 ms，采摘点识别成功率为93.83%，采摘点深度误差±3 mm，满足自动采摘实时性要求。

关键词：图像识别, 对象识别, 提取, 番茄串, RGB-D图像, 信息融合, 目标检测, 采摘点