基于RGB-D相机的脐橙实时识别定位与分级方法

来源：农业工程学报杂志2022年第14期北京时间：

作者：刘德儿,朱磊,冀炜臻,廉悦,

摘要：为实现脐橙采摘机器人对脐橙果实进行实时识别、定位和分级采摘的需求，该研究提出了一种基于RGB-D相机数据的脐橙果实实时识别、定位及分级的OrangePointSeg算法。首先利用微软最新消费级深度相机（Azure Kinect DK）采集脐橙果实的RGB-D数据，建立脐橙果实实例分割数据集及增强数据集。然后通过改进YOLACT算法对脐橙果实进行实时分割并生成实例掩膜，与配准后的深度图裁剪得到果实深度点云，再利用最小二乘法进行脐橙果实外形拟合，得到其相机坐标系下质心坐标及半径。试验结果表明，在果实识别阶段，改进YOLACT算法在该数据集上的检测速度为44.63帧/s，平均精度为31.15%。在果实定位阶段，1 400～2 000点云数量时的拟合时间为1.99 ms，定位误差为0.49 cm，拟合出的半径均方根误差为0.43 cm，体积均方根误差为52.6 mL，在大于800点云数量和拍摄距离1 m以内时，定位误差均在0.46 cm以内。最后通过引入并行化计算，OrangePointSeg的总体处理速度为29.4帧/s，能够较好地实现精度与速度的平衡，利于实际应用和工程部署。该研究成果可推广至其他类似形态学特征的果实识别中，为果园的智能化管理提供行之有效的技术支撑。

关键词：图像识别, 机器人, RGB-D, 实例分割, 深度点云, YOLACT, RANSAC, 最小二乘拟合