西北农林杨福增教授团队:用于机器人采摘的苹果空间姿态估计算法

作者:农业科技侠 内容团队 2026/3/2 9:42:33
中科院1区Top | IF=12.42026.2.18在线发布|本文作者详情如上图图文概要在苹果采摘过程中,现有机器人难以准确估计苹果的姿态。这往往会在抓取时造成果实、枝条甚至机器人手指的损伤,同时显著降低苹果采摘的效率与成功率。因此,本文提出了一种用于果园苹果的实时三维姿态角估计算法,并自主开发了一套苹果姿态角验证系统。最后,通过果园现场试验验证了该算法的有效性与准确性。首先,基于
图片

中科院1区Top | IF=12.4

2026.2.18在线发布|本文作者详情如上图


 图文概要

在苹果采摘过程中,现有机器人难以准确估计苹果的姿态。这往往会在抓取时造成果实、枝条甚至机器人手指的损伤,同时显著降低苹果采摘的效率与成功率。因此,本文提出了一种用于果园苹果的实时三维姿态角估计算法,并自主开发了一套苹果姿态角验证系统。最后,通过果园现场试验验证了该算法的有效性与准确性。

首先,基于 YOLOv8 的果实分割掩膜图,结合惯性矩算法,估计不可见萼部苹果的姿态角(0、θ)及其最大横向直径。当模型识别出苹果萼部后,依据表面中心坐标估计果核位置与苹果的最大横向直径,进而构建萼部—果核向量。随后,利用空间几何方法,将该向量分别分解到 X″O″Y″ 平面与 Y″O″Z″ 平面,并计算得到姿态角(α、β)。

果园现场测试结果表明:该算法对苹果与萼部的检测准确率分别为 0.953 和 0.703,果实分割准确率为 0.953。通过标定误差测试实验,机械臂的空间定位误差为 12.1 mm。经过多姿态、多距离测试,该算法对苹果最大横向直径估计的绝对误差为 3.9 mm。

基于自主开发的姿态角验证系统开展的果园现场实验显示:在未识别萼部的情况下,苹果姿态角的平均绝对误差为 16.3°;在可识别萼部的苹果姿态角中,平均绝对误差为 17.0°,且平均绝对误差为 18.1°。

本文提出的苹果姿态估计算法为后续苹果采摘机器人的姿态获取提供了算法支撑。


本文研究全文获取途径:后台回复“531


图片

图1 基于YOLOv8 融合转动惯量的苹果姿态角实现流程图


图片

图2 本研究中使用的 YOLOv8 架构图


图片

图3 苹果果实轴线检测工作流程。(a) 原始图像。(b) 分割图。(c) 果实掩模图像。(f) 苹果转动惯量。(e) 转动惯量掩模原始图像。


图片

图4 坐标系之间的关系和变换


图片

图5 机器人手眼标定


图片

图6 苹果质心计算示意图


图片

图7 苹果姿态角度的计算


图片

图8 基于最小转动惯量的苹果姿态估计


图片

图9 苹果位置和姿态的整体测量系统和实时软件演示


图片

图10 测量装置的示意图


图片

图11 漏检萼片的各种情况


图片

图12 正确姿态估计示例。(a) 基于最大转动惯量的花萼核心姿态。(b) 基于最小转动惯量的姿态。


图片

图13 姿态估计错误示例。(a) 花萼识别失败。(b) 圆形轮廓。(c) 树叶和树枝遮挡。(d) 光照阴影。(e) 果实变形。(f) 部分腐烂的果实。

相关推荐