扁椭旋转椭球（Oblate Rotational Ellipsoid）蓝莓果实空间位姿估计：基于改进YOLOv11多任务感知网络

《Agronomy》：Oblate Rotational Ellipsoid-Based Spatial Pose Estimation of Blueberry Fruits Using an Improved YOLOv11 Multi-Task Perception Network

　　

蓝莓的精确三维（3D）位姿感知对于采摘机器人进行非破坏性扭转采摘至关重要。尽管近期关于果实位姿估计的研究已取得可观进展，现有多数方法依赖球体假设，对蓝莓等天然扁椭果实引入固有系统误差。研究人员此前开发了轻量级YOLOv11（You Only Look Once第11版）检测器，并在标准球体假设下估计果实生长轴的三维位姿。为克服该几何局限，本文创新提出契合蓝莓形态的扁椭球投影模型，以及椭圆长轴法，消除标准球体近似在角度计算中的系统误差。原检测器升级为多任务感知网络，联合完成果实检测、萼片关键点定位与像素级轮廓提取，为后续位姿分析提供全面信息。实验表明，改进网络检测mAP（mean average precision）达95.7%，关键点mAP 86.5%，分割mAP 78.4%，计算复杂度仅增7.8%。果实生长轴与相机光轴平均夹角误差由19.2°降至10.9°，理想采摘角误差由10.0°降至4.7°，且不牺牲实时性。该方法克服原方法几何局限，为蓝莓非破坏性采摘提供更可靠视觉支撑。

研究背景方面，蓝莓因采收期短、成熟度不一、皮薄，人工与机械采收存在强度大、效率低、损伤率高的问题，基于机器视觉的智能采摘机器人是有效解决途径。经验工人沿生长轴扭摘可避免果皮撕裂，故机器人夹爪除需果实三维坐标外，还须准确估计生长轴与相机光轴夹角以调整抓取姿态。现有果实三维位姿感知分几何模型驱动与关键点驱动两类：前者多以标准球或一般椭球假设拟合轮廓解算位姿，对直径仅1–2 cm的小果RGB-D深度质量差，且球体假设对扁椭蓝莓引入半径估计偏差并经arcsin非线性放大；后者依赖品种特有关键点，蓝莓萼疤仅2–3 mm、对比度低，6DoF回归需大规模三维标注，跨果泛化弱。研究人员此前轻量级YOLOv11检测器在球体假设下半宽高近似半径，经三角关系解算位姿，实测蓝莓极径/赤道径比约0.82（0.79–0.85），球体假设不符形态且误差放大系数在倾斜大时剧增，理想采摘角理论误差超7°。

为开展研究，研究人员采用以下主要关键技术方法：以山东青岛沃林蓝莓基地100颗北方高丛成熟蓝莓实测形态参数（极径/赤道径比均值0.82）为先验；构建5000张含实地与网络图像的蓝莓数据集（8:1:1划分，原图测试），用LabelMe补实例分割多边形标注，转YOLOv11格式；骨干以RDSC（Reverse Depth-wise Separable Convolutions）替换标准卷积、去C2PSA注意力，颈层用DSC（Depth-wise Separable Convolutions）融80×80与40×40特征并去20×20层，多头输出检测框/类别/萼中心/32维mask系数、160×160上采样得32原型mask加权求和得分割掩码，多任务损失含检测、分割、关键点三项；几何端依据扁椭旋转椭球两定理——长轴恒定（投影椭圆长轴恒等于赤道径2b）、短轴方向即生长轴投影方向，由分割mask二阶矩解析拟合椭圆得长轴像素2b_pixel，结合形态比k=0.82推极半径像素a_pixel=k·b_pixel，萼心距l与a_pixel代入θ_z=arccos(l/a_pixel)闭式求解，避球体假设。

研究结果部分，2.1节形态与缺陷分析测得k≈0.82稳定，原法式(3)半径取半宽高均值介于a与b间，倾斜时边框同时含两极轴投影致拟合误，半径误经式(4)放大系数在l→r时陡增，理想角误超7°；2.2节多任务网络在YOLOv11n尺度下检测mAP₅₀ 99.1%、mAP_50–95 95.7%，关键点mAP_50–95 86.5%，分割mAP_50–95 78.4%，参2.0 M、3.45 GFLOPs较原检增7.8%，单帧0.38 ms，损失权重Group E（检测0.3/分割0.4/关键点0.3）使分割与关键点最优且检测95.7%被选；2.3节椭圆长轴法由投影定理得a_pixel=k·b_pixel，θ_z=arccos(l/a_pixel)，k波动±0.03在θ_z=15°时角误±0.6°、30°时<±1.3°，mask二值阈127后二阶矩解析拟合椭圆；3.3节4338样本配对显示平均误差19.2°→10.9°（降43.2%），SD 5.2°→2.5°，最大38.7°→20.5°，理想角（<15°）10.0°→4.7°（降53%），图7六样本均误6.1°对7.3°；3.4节OAK-D-Pro部署整体12.9 FPS（原13.4）满足实时。

讨论部分指出该法优势为从几何根上消除球体系统误、闭式解物理清晰、轻量实时；局限为固定k跨品种偏置、遮挡>30%时mask不全致拟合降、分割与关键点感知上限制约位姿、未在实体机器人验证无损率。结论部分翻译：蓝莓精确3D位姿估计对机器人高效无损采摘关键，本文在原框架上提改进法。（1）几何创新：扁椭旋转椭球模型替球体，证长轴恒定与短轴方向两定理，椭圆长轴法闭式解生长轴倾角，除球体与边框近似系统误；（2）多任务网络：原检升为同时出框/掩码/萼关键点，检测95.7%、分割78.4%、关键点86.5%，算力仅增7.8%；（3）位姿均误19.2°→10.9°、理想角10.0°→4.7°，边缘12.9 FPS实时，为无损采摘供可靠视觉支撑。文发表于《Agronomy》。