基于花冠-花蕾拓扑与选择性双相机校正的红花机器人可靠视觉引导采收

《Agriculture》：Reliable Visual Guidance for Robotic Safflower Harvesting Using Corolla–Bud Topology and Selective Dual-Camera Correction

　　

田间红花采收面临目标尺度变化、遮挡及随机生长朝向等挑战，这些问题会降低视觉感知与末端执行器对准的性能。本研究提出了一种集成FAPB-Net分割网络、花冠-花蕾（corolla–bud）拓扑结构以及选择性主-辅双相机校正的机器人视觉引导框架。倾角（inclination）通过拟合花冠椭圆进行估计，面内朝向（in-plane orientation）则由从花蕾指向花冠的有向向量获得。仅当三维目标匹配与角度一致性条件均满足时，才引入辅助相机的倾角估计值。FAPB-Net在28 FPS下实现了花冠交并比（IOU）90.28%与花蕾交并比70.85%。在138对同步双相机测试数据上，倾角平均绝对误差（MAE）从7.5°降至6.3°，Acc@10°（绝对误差低于10°的估计比例）从86.2%提升至90.6%。在包含515个目标的田间试验中，识别/定位率与末端执行器到达率分别达到95.92%和94.95%。对于447个拥有完整参考测量的目标，倾角与朝向的MAE分别为6.0°和4.72°。基于姿态引导的采收实现了平均采收完整率（HCR）94.63%，而仅基于位置的引导为91.40%。这些结果表明，姿态信息对于实现可靠的红花采收具有实际应用价值。

研究背景与现存问题

红花（Carthamus tinctorius L.）是一种重要的药用和经济作物，其花丝采收仍严重依赖人工。随着机器视觉与机器人采收技术的发展，视觉系统不仅需要提供目标位置，还需提供用于末端执行器对准与自主执行的几何信息。现有研究在作物目标检测与采摘点定位方面取得了显著进展，但输出仍以位置信息为主，对末端执行器朝向调整的指导有限。此外，直接套用现有作物姿态估计策略于红花面临特殊困难：红花的花冠呈近似平面且紧凑的结构，而与之关联的花蕾在图像中占比较小；植株高度与成像距离的变化导致目标尺度大幅波动；投影花冠形状虽可为倾角提供几何线索，但不完整轮廓会破坏椭圆拟合稳定性，且椭圆几何本身无法可靠区分图像平面内的实际生长方向。因此，研究人员开发了融合语义分割、花冠-花蕾拓扑关系与选择性双相机校正的视觉引导框架。

研究方法概述

研究人员首先构建了红花图像数据集，采集于2025年7月新疆昌吉回族自治州红旗农场的开花期，品种为吉红No.3。采用ZED2i立体相机以1280×720像素分辨率、15帧/秒采集图像，共获得2034张有效图像并进行像素级标注。在双相机验证中，两台ZED2i相机刚性安装在采收平台上并同步采集RGB与深度数据，主相机作为机器人坐标与姿态输出的基准，辅相机用于辅助倾角校正。研究人员提出了FAPB-Net分割网络，基于U-Net编码器-解码器架构，采用ResNet34作为编码器增强层次特征提取，引入ASPP模块聚合多尺度上下文信息，并在跳跃连接中嵌入并行CBAM注意力模块以细化编码器特征，结合类别加权交叉熵损失与边界增强损失进行训练。在此基础上，通过拟合花冠椭圆估算倾角，利用花蕾质心到花冠中心的有向向量确定0°~360°范围的面内朝向，并通过跨视角目标匹配与角度一致性判断实现选择性双相机倾角校正。最后，通过手眼标定将视觉信息转换至机器人坐标系，进行田间采收验证。

研究结果

3.1 语义分割性能

FAPB-Net在测试集上实现了花冠交并比（IOU）90.28%、花蕾IOU 70.85%，对应召回率分别为97.05%和88.70%，Dice系数分别为94.89%和82.94%。模型参数量为32 M，在NVIDIA GeForce RTX 3090 GPU上推理速度为28 FPS。消融实验表明，将标准CBAM替换为并行CBAM使花冠IOU从87.03%提升至87.56%、花蕾IOU从68.15%提升至68.37%；进一步结合ASPP后相应IOU增至88.35%和68.97%；引入ResNet34编码器后无边界监督配置下花冠和花蕾IOU达89.23%和69.42%；加入边界增强监督后完整FAPB-Net取得最高性能。

3.2 单视图红花姿态估计性能

在154张图像的评估中包含534个目标，其中43个因图像质量问题无效；剩余491个目标中90个未能产生有效姿态，包括20个花冠轮廓不完整、42个缺乏结构信息、28个花冠-花蕾对应不可靠。最终401个有效输出对应输出率75.09%。在401个有效姿态实例上，所提方法的倾角MAE为7.38°，Acc@10°为87.28%；面内朝向整体MAE为4.65°，Acc@10°为94.76%。与最小外接矩形（MBR）、主成分分析（PCA）和拟合椭圆等几何基线相比，所提花冠-花蕾有向向量表示在0°~360°全范围朝向估计中表现更优。分层分析显示，中间倾角范围的Acc@10°较高，而接近圆形的低倾角目标和严重遮挡的高倾角目标误差较大。

3.3 双相机校正与田间机器人验证

在138对独立同步双相机测试数据上，主相机单独估计的倾角MAE为7.5°、Acc@10°为86.2%；直接主-辅平均使MAE降至7.3°、Acc@10°升至87.7%；所提一致性引导校正进一步将MAE降至6.3°、Acc@10°提升至90.6%。分层结果显示，20°~60°范围内改善最为明显。田间试验中，515个目标的识别/定位率为95.92%，末端执行器到达率为94.95%；447个具有完整参考测量的目标中，倾角与朝向MAE分别为6.0°和4.72°。采收完整性实验中，姿态引导采收的平均采收完整率（HCR）为94.63±4.09%，显著高于仅位置引导的91.40±4.96%（p<0.05），差异为3.23个百分点，Cohen's d为0.71。

讨论与结论

讨论指出，FAPB-Net提供的结构信息对后续姿态估计至关重要，尽管分割精度提升幅度中等，但花冠边界的准确保持与小区域花蕾的分割质量对椭圆拟合与拓扑关系建立尤为关键。倾角估计精度依赖于花冠投影几何：低倾角时投影趋近圆形，轴比接近1，微小轮廓扰动即可引起较大角度变化；高倾角时遮挡与不完整边界影响椭圆拟合。选择性双相机校正使倾角MAE降低16.0%，在20°~60°范围内增益最大，但在极端倾角下改进有限。双相机校正需额外硬件与标定工作，主相机倾角在校正条件不满足时被保留，朝向始终来自主相机。田间试验验证了框架在感知、姿态估计与机器人执行方面的集成性能。姿态引导采收较仅位置引导提高HCR 3.23个百分点，证实了姿态信息的实用价值。局限性方面，姿态估计可靠性依赖于花冠与花蕾的可见性与结构完整性，单视图有效姿态输出率为75.09%，双相机校正效果在两者均受遮挡时受限。未来工作将整合重复图像采集、目标更新与调度至连续采收作业，并在更多地点、生长阶段和品种上进行评估。

研究结论翻译

本研究开发了一个集成FAPB-Net分割、花冠-花蕾拓扑结构与选择性主-辅双相机倾角校正的红花机器人采收视觉引导框架。FAPB-Net在28 FPS下实现了花冠和花蕾IOU分别为90.28%和70.85%，为后续几何姿态估计提供了结构信息。利用花冠椭圆几何与有向花冠-花蕾关系，所提方法在401个有效姿态实例上以MAE 7.38°和4.65°分别估算了倾角和0°~360°面内朝向，相应Acc@10°为87.28%和94.76%。在138对同步双相机测试数据上，一致性引导校正将倾角MAE从7.5°降至6.3°，Acc@10°从86.2%提升至90.6%。包含515个目标的田间试验实现了95.92%的识别/定位率和94.95%的末端执行器到达率。对于447个具有完整参考测量的目标，倾角和面内朝向MAE分别为6.0°和4.72°。姿态引导采收将平均HCR从91.40±4.96%提高至94.63±4.09%（p<0.05），证明了在所测试田间条件下目标姿态信息对末端执行器对准与采收完整性的实用价值。