《Frontiers in Plant Science》：Balancing accuracy, completeness, and efficiency for rice 3D reconstruction through CBAM-UNet-based multi-view segmentation and camera configuration optimization
编辑推荐：
多视图三维重建已被广泛应用于植物表型分析，但水稻复杂的冠层结构对重建精度、完整性和效率提出了重大挑战。本研究利用自主研发的Metatlas V1多视图成像平台，结合COLMAP + OpenMVS流程，开发了一种优化的水稻三维重建工作流。采用基于CBAM-UN
多视图三维重建已被广泛应用于植物表型分析，但水稻复杂的冠层结构对重建精度、完整性和效率提出了重大挑战。本研究利用自主研发的Metatlas V1多视图成像平台，结合COLMAP + OpenMVS流程，开发了一种优化的水稻三维重建工作流。采用基于CBAM-UNet的图像分割模型从复杂背景中提取植物区域，其性能优于阈值法、U-Net和U-Net++，并增加了重建点的数量。通过系统地组合等距策略和贪心策略进行相机配置优化，最终确定了一个最优六相机方案（#2、#3、#4、#6、#7和#8，分别对应于相对于水平视角的?30°、?15°、0°、+30°、+45°和+60°），该方案能够提供冠层内部结构和茎基部的互补视图。与完整11相机方案相比，该配置在不同品种和生育期下将平均最近邻距离降低至0.037–0.066 cm，保留了73–76%的点，并将重建时间缩短约70–80%。点云衍生与人工测量的株高和冠幅之间的一致性良好（R2分别为0.989和0.946），支持了点云衍生表型测量的准确性。总体而言，将图像分割与相机配置优化相结合，为利用Metatlas V1对水稻进行高通量三维表型分析提供了一种准确且高效的解决方案，在重建精度、点云完整性和计算效率之间取得了平衡，并可为其他旋转式多视图表型平台的相机配置设计提供方法参考。
水稻作为全球重要的粮食作物，其冠层结构复杂，分蘖众多、叶片细长且相互重叠，给基于多视图影像的三维重建带来了严峻挑战。当前高通量表型分析主要依赖二维图像，难以准确获取叶倾角、方位角等三维冠层结构参数。尽管LiDAR技术可实现三维重建，但设备成本高、操作复杂，且点云质量易受扫描几何和冠层遮挡影响。多视图成像结合运动恢复结构（Structure from Motion，SfM）与多视角立体匹配（Multi-View Stereo，MVS）流程已成为植物三维表型分析的主流方法，但水稻复杂冠层对重建精度、点云完整性和计算效率提出了更高要求。为此，研究人员利用自主研发的Metatlas V1多视图成像平台，于2024年5月至10月在江苏省农业科学院无锡分院（120.29°E，31.63°N）开展试验，以合江18、中组143、南粳9108和广陆矮4号四个不同株型水稻品种为材料，在抽穗期和成熟期各选取24株代表性植株进行成像与三维重建研究。研究旨在通过优化图像分割和相机配置，在保证重建精度的前提下提升点云完整性和计算效率，为高通量水稻三维表型分析提供解决方案。
研究人员开发了嵌入卷积块注意力模块（Convolutional Block Attention Module，CBAM）的U-Net分割网络（CBAM-UNet），用于从复杂背景中提取水稻植株区域，并与阈值法、U-Net和U-Net++进行了对比。同时，采用等距策略和贪心策略系统生成候选相机配置，以全部11相机的重建结果为内部参考，通过平均最近邻距离（Average Nearest-Neighbor Distance，ANND）、总点数和重建时间三个维度加权综合评分，确定最优相机组合。随后，利用最优工作流重建四品种两生育期的独立样本点云，提取株高和冠幅，并与人工测量值进行线性回归验证。主要关键方法包括：基于CBAM-UNet的深度学习分割模型（含通道注意力模块和空间注意力模块）；结合COLMAP和OpenMVS的SfM-MVS三维重建流程；基于标定盆径的度量尺度恢复与迭代最近点（Iterative Closest Point，ICP）配准；以及基于等距和贪心策略的相机配置穷举与综合评分优化。
3.1 CBAM-UNet分割模型性能
在验证集上，CBAM-UNet的mIoU、mPA和F1值分别为93.17%、95.91%和96.57%，较阈值法分别提升32.04、21.82和21.39个百分点，较U-Net分别提升0.46、0.34和0.39个百分点，较U-Net++分别提升1.12、0.65和0.64个百分点。三次独立运行的平均mIoU为93.24±0.18%，高于U-Net的92.71±0.40%。消融实验表明，单独嵌入CAM或SAM均未提升mIoU，而CBAM组合可带来适度增益。定性比较显示，CBAM-UNet更好地保持了叶缘和叶尖等精细结构的连续性。在三维重建中，CBAM-UNet比阈值法平均增加约63%的重建点数，比U-Net和U-Net++分别增加约1%和2%。
3.2 相机配置对三维重建的影响
单相机配置的ANND变异系数高达35.32%，五相机组合的变异系数最高达141.35%；从六相机起，变异系数显著降至7.13%–22.93%。ANND中位数从单相机的0.635 cm逐步降至十相机的0.037 cm。点数中位数从单相机的182,897增至十相机的5,370,777。重建时间从单相机的0.5分钟增至十相机的15分钟。相机数量的增加在提升几何一致性和点云产量的同时，也显著增加了计算开销。
3.3 最优相机配置
综合等距与贪心策略的评估结果，六相机配置#2、#3、#4、#6、#7、#8获得了最高综合得分0.813。该配置对应视角为?30°、?15°、0°、+30°、+45°和+60°，能够互补覆盖冠层内部结构和茎基部。独立验证显示，该配置在不同品种和生育期下相对11相机内部参考的ANND为0.037–0.066 cm，保留总点数的73.3%–76.0%，重建时间从11相机的18.0–22.0分钟降至4.0–5.5分钟，缩短约70%–80%。距离可视化显示较大偏差主要出现在植株底部和内部分蘖的叶尖区域。
3.4 表型参数提取精度验证
采用最优工作流重建的点云提取株高和冠幅，与人工测量相比，株高的决定系数R2为0.989，均方根误差（Root Mean Square Error，RMSE）为2.082 cm；冠幅的R2为0.946，RMSE为4.604 cm。观察点紧密分布在1:1线附近，但冠幅的离散程度略大于株高，表明株高测量精度高于冠幅。
讨论部分总结了分割模型对比、相机配置差异和工作流鲁棒性。阈值法对光照和背景变化极为敏感，深学习模型则能学习层次化特征；CBAM-UNet通过通道和空间注意力增强了细粒度特征提取，但相对U-Net的优势是增量式的而非颠覆性的。相机数量较少时配置影响显著，单相机中45°倾角的#7表现最佳，两相机中15°小夹角组合更优，而贪心策略能有效避免冗余视角、提升几何互补性。最优工作流在不同品种和生育期下均保持稳健，但冠幅精度略低可能与边界残余噪点有关，未来需在更大群体和田间条件下进一步验证。研究结论如下：本研究利用Metatlas V1多视图成像平台，通过整合CBAM-UNet图像分割与融合等距和贪心策略的相机配置优化，实现了水稻植株的精准高效三维重建。与常规阈值法相比，CBAM-UNet的mIoU提升32.04个百分点，mPA提升21.82个百分点，F1提升21.39个百分点；较U-Net和U-Net++的提升更为有限，mIoU、mPA和F1分别提升0.46–1.12、0.34–0.65和0.39–0.64个百分点。该模型能准确勾勒主要和细小叶片结构，保持叶缘和叶尖连续，同时减少碎片化或缺失区域。在基于分割影像的三维重建中，CBAM-UNet也获得了更高的点数。相机配置对重建性能影响显著，增加相机数量可降低ANND并增加点数，但重建时间也随之增加。通过等距与贪心策略联合优化，确定了最优六相机配置（#2、#3、#4、#6、#7、#8，分别对应相对水平视角的?30°、?15°、0°、+30°、+45°和+60°）。该方案实现了0.037–0.066 cm的低ANND，保留了11相机完整配置所产生点数的73%–76%，并将重建时间缩短约70%–80%，有效平衡了重建精度、点云完整性和计算效率。
