基于无人机（UAV）三维点云多视角卷积神经网络（CNN）的结球甘蓝单株产量估测与跨田块泛化评估

《Agronomy Journal》：Cabbage yield estimation with multi-view convolutional neural networks from UAV-derived point clouds

　　

遥感三维（3D）数据（包括点云）可提供详细的冠层结构信息，从而提升估测精度和模型泛化能力。本研究主要目标是评估基于多视角三维投影图像的多视角卷积神经网络（multi-view convolutional neural network, CNN）方法对结球甘蓝（Brassica oleracea var. capitata L.）单株产量估测的准确性。此外，利用来自未见田块的测试数据集检验该方法的泛化能力。本研究建立四类模型。两类模型使用八幅斜视图像的多视角图像，分别附加或不附加一幅俯视图。另外两类为比较基线模型：使用正射影像作物图像的单图像卷积神经网络（single-image CNN, SI-CNN）和简单的基于像素的线性模型（pixel-based linear model, PiL）。模型在与训练和验证数据相同的田块数据集以及两个独立田块上进行评估。多视角模型在与训练和验证数据相同的田块数据集上取得Lin's concordance correlation coefficient（LCCC）0.74 ± 0.013和0.73 ± 0.017，超过单图像模型。尽管与随机划分测试数据集相比，独立田块中的预测误差增加，多视角模型仍优于基线模型，表明其在外推条件下具有稳健性。Gradient-weighted Class Activation Mapping（Grad-CAM）结果表明，多视角模型关注的区域不同于单图像模型所强调的区域。这些结果突出表明，多视角模型不仅提高产量估测精度，而且增强泛化能力，支持精准农业中胁迫检测和生长监测等更广泛应用。

研究背景与问题：结球甘蓝等蔬菜作物单株空间可分，单株产量估测有助于识别达到可销售重量的叶球、辅助收获和市场规划，并支持育种试验高通量评价和精准农业位点管理。已有遥感产量估测多基于二维（2D）图像，但2D图像存在遮挡和结构表达不足，难以区分俯视外观相似而3D结构不同的植株；株高、冠层体积、叶片垂直和水平生长及叶球发育等3D结构性状与生物量积累和产量组成密切相关。点云可直接提供3D结构，但超越高度指标的产量估测应用仍有限。多视角CNN可将3D目标渲染为多幅2D图像并利用成熟2D CNN，但用于生物量和产量回归任务的研究有限；同时，随机交叉验证可能高估模型性能，需用独立田块评估外推泛化。因此，本研究评估基于UAV衍生点云多视角图像的CNN对结球甘蓝单株产量估测的精度和跨田块泛化能力，并检验斜视图是否提供顶视图之外的有用信息。

关键技术方法（≤250字）：样本为2021–2022年日本岐阜县5个商业农田（Fields A–E）的结球甘蓝品种“Okina SP”，共2059个叶球，测定单球鲜重并以RTK-GNSS定位。UAV可见光影像生成正射影像与3D点云；YOLACT分割单株；点云1.0 cm体素化后渲染顶视图和8个斜视图（45°间隔、30°倾斜）。建立八视角CNN（8V-CNN）、九视角CNN（9V-CNN）、单图像CNN（SI-CNN）和像素线性模型（PiL），CNN以ResNet-18提取特征。Fields A、B、D按70:15:15随机划分重复5次，Fields C、E为独立测试；以归一化均方根误差（nRMSE）、LCCC评价，方差分析（ANOVA）/Tukey诚实显著差异（HSD）检验，Grad-CAM解释。

3 RESULTS（结果）：通过nRMSE和LCCC对三类测试数据集进行模型比较及ANOVA/Tukey HSD检验，发现所有数据集中模型间nRMSE和LCCC均显著不同。随机划分测试数据集中，8V-CNN和9V-CNN的LCCC分别为0.74 ± 0.013和0.73 ± 0.017，显著高于SI-CNN的0.64 ± 0.023（p < 0.05）。Field C中，SI-CNN与两种多视角模型的nRMSE和LCCC均显著不同，LCCC由0.50 ± 0.012（SI-CNN）提高至0.57 ± 0.016（8V-CNN）和0.57 ± 0.010（9V-CNN）。Field E中，SI-CNN、8V-CNN和9V-CNN的LCCC无显著差异，但8V-CNN的nRMSE显著低于SI-CNN。8V-CNN与9V-CNN在所有数据集的nRMSE和LCCC上均无显著差异。通过线性回归和密度散点图分析观测与估测鲜重关系，所有模型和数据集均呈显著关系，R²和LCCC分别范围为0.202–0.962和0.227–0.981；随机划分测试集回归斜率PiL、SI-CNN、8V-CNN、9V-CNN分别为0.216、0.500、0.584、0.569；Field C斜率为0.294–0.398，Field E为0.146–0.279；Field C中PiL的R²为0.649，比SI-CNN高0.212，接近多视角CNN；8V-CNN与9V-CNN的R²和LCCC最大差分别为0.014和0.027，性能近等价。通过Grad-CAM对同一随机划分测试集同一结球甘蓝可视化，SI-CNN高强区域主要位于叶球，而8V-CNN和9V-CNN在顶视图和斜视图中外叶区域强度更高，其他植株和其他测试集亦见类似模式。

4.1 Model performance（模型性能）：讨论总结认为，多视角CNN持续优于2D图像基线，说明纳入多视角3D结构信息对单株产量估测有效；Grad-CAM提示多视角模型可能利用外叶空间扩展和形状等视觉线索，斜视图可补充顶视图的外叶结构信息。8V-CNN与9V-CNN在统计检验和散点图上差距可忽略，表明额外顶视图贡献不大，当前条件下斜视图像更有效。PiL仅依据单株覆盖面积，在随机划分和Field E中总体表现最差，符合覆盖面积指标通常需与其他预测变量联合使用的特点；但Field C中PiL的nRMSE低于SI-CNN，提示该田块覆盖面积可能比其它图像特征更有信息量，而多视角CNN在各数据集表现稳定。

4.2 Model generalizability（模型泛化性）：讨论总结认为，独立测试田块C和E的估测精度低于随机划分测试集，但多视角CNN仍优于其他模型，在外推条件下相对稳健。Field E精度持续低于Field C，可能与管理和周边环境差异有关：Field E附近无训练田块且无管理关联，生长季杂草管理有限，杂草持续至收获；尽管分割步骤排除非作物植被，杂草竞争可能限制结球甘蓝生长并改变收获时形态。Field C地理上接近Field A且由同一农民协会管理，但年份不同。Field C中SI-CNN的LCCC低于PiL，PiL的R²高于SI-CNN并接近多视角CNN；由于高R²时可通过小规模采样调整回归系数进行重校准，结构最简单的PiL可能成为未见田块实际应用的选项。研究未采用空间交叉验证和留一田交叉验证，原因是田块数量有限且各田块样本量差异较大；尽管如此，多视角CNN仍取得较低误差和较高LCCC，提示多视角图像有助提升泛化性。讨论还提出数据增强可提高稳健性；由于多视图按固定顺序拼接且图像顺序有语义，循环移位图像序列起点可能降低对结球甘蓝方向和光照方向的敏感性，并可结合颜色抖动和几何变换等常规增强。

4.3 Further improvement（进一步改进）：讨论总结认为，本研究采用简单的多视角CNN架构，虽优于单视图CNN，但可探索更显式整合视角间关系的架构，如Group-View CNNs，或采用CNN与长短期记忆网络结合的顺序聚合方式以整合不同视角互补信息。当前应用限于收获期产量估测，扩展至早期生长阶段可支持肥料管理和生长胁迫检测；结合多时相数据分析和数据同化可纳入时空动态，用于预测最佳收获时机和结球甘蓝裂球风险。还可评估特定决策任务中的表现，如筛除严重偏小（undersized）而不适合出货的叶球；当前数据中此类样本有限，需收集更多不可销售叶球数据以明确适用性。由于多视图图像可在一致设置下由重建3D点云生成，该框架可系统评估斜视图是否提供顶视图之外的信息，并作为设计直接采集斜视图像的实际传感系统的中间步骤，支持作物生长、胁迫和产量监测平台及农业机器人和位点管理。

结论翻译：本研究利用UAV衍生3D点云数据生成的多视角图像，评估多视角CNN模型用于结球甘蓝产量估测的准确性和泛化性。与传统单图像CNN和基于像素的线性模型相比，多视角方法在内插和外推情景中均持续取得更低的估测误差和更高的LCCC。这些结果表明，纳入来自多个视角的3D结构信息可提高产量估测模型的稳健性和泛化能力，尤其是在与训练数据空间和环境条件不同的条件下。相反，增加俯视图未提供可测量的益处，表明由3D点云生成的斜视表征已捕获该任务足够的结构细节。总体而言，本研究突出多视角CNN作为单株产量估测实用框架的潜力，可支持可销售结球甘蓝选择和收获与市场规划；其较单图像方法更有效捕获植物架构的能力提示其可更广泛用于生长监测和胁迫检测。对于实际部署，未来工作应探索更多样环境中的模型性能、数据增强策略和成本效益评估，以平衡精度提升与实施复杂性。