基于RGB驱动的三维光谱表示学习框架结合不平衡感知3D生成对抗网络与3D卷积神经网络的油棕健康评估研究

《Smart Agricultural Technology》：A Novel RGB-Driven 3D Spectral Representation Learning Framework with Imbalance-Aware 3D GAN and 3D CNN for Oil Palm Health Assessment

　　

中文摘要翻译：从RGB图像进行光谱重建已成为增强植物病害检测的重要方法，尤其在无法直接获取高光谱数据的情况下。本研究提出了一种新框架，通过整合可见光（VIS）与近红外（NIR）波段，从油棕叶片RGB图像重建三维高光谱数据立方体。重建过程并非直接预测完整光谱立方体，而是采用结构化且渐进的方式。首先，生成一个粗略光谱立方体作为初始光谱先验，以近似光谱分布并约束解空间。同时，提取特征立方体以捕获多尺度空间信息，包括纹理、结构特征及上下文模式，这些信息对于降低光谱模糊性并提高重建精度至关重要。为解决数据集中显著的类别不平衡问题，采用三维生成对抗网络（3D GAN）生成逼真的合成光谱样本，增强少数类别的表示。该平衡后的光谱数据集使模型训练更加有效，并减少了训练过程中的偏差。随后，将重建并增强的三维光谱数据输入三维卷积神经网络（3D CNN），对油棕叶片状况进行分类，包括褐斑病、白介壳虫、健康、缺氮和缺钾。实验结果表明，所提方法一致优于六个基准模型，取得了最低的均方根误差（RMSE低至0.112）、最高的决定系数（R2最高达0.930）以及优异的性能偏差比（RPD最高达2.946）。这些发现证实，结构化光谱重建、基于GAN的类别不平衡处理与3D CNN分类的集成显著提高了预测精度，尤其对少数类别效果明显。所提框架为精准农业中智能油棕病害检测提供了一种稳健且可扩展的解决方案。

基于RGB驱动的三维光谱表示学习框架结合不平衡感知3D生成对抗网络与3D卷积神经网络的油棕健康评估研究解读

油棕（Elaeis guineensis）是全球重要的经济作物，其产量与植株健康状况密切相关，尤其是病害感染与营养元素状态。传统的人工目视检查与实验室分析方法虽然可靠，但耗时费力，难以在大规模种植园中推广。基于RGB图像的成像方法因成本低、采集便捷而被广泛采用，然而RGB图像仅包含三个宽波段信息，无法表征植物组织中微小的生化与生理变化，难以区分症状相似的不同病害与缺素症状。高光谱成像能够提供跨越宽波长范围的反射率信息，并以三维光谱立方体形式呈现，同时包含空间与光谱维度，可更全面地反映叶绿素含量、水分状态及养分组成等生化属性。然而高光谱传感器价格昂贵，难以在实际农业环境中大规模部署。近年来，研究者尝试从RGB图像推断光谱信息，但多数方法将这一问题视为从RGB到光谱的直接映射，属于严重的不适定问题——一个三维RGB向量无法唯一确定高维光谱签名，导致重建结果不稳定且物理上不一致。此外，现有方法往往忽略光谱重建的结构特性，将其视为逐像素回归任务，未充分利用空间上下文与光谱依赖关系。同时，油棕数据集中普遍存在类别不平衡问题，健康样本数量远多于病害与缺素样本，传统模型倾向于多数类，难以有效识别少数类关键状况。针对上述问题，研究人员提出了一个统一的RGB驱动三维光谱表示学习框架，以结构化渐进方式将RGB图像重建为三维高光谱立方体，并集成不平衡感知的3D生成对抗网络（3D GAN）与三维卷积神经网络（3D CNN），用于油棕叶片健康状况的精确分类。

研究人员利用来自Roboflow的油棕叶片公开数据集，包含褐斑病、健康、白介壳虫、缺氮和缺钾共五类，总计7312张RGB图像，其中5848张训练样本、1464张测试样本，并采用10折交叉验证评估模型性能。研究中首先通过A++映射函数生成粗略光谱立方体作为初始光谱先验，同时利用多尺度空洞卷积残差网络（MACRN）提取特征立方体，随后采用MST++模块先后重建可见光（VIS）与近红外（NIR）光谱分量，最终拼接为31波段的三维高光谱立方体。为缓解类别不平衡，研究人员设计了类别条件式3D GAN，对少数类样本进行针对性合成增强，并通过光谱角度制图（SAM）与Fréchet初始距离（FID）评估合成样本质量。最后，平衡后的三维光谱数据输入包含三个3×3×3卷积块（通道数1→32→64→128）的3D CNN分类器，以Softmax输出五类健康状态。训练中，重建阶段采用RMSE损失，3D GAN采用对抗损失，3D CNN采用交叉熵损失，均使用Adam优化器，学习率分别为0.0001、0.0002与0.0001，批次大小分别为16、16与16（其中3D GAN批次大小为16），训练轮数均为300。

在实验结果方面，4.1节展示了不同油棕叶片状况下的高光谱重建可视化，表明所提方法有效保留了结构和光谱保真度；同时通过实例分布演变与类别分布可视化，证实3D GAN逐渐生成紧凑且定义明确的聚类，将多数类与少数类的初始不平衡比例8.58:1显著降低。4.2节消融研究比较了仅含RGB-to-HSI、仅含3D CNN、RGB-to-HSI+3D CNN、RGB-to-HSI+3D GAN以及完整提出方法在不同训练轮次下的RMSE曲线，结果显示完整方法在所有叶片类别中最终取得最低RMSE，验证了各组件互补集成的重要性。4.3节给出了模型架构与训练配置，并通过激活图可视化展示了3D CNN从低层局部强度变化、边缘到高层类判别特征的分层提取过程。4.4节与4.5节、4.6节分别从RMSE、R2与RPD三个指标对所有方法进行对比，所提方法在五类叶片上均达到最优性能：RMSE最低0.112（健康类）、R2最高0.930（健康与缺钾类）、RPD最高2.946（健康类）。4.7节进一步评估了各类别的准确率、精确率、召回率与F1分数，热图显示所提方法在所有指标与所有类别上均最高，尤其对褐斑病、缺氮、缺钾等少数类提升显著。4.8节通过配对t检验（α=0.05）与95%置信区间分析，证实所提方法相对所有基准模型的性能提升均具有统计学显著性。4.9节分析了计算复杂度，指出整体框架复杂度由光谱重建、对抗训练与三维卷积共同决定，并讨论了未来面向无人机与物联网平台的轻量化优化方向。4.10节讨论指出，尽管基准模型如BEiT与DLMC-Net在某些类上表现接近，但难以在全部类别中保持一致性；同时，所提方法重建的光谱信息本质上是估算值而非传感器实测值，重建误差可能传播至后续分类环节；当前数据集与采集条件的特定性也限制了结论的普适性。最后，研究结论强调，所提方法通过结构化光谱重建、3D GAN类不平衡处理与3D CNN空间-光谱分类的集成，在油棕叶片病害与缺素检测方面取得了显著性能提升，为精准农业提供了可扩展、数据驱动的智能监测方案。未来工作可引入真实高光谱传感器数据进行验证，结合轻量化或边缘端模型实现实时部署，探索扩散模型等先进生成方法，并扩展数据集覆盖更多病害类型与环境变化以增强泛化能力。