一种基于物理知识的光谱-空间展开网络，结合融合感知技术，用于从RGB图像中恢复玉米的光谱信息

《Computers and Electronics in Agriculture》：A physics-informed spectral–spatial unfolding network with fusion perception for maize spectral recovery from RGB images

玉米高光谱图像从RGB图像中重建的深度学习模型研究。提出FPUF-Net框架，通过半二次分裂算法交替求解数据 fidelity子问题和先验约束子问题，融合特征学习网络和光谱空间注意力机制，结合Transformer去噪模块，有效解决高光谱重建的病态逆问题，在红边区域（620-700nm）实现18.86%的平均精度提升，为农业机器人提供低成本高精度检测方案。

　　

Jindai Liu|Fengshuang Liu|Jun Fu

吉林大学生物与农业工程学院，长春，中国

摘要

鉴于玉米在农学和经济上的重要性，开发实时和高精度的疾病检测方法对于确保产量稳定性至关重要。虽然高光谱成像在捕捉感染的高粒度光谱特征方面表现出色，但其更高的检测精度伴随着较高的硬件和时间成本，相比RGB成像来说，这对可扩展的田间应用构成了重大挑战。为了解决这一差距，本文提出了一种融合感知展开网络（FPUF-Net），用于从RGB图像中高保真地重建玉米光谱。与传统深度学习模型不同，FPUF-Net通过半二次分裂算法展开优化问题，在迭代过程中交替解决数据子问题和先验子问题。具体而言，在数据子问题中设计了融合特征学习网络和光谱-空间联合注意力网络，以明确利用RGB空间先验并减轻空间平滑效应。此外，还使用了光谱-空间Transformer作为去噪器，以捕捉先验子问题中的长距离光谱依赖性。在玉米光谱恢复数据集上进行的实验全面证明了FPUF-Net能够有效重建玉米高光谱图像，并具有更高的精度。该网络的结构特性使其能够感知长期的光谱-空间融合特征，显著减少了重建误差，特别是在生物学上关键的红边区域（620–700 nm）。在下游疾病检测任务中，重建的高光谱图像（HSI）的总体准确率在不同场景下比RGB图像提高了0.51%到8.1%，平均准确率提高了2.45%到18.86%。这些结果表明，所提出的模型为在田间环境中应用高光谱成像提供了一种可行且成本效益高的解决方案，使其能够在农业机器人中实现可扩展使用。

引言

玉米是一种重要的全球粮食和工业作物，在农业、工业和医学领域发挥着关键作用（He等人，2024年；Shen等人，2025年）。然而，它容易受到各种疾病的侵袭，这些疾病会严重影响产量（Chen等人，2021年）。传统的玉米叶病检测方法依赖于人工田间检查；这些方法不仅耗时且劳动强度大，而且往往无法提供及时和准确的诊断。为了解决这些挑战，研究人员越来越多地研究利用机器视觉、人工智能和深度学习来提高玉米叶病的检测效率和准确性（Wang等人，2024年）。

在智能农业中部署的各种传感模式中，RGB成像由于其低成本、便携性和高空间分辨率而最为普遍（Shafay等人，2025年；Sudheer等人，2025年）。然而，仅依赖RGB传感器进行疾病分类存在根本性限制，这主要源于它们的光学机制将多种光谱信号整合到三个宽频带中。这种光谱压缩通常会导致“同质化”，即具有独特光谱特征的不同病原体映射到相同的RGB值，使得标准相机无法区分它们（Mingrone等人，2025年）。从生物学角度来看，玉米疾病的早期症状——如叶绿素荧光的微妙变化、内部细胞结构的退化或水分胁迫——主要表现在特定的窄带中（Bai等人，2024年）。因此，基于RGB的模型往往难以检测无症状感染或区分具有相似视觉症状的疾病，从而限制了它们在早期干预和精确管理中的实用性。

为了克服RGB传感器的光谱限制，高光谱成像作为一种变革性技术出现在精准农业中。高光谱成像以其高光谱分辨率和集成成像能力而闻名，是遥感领域的重大突破（Vivone，2023年）。高光谱图像（HSI）包含多个光谱带，其中包含大量信息，使其在植物疾病检测方面具有巨大潜力。最近，许多研究利用HSI衍生的特征开发了机器学习模型进行疾病检测。例如，Reis Pereira等人（2023年）获取了番茄的高光谱测量点数据，并结合支持向量机进行了线性判别分析以检测番茄细菌斑点和斑点病。Bai等人（2024年）研究了生物物理和高光谱特征对叶斑病的敏感性，揭示了不同的特征敏感性。Guan等人（2022年）建立了一个新的多尺度光谱指数来检测花生叶斑病的严重程度，并使用了k最近邻和多项式逻辑回归。尽管这些研究证实了HSI的优越诊断能力，但其广泛的田间应用受到高昂的硬件成本和较慢的线扫描速度的限制（Ozdemir和Polat，2020年）。相比之下，RGB图像易于获取，采集时间和成本较低，大多数田间检测设备通常都配备了RGB相机（Fountas等人，2020年）。为了弥合RGB成像的易用性和HSI的诊断精度之间的差距，从RGB图像中恢复HSI——数学上称为光谱超分辨率（SSR）——作为一个有前景的低成本解决方案，引起了广泛的研究关注。

由于HSI包含的光谱带数量远多于RGB图像，从三色输入中恢复完整的光谱特征是一个高度不适定的逆问题。现有的解决方案通常分为基于模型和方法基于学习的方法（Zhang等人，2022年）。早期研究集中在基于模型的方法上，这些方法依赖于手工制作的先验来规范解空间（Aeschbacher等人，2017年；Arad和Ben-Shahar，2016年）。然而，这些方法通常需要耗时的迭代优化，并且难以捕捉复杂的非线性光谱相关性。最近，深度学习模型，特别是卷积神经网络（CNN），在SSR任务中表现出色（Li等人，2021年；Yan等人，2024年）。为了解决获取大规模配对数据集的挑战，人们越来越多地关注无监督和自监督学习范式（Huo等人，2024年）。例如，生成对抗网络（GANs）尝试使用未配对数据通过强制循环一致性或分布匹配来学习RGB和HSI域之间的转换（Qu等人，2023年）。虽然这些无监督方法提供了高灵活性并减轻了数据依赖性，但它们本质上缺乏强大的像素级约束。因此，它们经常出现光谱不稳定，生成的光谱曲线无法保持精细生理分析所需的精确辐射度保真度——这对于像疾病检测这样的精确任务来说是一个关键风险。与无监督方法的不稳定性相比，监督深度展开网络（DUNs）作为一种强大的混合架构出现，它在基于模型的方法的可解释性和深度神经网络的学习能力之间架起了桥梁（Zhou等人，2024年）。通过将基于物理的优化算法的迭代步骤“展开”为可学习的层，DUNs在端到端监督的方式中明确模拟了物理退化过程，同时从配对数据中学习最优参数。这种架构确保了重建的光谱不仅准确，而且在物理上也是一致的，提供了性能和可靠性之间的优越平衡。本文提出的模型就是基于这一框架构建的。

在本文中，我们提出了一种融合感知展开网络（FPUF-Net），用于完成玉米的光谱重建任务，从而为后续的疾病检测提供了基础。本研究的主要贡献如下：

• (1)
  我们提出了FPUF-Net，这是一种专为玉米高光谱图像重建定制的新型深度展开框架。它明确地将基于物理的退化过程展开为可学习的层，有效地解决了从RGB输入中恢复复杂玉米光谱特征的不适定逆问题。
• (2)
  我们设计了一个数据保真模块，其中包含融合特征学习网络、光谱-空间联合注意力网络和参数估计器，以自适应调整优化参数并融合空间先验。此外，我们使用光谱-空间Transformer作为去噪器，作为深度先验，通过捕获全局光谱相关性来确保高保真信号恢复。
• (3)
  FPUF-Net在生物学上重要的波长范围内显示出显著的准确性改进，特别是在红边区域（620–700 nm），有助于检测标准RGB成像中通常丢失的与疾病相关的微妙生化变化。
• (4)
  在玉米疾病数据集上的实验结果表明，使用FPUF-Net重建的HSI在疾病检测任务中的准确性显著提高，为未来在农业田间机器人的应用提供了可行的基础。

数据采集

从田间实验中获取了玉米（品种Xianyu 335）的高光谱和相应的RGB图像。数据采集于2022年8月在中国吉林省长春市的吉林大学农业实验基地进行（$125^{°}25^{\prime }43^{″}$ E，$43^{°}95^{\prime }18^{″}$ N）。为了支持全面分析，我们从患病和健康的玉米叶片中收集了数据。为了确保数据集的可靠性，数据采集是在一致且有利的时间间隔内进行的

实验平台和数据集

图像预处理和主要算法是使用Anaconda3（Python 3.8）、PyTorch和scikit-learn库实现的。所提出的光谱恢复模型使用由Intel?i7-12700 CPU（2.10 GHz）、64 GB内存和单个RTX 4090显卡组成的硬件配置进行训练。

用于光谱恢复的数据集包含200对HSI-RGB数据。数据集分为三个子集：训练集、验证集和测试集，比例为8:1:1。

结论

在这项研究中，提出了一种FPUF-Net模型，用于从RGB图像重建玉米HSI。该模型利用深度展开架构在迭代过程中交替解决数据保真子问题和先验子问题。在数据保真模块中，FFLN和光谱-空间联合注意力网络被用来感知长期的光谱-空间融合特征。此外，在去噪器部分，SSTs进一步提高了重建质量

CRediT作者贡献声明

Jindai Liu：撰写 – 审稿与编辑，撰写 – 原稿，可视化，软件，方法论，调查，数据管理。Fengshuang Liu：验证，监督，资金获取，数据管理，概念化。Jun Fu：监督，资金获取，概念化。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

致谢

这项工作得到了国家自然科学基金（编号：32472017）和吉林省教育厅科技项目（编号：JJKH20231192KJ）的支持。