《Advanced Intelligent Systems》：Performance Evaluation of Super-Resolution Techniques for Characterization and Phenotyping of Commodity Crops Using Multispectral Imagery
编辑推荐：
多光谱影像（multispectral imagery）可提供超出可见光范围的植被监测光谱信息，但其空间分辨率通常有限，这可能会掩盖精细的作物结构并影响植被指数（vegetation index，VI）的估算。本研究评估了为红、绿、蓝（red, green,
多光谱影像（multispectral imagery）可提供超出可见光范围的植被监测光谱信息，但其空间分辨率通常有限，这可能会掩盖精细的作物结构并影响植被指数（vegetation index，VI）的估算。本研究评估了为红、绿、蓝（red, green, and blue，RGB）影像开发的单幅图像超分辨率（single-image super-resolution，SISR）方法是否能够提升红、绿、近红外（red, green, and near-infrared，RGN）作物影像的空间分辨率，同时保持光谱保真度。研究人员将八种预训练方法直接应用于RGN影像而未进行微调，包括双三次插值和最近邻插值、Real-ESRGAN、HAT、HiT-SR、SRFormer、ResShift和StableSR。在4×和16×放大倍数下，分别对整幅图像和人工分割的叶片区域进行重建评估。重建质量采用平均绝对误差（mean absolute error，MAE）、峰值信噪比（peak signal-to-noise ratio，PSNR）、结构相似性指数（structural similarity index，SSIM）、光谱角映射器（spectral angle mapper，SAM）和相对全局无维综合误差（erreur relative globale adimensionnelle de synthése，ERGAS）进行评估。从参考图像和超分辨率图像中计算八种植被指数，并使用MAE、PSNR和SSIM进行评估。在两种评估设置下，基于Transformer的方法均显著优于基于生成对抗网络（GAN）和扩散的方法（p?<?0.001），其中HAT、HiT-SR和SRFormer构成性能最高的统计层级。这些研究结果表明，经RGB训练的SISR方法能够在保持光谱一致性和植被指数可靠性的前提下，增强RGN作物影像的空间细节，从而支持高分辨率作物表型分析。
一、研究背景与问题提出
全球粮食需求持续增长，叠加耕地过度利用和气候不稳定性，推动了精准农业的加速发展。多光谱遥感作为精准农业的关键技术之一，可通过无人机或卫星平台对大范围作物冠层进行非破坏性监测。归一化差异植被指数（normalized difference vegetation index，NDVI）和优化土壤调节植被指数（optimized soil-adjusted vegetation index，OSAVI）等多类植被指数（vegetation index，VI）常由多光谱波段计算得出，用于量化冠层活力、生物量和结构特征。然而，多光谱传感器在设计中优先考虑光谱保真度而非空间细节，导致其空间分辨率相对较低，难以解析单叶等精细尺度结构。当像素同时包含健康和受胁迫组织时，光谱响应会发生畸变，从而降低VI在诊断应用中的可靠性。
图像超分辨率（super-resolution，SR）技术为缓解上述空间限制提供了可行途径，可从低分辨率观测中重建高分辨率图像。单幅图像超分辨率（single-image super-resolution，SISR）方法利用图像内部统计信息从单幅输入重建高分辨率图像，近年来的深度学习方法在卷积神经网络、生成对抗网络（generative adversarial network，GAN）、Transformer和扩散模型等方面取得了显著进展。然而，现有SR架构大多面向RGB图像设计，并针对感知质量而非像素保真度进行优化，这引发了将其应用于多光谱数据时能否保持光谱准确性的疑虑。尽管已有研究展示了SR在农业领域的潜力，但针对RGB训练的SISR方法直接迁移至多光谱作物影像的系统性评估仍较为缺乏。
二、研究内容与主要结论
研究人员开展了系统性的基准评估，考察RGB训练的SISR方法在RGN多光谱作物影像上的直接迁移性能，重点关注空间分辨率提升、光谱一致性保持和VI可靠性三个维度。研究采用地面水平视角采集数据，涵盖八种SR方法，分属四个方法类别：经典滤波方法（双三次插值和最近邻插值）、基于GAN的方法（Real-ESRGAN）、基于Transformer的方法（HAT、HiT-SR、SRFormer）以及基于扩散的方法（ResShift、StableSR）。研究在4×和16×两种放大倍数下，分别对整幅图像和人工分割的叶片区域进行重建评估。
研究得出的核心结论是：Transformer-based方法在两种评估设置和两种放大倍数下均显著优于GAN和扩散方法（p<0.001），其中HAT、HiT-SR和SRFormer构成性能最高的统计层级，三者之间无显著差异。双三次插值在中等退化条件下仍具竞争力，但在极端16×放大时其性能与Transformer方法在多项指标上趋于统计相当。植被指数重建的可靠性取决于具体指数类型：土壤调节类指数（SAVI和OSAVI）重建一致性较好，而比率类指数（RVI和MSR）对光谱畸变更为敏感。研究的重要意义在于揭示了视觉重建质量并不能作为评估多光谱农业应用中SR方法的可靠指标，光谱关系保持才是决定定量分析可靠性的关键因素。
三、关键技术方法
研究使用MAPIR Survey3W多光谱相机在智利Graneros地区的一块商业玉米田采集数据，相机搭载于Bunker Agilex无人地面车辆上，距地面约1米，采集红（660 nm）、绿（550 nm）、近红外（850 nm）三个波段。数据集包含75幅辐射定标后的多光谱图像，其中35幅玉米田图像和40幅向日葵田图像作为高分辨率参考数据。地面真值图像通过将原始4000×3000像素16位TIFF图像裁剪至2048×1024像素并转换为8位PNG格式生成，低分辨率输入通过OpenCV的INTER_AREA方法下采样获得。叶片级分析使用100片人工分割的玉米叶片，来自20幅非相邻图像，每幅图像分割5片叶片。所有学习型方法均使用公开可用的预训练权重和默认推理配置直接应用于RGN图像，未进行任何微调或领域适配。
四、研究结果
4.1 整幅图像重建（实验1）
在4×放大下，Transformer和注意力机制方法（HAT、HiT-SR、SRFormer）获得最佳重建性能，其次为经典方法（双三次和最近邻），生成方法（Real-ESRGAN、ResShift、StableSR）表现最差。SRFormer取得最低MAE（0.98）和最低SAM（1.32°），同时与HAT共享最高SSIM（0.94）；HiT-SR取得最高PSNR（34.95 dB）和最低ERGAS（2.09）。事后两两检验证实三种Transformer模型在所有指标上均显著优于Real-ESRGAN、ResShift和StableSR（p<0.001，Bonferroni校正），而三者之间无显著差异。在16×放大下，所有方法的重建质量均下降且变异性增大。Transformer方法仍保持稳健，HAT取得最低MAE（3.20）、最高SSIM（0.73）和最低SAM（3.24°），与SRFormer和HiT-SR无显著差异。双三次插值在16×下取得最高PSNR（24.27 dB），与HiT-SR并列最低ERGAS（1.98）。
4.2 叶片区域重建（实验2）
在100片人工分割的玉米叶片区域内，4×放大下SRFormer取得最佳指标：MAE为1.06，PSNR为36.63 dB，SSIM为0.94，SAM为1.26°，ERGAS为2.00。与实验1相比，SRFormer的PSNR从34.86 dB提升至36.63 dB，HiT-SR从34.95 dB提升至36.60 dB，HAT从34.64 dB提升至36.12 dB。在16×放大下，SRFormer取得最低MAE（4.73）和最高SSIM（0.63），HAT取得最低SAM（4.94°），HiT-SR取得最高PSNR（23.80 dB）和最低ERGAS（2.40）。与实验1不同，叶片区域内Transformer模型（HiT-SR 23.80 dB、SRFormer 23.76 dB、HAT 23.55 dB）在16×下超越双三次插值（23.16 dB）。
4.3 植被指数重建
在整幅图像评估中，HAT、SRFormer和HiT-SR在两种放大倍数下均取得最强VI重建性能。4×下SAVI和OSAVI重建最为准确，HAT对SAVI取得41.46 dB PSNR和0.95 SSIM，对OSAVI取得39.41 dB PSNR和0.93 SSIM。16×下性能退化更为明显，尤其对比率类指数影响显著。HAT对SAVI保持34.85 dB PSNR（MAE为3.64，SSIM为0.85），对OSAVI保持32.90 dB PSNR（MAE为3.86，SSIM为0.80）。ResShift在16×下对RVI的重建质量最低，MAE达64.72，PSNR仅12.37 dB，SSIM仅0.44。叶片区域评估中，SRFormer在4×下对SAVI取得43.72 dB PSNR和0.97 SSIM，对OSAVI取得41.97 dB PSNR和0.96 SSIM。16×下HAT对SAVI取得34.24 dB PSNR和0.85 SSIM，对OSAVI取得32.57 dB PSNR和0.80 SSIM。ResShift在16×下对RVI的重建质量最差，MAE达183.33，PSNR仅0.82 dB，SSIM仅0.11。
五、讨论与结论
讨论部分指出，Transformer方法在多光谱重建中的优势在光谱指标（SAM和ERGAS）上最为明显，表明其能更好地保持RGN图像中的波段间关系。GAN和扩散模型虽产生视觉上更锐利的重建结果，但光谱畸变更大，反映其偏向感知真实性而非辐射精度。放大倍数对重建质量有显著影响：4×下Transformer方法显著优于经典插值，但16×下差距明显缩小，表明极端下采样时可用信息不足，重建更多依赖简单插值行为而非学习到的模型先验。VI重建可靠性取决于指数公式：土壤调节指数较为稳健，而比率类指数因放大微小波段间偏差而对重建误差更为敏感。研究局限性包括：方法未进行多光谱微调、仅使用单一采集配置、地面水平视角与常见的天底视角存在差异、人工分割不可扩展且可能引入标注不确定性。研究结论表明，视觉重建质量不是评估多光谱农业应用中SR方法的良好指标，光谱关系保持才是决定定量分析可靠性的关键因素。Transformer-based SR方法目前为作物表型任务提供了空间增强与光谱精度之间最合适的平衡。
