用于可可农林复合系统无人机RGB影像到多光谱重建的三重级联光谱注意力U-ResNet（TC-SA-UResNet）

《Journal of Agriculture and Food Research》：Triple Cascaded Spectral Attention U-ResNet for UAV RGB-to-multispectral reconstruction in cocoa agroforestry

　　

TC-SA-UResNet可从单幅无人机（UAV）红绿蓝（RGB）图像重建五个多光谱波段。三重级联解码器（Triple Cascaded Decoder）遵循RGB到红边（Red Edge）到近红外（NIR）的生物物理层级。生物物理光谱一致性损失（Biophysical Spectral Consistency Loss）约束波段间辐射关系。科特迪瓦（C?te d’Ivoire）的十种可可农林复合系统类型构成基于样地的测试划分。重建的归一化差异植被指数（NDVI）在测试数据上达到平均绝对误差（MAE）0.0342和Pearson相关系数0.9068。

研究背景与问题：作物病原体、害虫和环境胁迫使主要作物年产量损失21%至40%，粮食短缺地区承受不成比例损失；联合国粮食及农业组织（Food and Agriculture Organization, FAO）估计全球经济影响超过每年USD 220 billion。常规地面巡查耗劳力、仅覆盖少部分生产面积，且不能在胁迫症状出现前提供早期预警。无人机（UAV）监测可在单次任务以亚米级解析整个农场区块冠层，但消费级无人机通常仅配RGB相机，只能捕获可见光谱，而植物胁迫早期生化标志位于可见光之外。红边和NIR反射可定量追踪叶绿素、氮、水分和生物量；680至730 nm红边反射变化先于可测叶绿素损失；NDRE较宽波段指数提前13至16天标记受胁迫植被；NIR捕获细胞散射、叶片水分和生物量；NDVI、NDRE、叶绿素指数（LCI）和土壤调整植被指数（SAVI）均不能仅由RGB获得。专用多光谱相机成本USD 5000至20000，并需校准靶标和训练有素操作员，对小农构成门槛。已有计算光谱重建存在四个空白：现有生成器从RGB一步发射不可见波段，未将重建红边响应路由至NIR重建；光谱损失止于光谱形状，未约束农艺决策所用的重建植被指数；实验室外所需编码器深度未测试，浅层锚定回归在多层冠层中失效；瓶颈未结合多尺度空间上下文与通道重校准。热带农林复合条件下尚无先前验证。研究人员因此提出TC-SA-UResNet，采用ImageNet预训练ResNet-50编码器，扩展初步DS-CDA Net，将双流设计改为沿生物物理光谱层级的三重级联解码器，并引入生物物理光谱一致性损失，在十种可可（Theobroma cacao）农林复合类型中评估。

关键技术方法：样本队列来自科特迪瓦Divo的可可农林复合系统，使用DJI Phantom 4 Multispectral在80 m航高采集，含1272对RGB-多光谱图像、共7632幅图像；按地块划分训练、验证和测试，测试集含173对。预处理包括RGB-MS配对、相位互相关波段对齐、双线性缩放至512×512、基于经验线变换的相对反射率校准。模型以ImageNet预训练ResNet-50为编码器，采用空洞空间金字塔池化（ASPP）与挤压-激励（SE）瓶颈，三重级联解码器沿RGB→Red Edge→NIR级联，可学习特征注入（LFI）和Stage 4/3的交叉注意力光谱注意（SA-CA）耦合相邻流，光谱感知解码块含通道双重注意（CDA）与全局-局部通道注意（GLCA），并以生物物理光谱一致性损失训练。

研究结果：
4.1 光谱相关性分析（Spectral correlation analysis）：通过Pearson相关矩阵发现，RGB Green与Red Edge相关性最高（r=0.65），其次RGB Red（r=0.55）和RGB Blue（r=0.25）；Red Edge与NIR相关性最强（r=0.76）；RGB到NIR直接相关性弱（Green r=0.43、Red r=0.34、Blue r=0.08）。结论是级联分解有依据，直接RGB到NIR映射丢弃最佳相关波段，且无相关性超过0.80，浅层线性变换不足，需深度残差学习。

4.2 消融研究（Ablation study）：从Vanilla U-Net基线逐项加入组件。ResNet-50编码器将NIR R²从0.7154升至0.7725，Red Edge R²从0.7445升至0.7847，但Green SSIM下降；生物物理约束使NIR SSIM降至0.6528、R²为0.7124，研究人员认为其重塑优化面而非架构退步；ASPP与SE瓶颈将SAM降至4.14°；完整TC-SA-UResNet恢复并超越中间配置，NIR SSIM为0.7180、NIR R²为0.7898、SAM最低为3.58°，Blue SSIM最高为0.9540、PSNR为41.50 dB。Red Edge和NIR绝对RMSE较高，但因参考反射率动态范围较大，需用相对误差解释。

4.3 当前最优方法比较（State-of-the-art comparison）：
4.3.1 定量分析（Quantitative analysis）：与U-Net、Zhao et al.、T-GAN比较，TC-SA-UResNet取得最高Blue SSIM（0.9540）、最高NIR SSIM（0.7180）、最高NIR R²（0.7898）和最小光谱角（3.58°）。U-Net的NIR RMSE更低（0.0756对0.0839）但NIR SSIM低，预测塌向均值；T-GAN的Red Edge SSIM最高（0.8516），但Red R²标准差超过均值，绝对反射水平不稳定；Zhao et al.光谱角最大且Blue、Red Edge、NIR的R²最低。结论是该方法以小Red Edge SSIM余量换取光谱形状保真和跨图像辐射稳定性。
4.3.2 定性可视化（Qualitative visualization）：通过可视化比较，TC-SA-UResNet可 delineate 树冠并区分冠层与地面；U-Net模糊叶片纹理，Zhao et al.低对比且NIR树木区分弱，T-GAN有棋盘伪影。结论是仅对抗训练不足以保证辐射一致性。
4.3.3 统计显著性分析（Statistical significance analysis）：45项成对比较均达p<0.0001，其中38项用Wilcoxon符号秩检验，7项用配对t检验。最大增益出现在对U-Net和T-GAN的可见光波段，Blue SSIM差异达+0.706和+0.769；对Zhao et al.的NIR增益最大，ΔSSIM=+0.240、ΔRMSE=?0.049。结论是三重级联解码器通过红边结构先验缓解同色异谱模糊。

4.4 生物物理光谱分层（Biophysical spectral stratification）：通过五类土地覆盖考察重建稳定性，误差随光谱异质性而非植被密度变化。Dense Canopy（NDVI=0.852）MAE最低为0.0110，保持低Red、Red到Red Edge跃升及高NIR平台；Soil/Shadow（NDVI=0.118）MAE=0.0164，无非线性土壤剖面且未引入虚假植被信号；Moderate Vegetation（NDVI=0.456）MAE最高为0.0338，土壤与植被信号混合使红外波段偏差。结论是模型在密度梯度两端可靠，在过渡区损失精度。

4.5 植被指数分析（Vegetation index analysis）：六种植被指数中，NDVI最高（MAE=0.0342，Corr=0.9068），SAVI相关为0.8969；NDRE R²=0.5379、LCI R²=0.5873较低，因二者同时依赖NIR和Red Edge，波段不确定性复合。空间NDVI分析中，最佳MAE=0.0254，中位MAE=0.0311，最差MAE=0.0670。NDVI平均误差为参考标准差的31%，解释81.6%的像元间方差，bias为+0.0078，所有重建NDVI均在[?1,1]。结论是重建NDVI支持飞行内活力分区、单日地块排序和跨日期方向变化检测，但不支持绝对阈值；NDRE和LCI可作为筛查层，不能支持绝对氮或叶绿素推断。

4.6 红边与近红外通道误差分析（Error analysis of the Red Edge and NIR channels）：通过将每波段RMSE除以该波段平均参考反射率，NIR相对RMSE为13.7%，Blue为13.4%，Red最高为17.3%，几乎消除绝对RMSE动态范围差异；NIR R²=0.7898高于Blue的0.7075，但NIR SSIM=0.7180低于Blue的0.9540。结论是该方法对NIR幅度恢复达到与可见光相似的相对精度，但空间纹理恢复较弱；植被指数依赖幅度而非纹理，故NDVI相关达0.9068，而基于NIR纹理的冠层 delineation 仍需专用多光谱传感器。

讨论与结论：当前评估限于一个RGB传感器、可可农林复合系统和相对狭窄的采集期，且主要在晴空条件下。所提公式并非作物特异性，但其学习到的RGB到多光谱映射可能随作物形态、冠层结构、生长阶段、胁迫条件、背景组成、光照和传感器特征变化；向其他作物、环境或成像系统迁移应通过目标域配对观测的域适应或微调支持，而非假定零样本（zero-shot）迁移。未来工作应评估跨作物和跨传感器适应效率，确定可靠迁移所需目标域数据量，并评估多时相和业务化田间性能；还需验证重建光谱产品对下游应用的适用性，包括植被监测、施肥评估、碳储量估计和病害风险筛查。

研究结论（译）：本研究开发了TC-SA-UResNet，一种从传统RGB UAV图像重建五个多光谱波段而无需专用多光谱传感器硬件的端到端框架。该框架集成预训练ResNet-50编码器、带SE的ASPP、带LFI和基于交叉注意力光谱注意的三重级联解码器，以及生物物理光谱一致性损失，以增强光谱重建并保留波段间关系。在留出的可可农林复合系统样地上，TC-SA-UResNet达到NIR SSIM为0.7180、Red Edge R²为0.8099，以及所评估架构中最低光谱角3.58°。改进在45项成对比较中具统计显著性（p<0.0001）。重建NDVI还达到MAE为0.0342和Pearson相关系数0.9068，表明保留了与植被状况评估相关的信息。这些发现凸显基于RGB的多光谱重建作为UAV光谱监测成本有效方法的潜力，同时所得产品应被视为相对光谱表示而非完全辐射校准测量。当前评估限于一个RGB传感器、可可农林复合系统和相对狭窄的采集期，且主要在晴空条件下。尽管所提公式并非作物特异性，其学习到的RGB到多光谱映射可能随作物形态、冠层结构、生长阶段、胁迫条件、背景组成、光照和传感器特征变化。因此，向其他作物、环境或成像系统迁移应通过目标域配对观测的域适应或微调支持，而不应假定为零样本迁移。未来工作应评估跨作物和跨传感器适应效率，确定可靠迁移所需目标域数据量，并评估多时相和业务化田间性能。还需进一步验证以建立重建光谱产品对下游应用的适用性，包括植被监测、施肥评估、碳储量估计和病害风险筛查。