《Plant Phenomics》：LUF-net: A Physically Informed Color Calibration Method for UAV RGB Images Based on Exposure and Irradiance Information
编辑推荐：
准确的颜色表征对于基于无人机（UAV）的作物表型分析至关重要，然而UAV图像常因变化的照明和相机曝光设置而失真。在此，研究人员提出轻量级U-net特征线性调制（LUF-net），一种集成特征线性调制（FiLM）层的轻量级U-net框架，该框架将多光谱衍生的辐照
准确的颜色表征对于基于无人机（UAV）的作物表型分析至关重要，然而UAV图像常因变化的照明和相机曝光设置而失真。在此，研究人员提出轻量级U-net特征线性调制（LUF-net），一种集成特征线性调制（FiLM）层的轻量级U-net框架，该框架将多光谱衍生的辐照度和相机曝光参数作为辅助输入。这种元数据感知设计能够动态调制中间图像特征，使网络能够从环境伪影中分离出统一的冠层颜色。在多种作物类型（大豆、水稻、玉米）、飞行高度（6m、12m、25m、40m）和照明条件（阴天、多云、晴天、清晨）下进行的实验表明，LUF-net模型将平均绝对百分比误差（MAPE）显著降低至5.5%以下，优于传统的Gray-world、U-net、AlexNet-MLP和SIDBlock-MLP方法。消融实验进一步表明，辐照度和曝光元数据均提供互补信息，而基于FiLM的条件化处理有效将这些采集参数整合到特征学习中，共同促进颜色重建性能的提升。此外，相关性分析表明，模型的颜色重建误差对辐照度和曝光设置依赖较弱，证实LUF-net在保持物理意义和稳健校正的同时，降低了对外部成像条件的敏感性。
**基于物理信息指导的无人机图像颜色校正方法研究——LUF-net模型综述**
**研究背景与问题**
在精准农业中，基于无人机（UAV）的作物表型分析日益依赖高分辨率RGB图像。然而，UAV图像的颜色表征常因光照变化（如太阳高度角、云层引起的辐照度波动）和相机曝光参数（如ISO、快门速度、光圈）的非线性失真而严重不一致。这种不一致性导致不同时间、高度或天气条件下获取的图像在颜色上存在偏差，影响植被指数稳定性、时间可比性以及表型模型的跨站点迁移能力。传统颜色校正方法（如参考色卡、灰度世界假设）在田间应用中存在局限性，要么依赖物理目标难以规模化，要么基于简化假设在复杂场景下失效。近年来，基于深度学习的图像校正方法（如U-net）虽表现出潜力，但大多仅依赖图像内容，忽略直接控制图像外观的辅助元数据（如曝光参数和辐照度），导致在多变条件下鲁棒性不足。因此，本研究旨在建立一种融合辐照度和曝光信息的轻量级深度学习框架，实现UAV图像的颜色校正。
**研究内容与意义**
研究人员提出了LUF-net（Lite U-net FiLM），一种结合特征线性调制（FiLM）层的轻量级U-net架构，将多光谱辐照度和相机曝光参数作为辅助输入，通过FiLM层动态调制中间图像特征，从而分离冠层固有颜色与环境伪影。实验在多种作物（大豆、水稻、玉米）、飞行高度（6m、12m、25m、40m）和光照条件（阴天、多云、晴天、清晨）下进行，结果表明LUF-net将平均绝对百分比误差（MAPE）降至5.5%以下，优于传统方法。该研究证实了将采集感知元数据融入特征学习的有效性，为复杂农业环境下的UAV图像颜色校正提供了可靠解决方案。论文发表在《Plant Phenomics》。
**主要关键技术方法**
1. **数据采集与预处理**：使用DJI M3M无人机（SZ DJI Technology Co., Shenzhen, China）同时采集高分辨率RGB图像（5472×3648像素）和四波段多光谱影像（绿光560±16nm、红光650±16nm、红边730±16nm、近红外860±26nm），并同步记录下照光传感器辐照度数据。在阴天、多云、晴天、清晨四种光照条件下，于6m、12m、25m、40m高度飞行获取图像，共230张原始图像，经滑动窗口裁剪为256×256像素的非重叠图块（共58,292块），并保留相机参数（光圈、曝光时间、ISO）和辐照度作为元数据。
2. **真值生成**：使用24色校准色卡（ColorChecker）和色度计（WR-10QC, Wave Optoelectronics Technology Co., Ltd., Shenzhen, China）测量各色块真实颜色值（CIE Lab空间），通过多元线性回归建立UAV观测颜色与真值之间的映射，获得校正系数矩阵，应用于每个像素生成真值图像。
3. **模型架构**：LUF-net包含图像特征提取分支（Lite U-net，编码器含三个卷积阶段，通道数32、64、128，瓶颈层256通道）和元数据调制分支（7维元数据向量经MLP处理后通过FiLM层注入编码器，对特征图进行通道维仿射调制）。
4. **评估方法**：以CIE Lab颜色误差（ΔE）和平均绝对百分比误差（MAPE）为指标，与Gray-world、U-net、AlexNet-MLP、SIDBlock-MLP对比，并设计消融实验（仅曝光、仅辐照度、无FiLM）验证各组件贡献。
**研究结果**
- **Ground truth准确性**：通过24色块评估，估计值与测量值之间的R2在L*、a*、b*通道分别达到0.99、0.98、0.99，平均颜色误差ΔL=1.43、Δa=2.63、Δb=1.95，表明生成的真值高度可靠。
- **无元数据向量的校正精度**：Gray-world方法颜色误差26.1，MAPE 14.6%；U-net（无元数据）将颜色误差降至16.7，MAPE 9.31%，推理时间1.18秒/百图块。
- **含元数据向量的不同方法校正精度**：LUF-net颜色误差6.96，MAPE 3.89%，优于AlexNet-MLP（14.1，7.89%）和SIDBlock-MLP（13.6，7.6%），推理时间1.27秒/百图块，参数量0.946M，峰值GPU内存60.5MB。
- **消融实验**：完整LUF-net最优（误差6.96，3.89%）；仅曝光元数据时误差8.86（4.95%）；仅辐照度元数据时7.34（4.10%）；移除FiLM调制时8.09（4.52%）；仅图像U-net误差16.7（9.31%），证实曝光、辐照度及FiLM三者协同提升校正精度。
- **不同高度、作物和光照条件下的校正精度**：大豆颜色误差最低（5.37，MAPE 2.77%），玉米最高（10.54，5.07%）；25m高度性能最优（5.39，2.72%）；阴天和清晨误差较低（6.96、7.23），晴天较高（9.39，5.30%），整体表现稳健。
- **环境与曝光敏感性对比**：LUF-net的颜色误差与曝光时间、各波段辐照度的Pearson相关系数（r≈0.07-0.08）显著低于U-net（r=0.20-0.28），表明LUF-net有效降低了对成像条件的敏感性。
**讨论部分总结**
讨论指出，辐照度和曝光参数对模型性能的影响具有互补性，二者结合优于单一信息源；FiLM调制策略比简单的特征拼接更有效地整合元数据，使网络能够动态适应采集条件。LUF-net在阴天均匀光照下表现最佳，强阳光下因镜面反射和非朗伯体冠层效应导致误差略高，但整体鲁棒性良好。与其他方法相比，LUF-net的轻量级架构（<1M参数）在保持高效率的同时实现了显著精度提升。未来工作可延伸至图像自身光照估计、反射率归一化及跨平台多源整合。
**研究结论部分翻译**
本研究提出了LUF-net，一种轻量级FiLM条件化U-Net，用于UAV农业图像颜色校准。该框架将多光谱辐照度和相机曝光元数据融入特征学习，以应对复杂的田间干扰。实验结果验证了所提出的LUF-net在不同作物类型、飞行高度和光照条件下，相比仅图像U-net及其他基线模型，具有更优的颜色校准精度和环境鲁棒性。消融分析进一步解释了这些性能提升，表明采集元数据与基于FiLM的特征调制的协同整合优于传统特征拼接、纯图像学习以及仅利用曝光或光照信息的单独建模。本工作证明了将采集感知元数据融入特征学习的有效性，为复杂农业环境中的UAV图像颜色校准提供了可靠解决方案。未来工作将扩展此框架，通过基于图像的光照估计实现自主、可扩展的辐射建模，并推广至多样化的农业辐射测量任务。
