CTFL-Net：一种基于小波增强CNN-Transformer模型的无人机(Unmanned Aerial Vehicle, UAV) RGB影像水稻叶面积指数(Leaf Area Index, LAI)估算方法

《Smart Agricultural Technology》：CTFL-Net: A Wavelet-Enhanced CNN-Transformer Model for Rice LAI Estimation from UAV RGB Imagery

　　

准确估算水稻叶面积指数(Leaf Area Index, LAI)对精准农业具有重要意义。尽管无人机(Unmanned Aerial Vehicle, UAV) RGB影像提供了一种经济有效的监测手段，但传统方法在稀疏冠层时易受背景干扰，在密集冠层时面临光谱饱和问题，同时标准深度学习模型存在频谱偏向(spectral-bias)倾向，使得与密集冠层RGB饱和度相关的含高频结构线索未被充分表征。为解决上述局限，研究人员提出CNN-Transformer频空LAI网络(CNN-Transformer Frequency-spatial LAI Network, CTFL-Net)，一种端到端的频率-空间互补架构。该双流模型通过卷积神经网络(Convolutional Neural Network, CNN)提取局部纹理，通过Transformer分支提取全局语义；特别地，引入小波局部-全局融合(Wavelet Local-Global Fusion, WLGF)模块以增强小波域局部-全局融合并帮助保留与频率相关的结构线索，并采用分层精炼多尺度融合(Hierarchical Refinement Multiscale Fusion, HRMF)策略对齐不同特征尺度的表示。研究人员构建并公开了一个涵盖3年、9500幅影像的水稻LAI UAV(Rice LAI UAV, RLU)数据集用于模型评估。在该数据集上的结果表明，CTFL-Net在跨年度评估中减轻了背景干扰并缓解了RGB饱和倾向；在三个独立跨年度测试集上，模型取得了R2介于0.83至0.85的稳定表现，优于所评估的代表性传统特征工程流水线和视觉基线模型，且保持了较低的计算开销(18.0 GFLOPs)。本研究为水稻LAI估算提供了一个高效、可扩展的深度学习框架，对精准农田管理具有实用价值。源代码及数据集详见https://github.com/narotoxu-0107/CTFL-Net。

论文解读：《Smart Agricultural Technology》刊载论文"CTFL-Net: A Wavelet-Enhanced CNN-Transformer Model for Rice LAI Estimation from UAV RGB Imagery"针对水稻叶面积指数(Leaf Area Index, LAI)的无人机(Unmanned Aerial Vehicle, UAV) RGB遥感估算中存在的稀疏冠层背景干扰与密集冠层可见光波段光谱饱和双重物理难题，以及标准深度模型对高频纹理欠表征的频谱偏向(spectral-bias)倾向，提出频空互补的双流深度学习架构CTFL-Net(CNN-Transformer Frequency-spatial LAI Network)，并在自建三年期RLU(Rice LAI UAV)数据集上验证其跨年度泛化能力。研究背景在于传统植被指数依赖经验阈值分割且受混合像元影响大，手工纹理特征难以自适应匹配冠层尺度变化，浅层CNN或单纯Transformer在密集冠层中易丢失叶片边缘、冠层孔隙等高频率结构信息致RGB响应饱和后判别力下降。研究人员通过引入小波域融合与多尺度精炼机制，证明在消费级RGB影像上可通过网络架构设计缓解光谱饱和倾向并抑制稀疏期水土背景噪声，为低成本大田作物监测提供算法参考。

主要关键技术方法：研究人员于中国南昌2018—2020年籼稻(Oryza sativa indica)试验田，使用DJI Phantom 4 Advanced在7 m航高采集多生育期NADIR视角UAV RGB影像，以比叶重法破坏性采样获取小区(plot)级LAI真值，经ROI(Region of Interest)网格化提取1024×1024像素影像块构建RLU数据集(共9500幅，按年份分层：2018训练，2019—2020独立测试)。CTFL-Net前端并行走ConvNeXt-Tiny(CNN分支，提取局部高频纹理)与DaViT-Tiny(Transformer分支，编码全局低频语义)，融合骨干依次接入四个WLGF(Wavelet Local-Global Fusion)模块——先将CNN、Transformer及上一级融合特征通道拼接，以CBAM(Convolutional Block Attention Module)做语义引导空间对齐，再经WTConv(基于一级Haar(db1)小波分解的离散小波变换(Discrete Wavelet Transform, DWT)域卷积)分别增强近似与细节系数以保留高频结构线索——最后通过HRMF(Hierarchical Refinement Multiscale Fusion)上采样拼接各阶段WLGF输出并经CBAM通道-空间重加权，由全局平均池化(Global Average Pooling, GAP)与全连接层(Fully Connected, FC)回归预测连续LAI值，训练采用Huber Loss(δ=1.0)及AdamW优化器。对照基线含传统机器学习(PLSR、SVR、MLP、RF、XGBoost)输入色彩指数(Color Indices, CIs)及CIs+灰度共生矩阵(GLCM)纹理特征，以及多种深层视觉模型(DeiT III、Swin Transformer、TinyViT、CAFormer、ConvFormer)。

研究结果：

1. 2.
   Data collection
   研究人员详述了南昌试验点UAV飞行方案(7 m航高、80%航向/70%旁向重叠、08:00—10:00采集)、比叶重法测定plot级LAI公式LAI=S₁×W_all/W₁×M/(t×10000)，以及基于正交 mosaic的1024×1024规则格网ROI裁切与RLU数据集统计(2018两田4700幅、2019两田3300幅、2020一田1500幅，LAI范围0.21—10.07)，明确年份级数据划分以防时空泄露及评估时间迁移性，训练期采用Huber Loss降低异质斑块大残差影响。
2. 3.
   Methods
   研究人员给出加性信号模型中I(x,y)=I_LF(x,y)+I_HF(x,y)及高密度下?I_LF/?LAI→0的数学表述，论证密集冠层需保留高频分量(I_HF)如叶缘与孔隙；引入一级DWT将特征分解为近似系数A与水平/垂直/对角线细节系数D^h、D^v、D^d，WLGF模块中WTConv操作为Y=W^-1(K?W(X_sum))；CTFL-Net整体流程为?=f_reg(f_WLGF(f_cnn(I),f_trans(I)))，损失函数为分段Huber Loss；HRMF收集四阶段WLGF输出统至上采样拼接再经CBAM自适应重加权供回归头使用，以兼顾浅层高频与深层语义。
3. 4.
   Results
   4.1 Experimental Implementation and Protocols
   研究人员说明PyTorch实现、ImageNet预训练初始化、输入缩至224×224、年份分层训练/测试隔离、5折CV选参(Sklearn传统模型)及Hold-out验证(深度学习)，列表给出超参数(epoch=90, lr=2×10^-7, batch=32, δ=1.0)。

4.2 Overall Performance Assessment against Traditional Paradigms

跨三测试集CTFL-Net取得R²=0.83—0.85、RMSE=0.69—1.05、NRMSE=20.08%—22.12%，显著优于传统CIs或CIs+GLCM方案(多数R²为负或偏低)，表明端到端学习减少手工预处理误差累积并改善跨年泛化。

4.3 Segmented Performance Analysis

以LAI=3为界分段：稀疏期(LAI<3)CNN分支发挥软分割作用压低背景噪声(RMSE降至0.36—0.37，NRMSE 27%—35%)；密集期(LAI≥3)传统模型呈"天花板效应"(R²多为负)，CTFL-Net靠WLGF保留冠层孔隙等高频线索缓解RGB饱和倾向(RMSE 0.81—1.10，NRMSE 16%—19%)。

4.4 Comparison with Deep Learning Models

纯Transformer缺局部归纳偏置表现波动(DeiT III在2020-1 R²=0.63)，混合ConvFormer/CAFormer在部分测试集R²降至0.76—0.77；CTFL-Net在保持参数量适中(56.8 M)下FLOPs最低(18.0 G)，R²稳定于0.83—0.85，证实频空互补与小波域细化之效。

4.5 Ablation Studies and Internal Mechanism Analysis

单Transformer(R²低、散点分散)与单CNN(密集期略现平台)合并无对齐(R²降至0.69)性能不及完整模型；加入HRMF改善，完整WLGF+HRMF达最优(R²>0.83)；Grad-CAM显示CTFL-Net稀疏期聚焦植株抑背景、密集期维持冠层广域关注，单CNN现注意力坍缩、单Transformer现背景分散。WTConv单级db1小波、5×5核为较优配置。

4.6 Visualization analysis

Grad-CAM热图定性印证WLGF与HRMF使模型在稀疏冠层抑制水土反射高激活区，在闭合冠层保持连贯植株结构关注而非局限局部斑块。

讨论与结论翻译：

研究人员讨论指出CTFL-Net非新创基础模块而是将现有CNN-Transformer双流、DWT域融合、CBAM及多尺度对齐按频空互补动机定制集成于水稻LAI回归任务，动机源于频谱偏向概念而非声称改变网络频率收敛律或直接消除传感器饱和。局限性含RLU数据集地域品种局限、plot级弱监督可能引入标签不确定、输入224×224下极细纹理平滑及倒伏条件未覆盖；未来建议少标注适配(迁移学习、域适应等)与更高密度真值获取探索。

结论：研究人员提出CTFL-Net建立频空互补框架以减弱标准深模对高频结构线索的欠表征，双流分别编码全局语义与局部纹理，WLGF模块在小波域精炼融合、HRMF跨尺度对齐以保留冠层孔隙等任务相关结构信息，在本研究跨年度RLU数据集上R²达0.83—0.85，优于代表性传统机器学习流水线及视觉基线，具备端到端推断与较低计算量(18.0 GFLOPs)，为大规模作物监测与精准变量施肥管理提供可扩展的低成本算法框架。