基于空频双流网络的无人机多光谱遥感图像中茶叶热胁迫的检测方法

《Computers and Electronics in Agriculture》：Detection of tea heat stress in UAV multi-spectral remote sensing images based on spatial-frequency two stream network

　　关键词：茶树热胁迫（THS）、无人机（UAV）多光谱遥感图像、深度学习技术

摘要
利用无人机（UAV）多光谱遥感图像结合深度学习技术准确检测茶树热胁迫（THS）对于THS管理至关重要。然而，大多数现有的多光谱图像融合检测网络在复杂场景中缺乏鲁棒性，在小目标特征提取方面表现不佳，导致检测精度较低。为了解决这些问题，提出了一种空间频率双流网络（SFTNet）。该网络采用空间特征提取（SFE）和频率特征提取（FFE）分支，分别从RGB图像中提取高分辨率的空间细节，从NIR图像中提取丰富的频域特征。在FFE分支的输出端设计了一种具有多重注意力机制和通道交互的特征增强结构，以有效地聚合层次聚合特征图中的浅层和深层语义信息。为了实现多尺度特征融合，开发了一种多光谱空间频率特征融合（MSFF）模块，以实现RGB和NIR特征的紧密对齐和整合。为了提高小目标检测能力，提出了多尺度交叉注意力聚合（MCA）模块。通过提取精细的水平和垂直特征并结合交叉融合策略，MCA模块增强了SFTNet对小目标THS特征的学习，从而提高了小目标THS的检测精度。实验结果表明，在4米、6米和8米的数据集上，所提出的SFTNet优于现有最先进的网络，mAP@50分别提高了5.9%、7.7%和4.6%。此外，在非部署测试环境中的终端设备上评估时，SFTNet每对RGB-NIR图像的推理速度达到15.3毫秒，表明其在这些特定条件下的计算效率较高。

引言
茶树热胁迫（THS）是由高温、干旱和强光共同作用引起的非生物性生理损伤。具体来说，高温会阻碍茶叶的光合作用。此外，在强光条件下，叶片的温度会高于环境温度，使叶片损伤更加严重。长时间暴露在高温和强光下通常会导致土壤中的水分流失，引起细胞脱水和叶绿体结构受损，最终造成不可逆的损害，如图1所示。在严重情况下，整个叶片可能会变成棕色并脱落。大规模的THS爆发会严重影响茶叶产量和品质，甚至导致整株茶树的死亡。通过在对无人机图像中的THS进行精确的早期检测，可以指导茶农及时实施防旱系统及相关有效措施，从而保证茶叶的产量和质量，同时促进茶园生态环境的可持续发展。

深度学习的进步展示了其在检测作物病害方面的巨大潜力。与传统的手动检测方法相比，深度学习的使用可以有效提高检测效率并降低检测成本。Chen等人（2024）提出了一种基于迁移学习的方法来检测芒果叶病。通过引入MSMP-CNN网络增强特征提取能力，他们在不增加计算负担的情况下显著提高了户外环境中的芒果病害检测精度。Lin等人（2024）基于轻量级的YOLOv8n设计了花生叶病检测算法，将FasterNeXt、DSConv模块和广义交并损失函数纳入基线网络，从而在保持检测精度的同时提高了推理速度。Salamai等人（2023）提出了一种用于水稻病害检测的视觉变换器网络，通过引入水稻病斑定位（PLL）单元来识别稻叶上的不同病斑，有效提高了检测精度。Feng等人（2023）改进了YOLOX网络以检测橙子表面缺陷，通过引入颈部网络残差连接和颈部网络级联，增强了对其多尺度表面缺陷的检测能力，为柑橘类水果的外部缺陷检测提供了强大的解决方案。Hu等人（2023）提出了一种基于改进的YOLOv5检测柑橘表皮缺陷的方法，通过整合注意力机制CBAM并修改损失函数为DIoU，提高了检测精度，并将每张图像的平均检测速度提高了22.1毫秒。Ye等人（2024）提出了一种结合改进的YOLOv5和StrongSORT算法的松树枯萎病检测方法，通过引入二阶通道注意力（SOCA）和简化的空间金字塔池化快速（SimSPPF）算法，显著提高了网络的特征提取能力。Zhang等人（2024）设计了一个名为LSANNet的轻量级卷积神经网络（CNN）用于检测玉米叶病，通过引入长短注意力块（LSAB）增强了网络的泛化能力，在124张未见图像上实现了高精度检测。（Yan和Li 2025）提出了一种用于复杂场景下番茄叶病检测的特征交互网络，通过引入跨尺度特征融合（CSF）、空间上下文特征交互（SCFI）和金字塔特征协作与扩散（PFCD）模块，增强了网络的规模和各种病害形态的鲁棒性，显著提高了检测精度。

上述方法充分展示了深度学习方法在作物病害检测中的显著优势。然而，这些方法的检测图像都是在地面收集的，通常只能覆盖少量的农田。为了提高检测效率，科学家们使用无人机（UAV）来捕捉图像作为检测样本。这些遥感图像覆盖了广阔的农田，有效增加了检测范围。Abdulridha等人（2020）开发了一种基于机器学习的白粉病检测方法，利用UAV高光谱成像技术。该方法通过分析多光谱UAV图像区分了健康植物和处于白粉病不同进展阶段的植物。Bao等人（2024）提出了一种基于IAE-SDNet的UAV图像小麦痂病检测方法，通过引入图像自适应增强（IAE）来提高图像质量，并设计了基于变压器的对象检测模块SDNet以高效学习病害特征。Ylaya等人（2025）使用四种检测网络（EfficientNetB0、ResNet50、InceptionV3和VGG16）评估了利用UAV图像检测玉米植株叶斑病和日灼病的准确性，验证了将深度学习技术与UAV图像相结合的有效性。Thai等人（2025）提出了一种用于检测UAV图像中香蕉叶病的EF-CenterNet网络，通过引入具有深度可分离卷积层的EfficientViT块和改进的ReLU注意力机制，显著增强了特征提取能力。在Jetson Xavier单板计算机上的部署和评估证明了其在实际农业场景中的高适用性。Liu等人（2025）提出了一种基于MS-STNet的UAV图像稻瘟病检测方法，通过整合光谱和纹理信息，全面提取了稻瘟病斑点及其背景的特征信息。引入的top-k选择机制生成了相应的注意力掩码，保留了最重要的特征组合，同时保持了输入的全局结构信息，使构建的MS-STNet在稻瘟病检测任务中实现了高精度。Zeng等人（2024）通过构建多尺度选择性注意力卷积神经网络（MSA-CNN）检测了橡胶树的白粉病，有效提取了不同空间分辨率下的白粉病特征，显著提高了检测精度。Bandaru等人（2024）利用基于MobileNet的CNN在UAV图像中快速准确地检测了辣椒叶炭疽病。

上述方法充分展示了在大规模作物病害检测任务中使用UAV的优势。然而，环境因素如光照和复杂背景可能导致UAV可见光图像中病斑难以区分，从而阻碍检测精度满足实际生产需求。多光谱（MS）图像可以捕捉与叶绿素相关的病害或作物细胞结构，减少环境因素的干扰。（Chu和Bao 2024）通过整合MS图像实现了松树枯萎病的精确检测，他们详细分析了从多光谱图像中提取的光谱特征，揭示了松树健康状态的细微变化。Hao等人（2025）设计了一种双分支多尺度网络，通过整合MS图像和结合Transformer的特征提取能力与CNN捕捉局部细节的能力，准确检测了小麦黄矮病。Zhang等人（2022）通过整合光谱和图像特征在UAV图像中检测了Fusarium head blight（FHB），使用随机森林（RF）算法优化了图像特征，根据计算特征权重确定保留哪些特征，从而有效提高了检测精度。Dang等人（2020）提出了一种基于RGB和近红外（NIR）图像检测萝卜Fusarium枯萎病的方法，通过对特征提取架构的针对性改进，显著提高了病害区域的识别能力。Kerkech等人（2020）设计了一种名为VddNet的深度学习架构，通过整合可见光、红外和深度遥感图像增强了葡萄病害的特征学习，与SegNet、U-Net、DeepLabv3+和PSPNet等著名深度学习架构相比，实现了更优异的检测性能。Yu等人（2021）通过整合MS图像实现了早期松树枯萎病（PWD）的精确检测，具体是根据针叶颜色和树脂分泌等因素对PWD阶段进行分类，实现了早期PWD的精确检测。

对于由一些非生物因素引起的作物叶片损伤，研究人员提出了几种方法。Burchard-Levine等人（2024）通过部署热红外（TIR）、可见近红外（VNIR）和RGB传感器在UAV上观察了水分胁迫对葡萄藤生长的影响。Olsoy等人（2024）使用配备热成像相机的无人机收集了种植在普通花园中的Sempervivum tectorum植物的光谱图像，并 draw 了叶片温度与亚种、细胞类型、生理表型和夏季热胁迫之间的关系，这为追踪植物基因与环境胁迫因素相互作用引起的表型变化提供了重要方法。Costa等人（2022）利用具有高分辨率光谱相机的UAV结合函数回归方法有效量化了热胁迫下的生理特征，从而帮助预测热胁迫条件下的小麦产量和相关性状，并筛选出高产和稳产基因型。

与其他作物相比，茶叶的叶片面积较小且分布密集，这使得它们容易出现误检和漏检问题。研究人员提出了几种方法来解决这些问题。Bao等人（2023）设计了一种名为DDMA-YOLO的网络用于检测UAV图像中的茶树叶斑病（TLB），通过设计的DDMA模块充分提取和融合局部和全局特征，显著减少了密集叶片区域内由于遮挡引起的误检和漏检。Jiang等人（2025）提出了一种在强光照条件下用于UAV图像的TLB检测方法，通过整合RGB和模拟红外（SIR）图像。通过将超分辨率（SR）分支纳入检测网络，网络能够学习更详细的特征，从而在强光照条件下提高TLB检测精度。Hu等人（2025）构建了一个名为DBTDNet的检测网络，整合了空间和频率域，通过从RGB图像中提取空间和频率域特征，克服了复杂环境的干扰，实现了不同阶段TLB的精确检测。

上述文献为设计有效的茶叶病害检测方法提供了参考。然而，由于检测环境的复杂性和检测到的THS斑点的独特特性，这些方法在检测UAV图像中的THS任务中都存在不足。表1列出了这些方法的局限性。检测到的THS呈现红棕色，在复杂环境中容易与树枝、土壤和其他元素混淆，与上述文献中描述的白色TLB病斑不同。在检测过程中，光照条件不断变化。强光会在叶片表面上产生光斑，干扰RGB图像中可区分的特征。由于THS斑点在UAV图像中占据的面积较小以及UAV飞行高度的不断变化，需要提高检测方法对尺度变化的适应性。为了解决上述问题，本研究提出了一种空间频率双流网络（SFTNet）。通过从RGB图像中提取高分辨率的空间细节特征，从NIR图像中提取丰富的频率特征信息，并有效地将它们融合在一起，SFTNet实现了对THS（小目标 horizontally scattered，即水平分散的目标）特征的精确提取和准确检测。此外，本研究还在非部署环境中对训练好的网络在终端设备上进行了测试，观察到了快速的推理速度。本研究的主要贡献如下：
1) 设计了一种双流网络SFTNet，通过融合RGB图像和NIR图像，实现对无人机图像中THS的准确检测。
2) SFE分支中的MSFAD模块增强了RGB图像特征图的空间和通道特征。
3) FFE分支中的HFDFD模块增强了NIR图像的高频和低频成分，使得边缘细节更加清晰。
4) 设计了一种特征增强（FE）结构，以增强NIR特征图的频率特征。
5) 特征融合架构整合了RGB和NIR特征图，以获得细粒度特征，并提升了检测小目标THS的能力。

### 数据采集
图2展示了数据采集地点。RGB图像的尺寸为5280 × 3956像素，而MS图像的尺寸为2593 × 1944像素。每张RGB图像对应4张MS图像，所有图像都是同时捕获的。然而，由于镜头偏移，每张图像捕捉的场景部分不同。因此，本研究采用了第2.2节描述的方法进行图像配准，将配准后的图像尺寸统一标准化为4000 × 3000。

### 实验配置和评估指标
实验在Ubuntu 20.04 LTS操作系统上使用PyTorch 1.5深度学习框架进行。硬件配置包括Intel 8375C CPU和两个NVIDIA GeForce RTX 3080Ti GPU，以及用于GPU加速的CUDA 10.1和cuDNN 7.6.5。此外，终端设备是一台便携式笔记本电脑，其硬件配置包括Intel 13700HX CPU和NVIDIA GeForce RTX 4060 GPU。脚本语言使用的是Python 3.8。

### 讨论
本研究提出了一种通过融合RGB和NIR图像来检测无人机图像中THS的新方法。开发的SFTNet检测网络能够有效从RGB图像中提取高分辨率的空间特征，并从NIR图像中提取丰富的频率特征。该方法弥补了由于光照和遮挡等因素导致的RGB图像中的信息损失，从而显著提高了在复杂环境中检测THS的准确性。

### 结论
本研究提出并系统验证了基于RGB和NIR图像融合的SFTNet检测网络，该网络能够实现无人机图像中THS的准确检测。SFTNet的设计包含了三项关键创新，以应对复杂检测环境、低特征利用率和小目标检测的挑战：首先，SFE和FFE分支分别从RGB图像中提取高分辨率的空间特征和从NIR图像中提取丰富的频率信息。

### 声明使用生成式AI和AI辅助技术
作者进一步声明，在手稿准备过程中未使用任何生成式AI工具（例如ChatGPT-4o、Google Gemini 2.5）。所有的科学见解、实验设计、数据分析及最终结论均为作者独立开发并验证的。

### 作者贡献声明
魏志静：撰写 – 审稿与编辑、撰写 – 原始草稿、可视化、监督、软件、资源、方法论、调查、资金获取、形式分析、数据管理、概念化。
胡根生：撰写 – 审稿与编辑、撰写 – 原始草稿、验证、监督、资源、项目管理、方法论、调查、资金获取、数据管理、概念化。
姜永成：撰写 – 审稿与编辑、验证、监督、资金获取。

本研究得到了中国国家自然科学基金（项目编号32372632）和安徽省教育厅（项目编号2025AHGXZK50048）的支持。

### 利益冲突声明
作者声明他们没有已知的利益冲突或个人关系可能影响本文所述的工作。

### 致谢
所有作者均已阅读并理解了《作者伦理责任声明》中的内容，并在适用的情况下遵守了其中的规定。