从无人机视角对稻田进行宏观异常检测：一种频率感知时空Mamba方法

《Frontiers in Plant Science》：Macroscopic anomaly detection in paddy fields from UAV perspectives: a frequency-aware spatiotemporal mamba approach

　　

无人机（UAV）提供了高分辨率和时间连续的观测，为广域稻田巡检提供了重要价值。及时检测火灾、入侵、倒伏和病害等宏观异常对于田间管理和风险评估至关重要。然而，监督方法依赖于预定义类别和大量标注的异常样本，这在田间环境中难以全面收集。同时，UAV自身运动、视角变化、重复的作物纹理以及多尺度外观变化进一步增加了异常检测的难度，限制了传统基于图像和固定摄像视频方法在移动UAV视频中的直接应用。为应对这些挑战，本文提出了TFMAD，一种仅使用正常视频的未来帧预测框架，用于UAV稻田视频中的帧级宏观异常检测。TFMAD采用U形编码器-解码器架构，仅从正常视频中学习规则时空模式，并根据预测帧与观测帧之间的差异识别异常。该框架包含三个核心模块：频率时空相关模块（FSCM）建模时频变化和空间相关性；并行时空Mamba（PSTM）模块通过双向像素级和块级扫描建模时间变化和局部结构；差异引导融合（DGF）模块根据外观和时空特征之间的差异调节跳跃连接，减少异常信息直接传递到解码器。为了平衡高分辨率特征提取和计算效率，编码器进一步采用了具有线性复杂度的Token统计自注意力（TSSA）。此外，本研究构建了URVAD数据集，一个用于帧级异常检测的UAV稻田视频数据集，并在该数据集上进行了实验。结果表明，TFMAD实现了95.83%的Micro-AUC和96.80%的Macro-AUC，在当前数据集和实验设置下，在所有比较方法中获得了最佳整体性能。

论文解读文章：
研究背景：水稻生产受到病害、虫害、干旱、极端温度和水涝等生物胁迫和非生物胁迫的制约，这些胁迫的发生和严重程度在空间上存在差异，导致稻田内出现局部作物损伤或生长退化。及时进行田间观察对于在损伤扩散或加剧前识别作物损害和操作风险至关重要。无人机（UAV）作为精准农业中的重要遥感平台，能够按需获取高分辨率观测、重复巡视田间，并覆盖人工巡检成本高昂的区域。然而，现有农业计算机视觉系统通常将监测任务构建为有监督的图像分类、目标检测或语义分割，这些方法依赖于预定义类别和大量标注样本，难以全面收集火灾、车辆入侵、严重倒伏等罕见异常事件。此外，UAV自身运动、视角变化、重复的作物纹理和多尺度外观变化进一步增加了异常检测难度，限制了基于固定摄像机的视频异常检测方法在移动UAV视频中的直接应用。因此，研究人员提出了一种仅使用正常视频进行训练的无监督异常检测框架，以利用时间上下文识别与正常模式不符的帧级观测。

研究人员开展了什么研究：研究人员提出了TFMAD，一种仅使用正常视频的未来帧预测网络，用于UAV稻田视频中的帧级宏观异常检测。该网络采用U形编码器-解码器架构，编码器采用Token统计自注意力（TSSA）以线性复杂度处理高分辨率特征；在跳跃连接处，频率时空相关模块（FSCM）对时频成分进行加权并建模时空自相关，并行时空Mamba（PSTM）模块通过双向像素级和块级扫描捕捉方向依赖性和局部结构；差异引导融合（DGF）模块利用最新帧编码器表示与精炼时空表示之间的差异调节跳跃特征传输。模型仅使用正常序列训练，根据预测帧与观测帧之间的差异计算帧级异常分数。研究人员还构建了URVAD数据集，包含7个正常训练视频和6个测试视频（分别对应车辆、火灾、倒伏、鸟、黄化、枯萎六种宏观异常类别），并在该数据集上进行了实验。结果表明，TFMAD实现了95.83%的Micro-AUC和96.80%的Macro-AUC，在所有比较方法中获得了最佳整体性能。论文发表在《Frontiers in Plant Science》。

主要关键技术方法：研究人员采用U形编码器-解码器架构，编码器使用TSSA（Token Statistics Self-Attention，一种线性复杂度自注意力算子）进行特征增强。在跳跃连接处，FSCM（Frequency Spatiotemporal Correlation Module，频率时空相关模块）通过一维傅里叶变换沿时间维度加权频率成分，并利用三维傅里叶变换计算功率谱密度以得到时空自相关张量。PSTM（Parallel Spatiotemporal Mamba，并行时空Mamba）模块通过12条扫描路径（包括正向和反向的像素级和块级扫描）进行选择性状态空间建模。DGF（Difference-Guided Fusion，差异引导融合）模块计算外观特征与精炼特征的绝对差异，生成门控图以调节跳跃特征传输。数据集URVAD来源于视频分享平台，经筛选后包含13个视频片段，其中7个正常训练片段（共4630帧）和6个测试片段（共1565帧），所有片段原始分辨率640×640像素，帧率30 fps，输入时调整为256×256像素。

研究结果：
**消融实验（Ablation studies）**：通过逐步添加TSSA、FSCM、PSTM和DGF模块，评估各模块贡献。基线（无任何模块）Micro-AUC为77.80%，Macro-AUC为82.19%。添加TSSA后分别提升至84.92%和87.23%，FPR从43.57%降至32.99%。进一步添加FSCM使Micro-AUC达到86.98%。添加DGF（M3配置）Macro-AUC达到89.18%，FPR降至20.59%。仅使用PSTM的M4配置Micro-AUC和Macro-AUC分别为90.51%和92.03%，FNR降至11.93%，但FPR较高。同时使用FSCM和PSTM的M5配置Micro-AUC和Macro-AUC提升至94.16%和94.88%。完整TFMAD（包含DGF）达到最佳结果：Micro-AUC 95.83%，Macro-AUC 96.80%，准确率93.59%，FPR 8.42%，FNR 5.97%。各模块联合使用时贡献最有利。
**PSTM扫描路径消融（Ablation of PSTM scanning paths）**：固定其他组件，改变扫描路径数量。无扫描（C0）Micro-AUC 87.32%，Macro-AUC 89.18%。引入两个像素级时间扫描路径（C1）提升至89.17%和90.21%。添加反向路径（C2）进一步升至92.17%和93.46%。引入块级扫描路径（C3、C4）后AUC持续提升，完整12路径配置（C4）达到最佳Micro-AUC 95.83%和Macro-AUC 96.80%，参数仅增加至25.15M，推理速度49.88 FPS。
**参数敏感性分析（Parameter sensitivity analysis）**：输入序列长度T=6时Micro-AUC、Macro-AUC和准确率最高，FPR和FNR最低；T=4速度更快但性能下降，T=8性能下降且效率降低。PSTM块大小P=4在整体Micro-AUC和Macro-AUC上最佳（95.83%和96.80%），P=2对局部动态异常（火灾、鸟）较好，P=8对空间扩展异常（倒伏、枯萎）较好。SSM状态维度d_state=16在检测性能和计算效率之间取得最佳平衡，d_state=8性能下降，d_state=32未进一步改善AUC。
**对比实验（Comparative experiments）**：与四种通用视频异常检测方法（ASTNet、MPN、VADMamba、LGN-Net）和三种无人机视频异常检测方法（ANDT、HSTforU、ASTT）进行比较。TFMAD在Micro-AUC（95.83%）和Macro-AUC（96.80%）上均最高，在车辆、火灾和鸟类别上获得最佳AUC（分别为99.98%、94.90%、99.71%）。黄化类别AUC（97.46%）略低于HSTforU，倒伏和枯萎类别上LGN-Net更优，但TFMAD整体性能更均衡。计算效率方面，TFMAD参数25.15M，FLOPs 25.68G，推理速度49.88 FPS，优于多数对比方法。
**可视化分析（Visualization analysis）**：空间预测误差热图显示，车辆和火灾异常响应集中在侵入目标和火焰烟雾区域，黄化和枯萎产生较扩散的响应，鸟因目标小产生较弱散射响应，倒伏在变形作物结构周边产生响应。时间异常分数曲线显示，车辆、鸟、黄化和枯萎在异常区间分数高，正常区间下降；火灾序列早期分数较低，随火焰加剧逐渐升高；倒伏序列分数波动较大，边界区分较弱。ROC曲线显示车辆和鸟AUC接近完美（99.98%和99.71%），黄化和枯萎分别为97.46%和97.61%，火灾为94.90%，倒伏最低（91.17%）。

讨论部分总结：类别级结果与异常的时间特征相关。FSCM对较高归一化频率和较强谱能量的成分赋予更大权重，使其更适合具有显著运动或快速外观变化的异常（如车辆、鸟、火焰），而对缓慢发展的结构变形（如倒伏）敏感性较低。数据集URVAD规模有限，仅包含6个代表性异常类别，未系统覆盖天气、光照、水稻品种、生长阶段、地理区域等变化，且异常持续时间差异导致帧数不平衡，Macro-AUC虽减少长视频影响，但无法完全消除统计不确定性。计算效率方面，TFMAD在桌面GPU（NVIDIA GeForce RTX 4090）上实现实时处理（49.88 FPS），但需在机载平台（如NVIDIA Jetson）上验证实际部署性能。推理方法方面，负PSNR作为简单帧级预测误差分数，对全局光度变化敏感，且不直接评估空间定位质量；DGF在本文架构中有用，但未证明优于其他跳跃连接策略（如跳跃剪枝、显式特征解耦、对抗性约束）。
研究结论翻译：本研究提出了TFMAD，一种仅使用正常视频的未来帧预测框架，用于UAV稻田视频中的帧级宏观异常检测。通过集成频率感知时空相关建模、多路径状态空间扫描和差异引导特征融合，TFMAD从正常视频中学习常规田间动态，并识别与学习模式不符的观测。在URVAD上的实验表明，所提方法在报告实验设置下达到95.83%的Micro-AUC和96.80%的Macro-AUC，在所有比较方法中获得最佳整体性能。这些结果证明了基于正常视频的异常检测在无人机稻田监测中的可行性。