综述：农业视觉感知中深度学习的全面综述：进展、瓶颈与新兴趋势

《Agriculture》：A Comprehensive Review of Deep Learning in Agricultural Visual Perception: Progress, Bottlenecks, and Emerging Trends

　　

本文对深度学习在农业视觉感知中的应用进行了全面综述。气候变化和土地退化要求从经验驱动型农业向数据驱动型智能农业转变。传统的人工检测仍具有主观性且难以扩展。计算机视觉为精准作物和牲畜管理提供了一种非侵入式解决方案，但同时也面临挑战。其在实际农业场景中的应用面临特定挑战，如严重遮挡、光照剧烈变化以及生物目标的非刚性形变。为系统总结这些感知瓶颈的解决途径，本综述探讨了具有空间提取和时空建模能力的深度学习架构。本综述首先构建了一个从低层数据增强和静态空间认知到高层动态时空推理的渐进式分析框架，然后系统地对现有文献进行分类。深入分析表明，这三个核心挑战可通过三种统一技术从计算层面解决。领域漂移和标签稀缺而非基线精度是实际部署的主要障碍。研究人员进一步确定了四个优先研究方向，即架构效率、数据级标注效率、部署级隐私与仿真以及信任级安全性，以指导未来研究。

1. 1.
   引言
   精准农业已成为确保全球粮食安全的战略要务。在广泛农业种植和先进畜牧业中，实现对植物发育性状和特定动物行为的精确、即时观察对于优化运营策略至关重要。然而，此类环境中的自动监测在计算机视觉方面面临根本障碍：观测目标的剧烈空间排列变化和连续物理变换。作物表型分析和牲畜分析中的非刚性形变、高密度和严重遮挡以及图像增强与域适应技术构成了农业视觉感知的主要挑战。传统计算机视觉方法在复杂动态农业生产环境中存在显著局限性，当前视觉感知正经历从单任务精度向物理驱动的低层视觉恢复与高层语义感知集成优化的范式转变。本综述系统涵盖卷积神经网络（CNN）、循环神经网络（RNN）、视觉变换器（ViT）、图神经网络（GNN）、生成对抗网络（GAN）和扩散模型等深度学习架构，并基于过去五年的普遍性和解决三大核心挑战的有效性选择这些架构。本综述构建了涵盖数据基础、静态空间认知、动态时空推理和具身部署的四层框架，并批判性比较不同架构，系统探讨新兴视觉基础模型和具身智能。
2. 2.
   综述框架与文章结构
   本综述系统调查和批判性评估农业视觉感知的深度学习技术，聚焦现代架构如何解决非刚性目标形变、严重遮挡和环境图像退化三大瓶颈。构建了从数据基础、静态空间认知、动态时空推理到未来展望的渐进式四层分析框架。第3节涵盖基础数据流程，包括多模态成像采集、极端条件下的低层增强和数据稀缺场景下的跨域迁移学习，形成“采集-恢复-泛化”工作流。第4节从数据基础转向静态空间认知，考察非刚性形变检测、密集人群计数和细粒度分类三个核心感知任务。第5节将静态感知扩展到高层时空推理，解决短期行为动态、长期生命周期分析、异构融合和具身决策。第6节综合持久挑战和未来方向。第7节总结。
3. 3.
   多模态数据与低层增强
   本节建立农业感知的基础视觉工作流，包括三个阶段：多尺度多模态成像方法、极端条件（雨、雾、低光、水下散射）下的增强技术，以及通过跨域迁移学习解决数据稀缺。这些部分构成“采集-恢复-泛化”工作流。
   3.1 多模态成像分类
   农业多模态成像涵盖多个空间尺度的传感器技术，从卫星和无人机（UAV）遥感到地面RGB-D和超光谱相机，直至显微成像。宏观监测中，融合物候和多时相哨兵2（Sentinel-2）光谱数据改进大面积土壤盐渍化估计。中观层面，无人机热红外传感器精确估计水温等动态参数，无人机图像与卷积神经网络-长短期记忆网络（CNN-LSTM）融合实现小麦产量预测。地面感知向三维和多源融合发展，RGB-D数据结合改进的SOLOv2解决重叠分割和三维定位误差。超光谱成像（HSI）提供“指纹”光谱数据以区分内部成分不同的作物。现代精细农业转向复杂生化监测，多模态融合成为趋势，如计算机视觉与近红外光谱结合用于红茶萎凋评估。水下感知采用光学校正算法，显微镜成像用于超早期病害诊断。
   3.2 极端条件下的低层增强技术
   针对室外雨雾的大气散射，改进暗通道先验（DCP）算法优化计算架构，解决雾浓度变化和天空区域过曝光问题。低光场景中，低光神经网络（LLNet）联合优化亮度增强和自适应去噪，零参考深度曲线估计（Zero-DCE）范式实现极高计算效率。水下成像中，多尺度可变形卷积网络结合注意力机制重建高质量图像，纹理图引导的多尺度增强架构联合估计背景光和透射图，物理引导的Robust-SeaThru框架提高泛化鲁棒性。
   3.3 跨域迁移学习
   数据稀缺和域偏移是核心瓶颈。迁移学习通常依赖微调ImageNet预训练模型，但存在“域阻抗”现象。领域特定架构如多尺度空洞卷积视觉几何组网络16层（MDCVggNet16）引入注意力和空洞卷积聚焦弱病灶特征。无监督域适应技术如CycleGAN风格转移增加训练样本多样性。自监督和半监督学习成为前沿，动量对比原型网络（MoCoProto）框架进行大规模对比学习。卷积神经网络（CNN）、视觉语言模型（VLM）和大型语言模型（LLM）协作框架桥接实验室与农田的域差距，实现端到端自主病害控制。
4. 4.
   静态空间认知
   农业视觉感知中，生物目标的物理特性和非结构化环境的复杂性带来独特空间挑战。传统刚性边界框检测在作物非刚性形态和杂乱场景中失败。现代深度学习通过几何自适应算法克服严重遮挡、极端拥挤和低类间方差的瓶颈。
   4.1 非刚性形变检测
   田间和温室环境中，作物和杂草形态因生长周期和环境压力呈现显著非刚性形变。传统矩形定位方法在叶片卷曲、茎弯曲或植物缠绕时失效。多特征融合和空间推理模块提高病害定位精度。牲畜饲养中，非刚性形变和高密度拥挤使传统矩形框难以区分个体身份，转向关键点姿态估计和时空建模。结合YOLOv8与深度通道时间模块-UniformerV2（DCTM-UniformerV2）准确识别猪攻击行为。机器人收割结合二维实例分割和三维点云姿态估计。
   4.2 密集人群计数
   目标高度堆叠时，传统“先检测后计数”范式失效。密度图回归通过生成拥挤空间热图评估每个像素属于目标的概率并积分得到总数。多尺度特征增强网络（MFNet）引入可变形空间注意力机制（DSAM）抑制复杂背景。简单点标注降低标记成本，弱监督方法有效减少高密度鱼计数标注。三维结构光重建缓解二维视觉的深度模糊。
   4.3 细粒度分类与异常筛查
   细粒度视觉分类（FGVC）处理高类内方差和极低类间方差，聚焦局部微弱视觉细节。融合MobileNetV2与灰度共生矩阵（GLCM）纹理特征和多头注意力机制识别富士苹果品种。对比语言-图像预训练（CLIP）大模型用于个体鱼重识别。超轻量多尺度自适应筛选匹配YOLO（MASM-YOLO）模型在边缘设备实现帕累托最优平衡。
5. 5.
   高级时空认知
   仅依赖静态空间特征不足以捕捉生物目标和环境的连续变化。本节从静态空间提取转向高级时空认知。
   5.1 时空架构的演进
   传统固定采样网格的卷积算子难以处理农业形态多样性。可变形卷积动态聚合多尺度核函数，捕获不规则果实大小变化。极端遮挡超过算法恢复极限时，主动干预成为必要，如黄瓜收获中智能末端执行器进行物理推叶。生物行为本质上是连续时间演化过程，一维卷积神经网络（1D-CNN）和长短期记忆网络（LSTM）预测作物系数。时空图卷积网络（ST-GCN）建模时间拓扑特征用于精准喷雾行为识别。
   5.2 生命周期细化与全局分析
   视频农业感知中，短期紧急情况需要分析瞬时运动形变。光流和时空图卷积网络（ST-GCN）奠基后，基于变换器（Transformer）的架构凭借全局感受野优势捕捉非局部时空依赖。视频掩码自动编码器V2（VideoMAE V2）和ActionMamba用于时间定位。季节尺度建模支持长期系统决策，变换器时间序列预测模型动态重加权历史传感器数据优化水肥耦合。
   5.3 跨域耦合与自适应决策
   作物物候演变缓慢，传统视觉算法难以检测。深度强化学习（DRL）克服农业机械性能瓶颈，实现多机协作和温室多目标全局优化。同步时空下采样策略统一建模跨平台多源卫星数据。自监督学习训练的小麦特定视觉基础模型提供强大领域引擎。自适应深度时空网络结合RGB和高频光流准确定位猪攻击行为起止时间。时空长短期记忆（ST-LSTM）和记忆内记忆（MIM）网络实现植物器官未来形态演变的动态模拟和预测。
6. 6.
   挑战与未来方向
   农业视觉感知在广泛部署前仍有待解决挑战，涵盖域泛化、轻量部署和具身智能三个相互关联的维度。
   6.1 通用域泛化
   核心挑战从提高基线精度转向在变化环境中保持鲁棒性。开放农田中光照、温度、湿度、作物表型随时间不可逆连续演变。持续测试时域适应方法缺乏全生长周期长期田间数据验证。长尾开放集识别中未知病害突变带来风险。未来应开发鲁棒的测试时自适应协议，并将生物生长模式和光学成像物理嵌入模型架构以实现零样本泛化。
   6.2 多目标协同优化
   实际部署面临算力和功耗限制，轻量化研究如8位量化模型在微控制器运行，改进YOLO算法在Jetson Nano部署。但压缩策略常以精度为代价，缺乏端到端软硬件协同设计。下一代轻量部署转向异构模型部署和动态路由技术，根据任务紧迫性和硬件状态协调不同复杂度模型分支。
   6.3 具身AI与基础模型的协同
   具身智能标志农业视觉从“被动观察”向“主动执行”飞跃。现有基础模型参数过大与边缘部署矛盾，农业场景极端动态特性导致模拟环境中学得的执行策略在真实农田灾难性失败。未来需构建高保真物理交互农业仿真平台，将机器人每次物理交互转化为高价值自监督数据，形成“感知-决策-执行-试错反馈再进化”持续学习闭环。
7. 7.
   结论
   本文系统回顾深度学习在农业视觉感知的最新进展，构建涵盖低层增强、静态空间认知、高层时空推理和跨域部署的四层框架。非刚性形变、密集遮挡和严重环境退化可在计算层面通过关键点定位、密度回归和序列时间建模统一解决。当前瓶颈集中在域变换、数据集稀缺和边缘部署经济约束。未来研究需在架构层面探索视觉变换器和视觉曼巴（Vision Mamba）的平衡，自监督视觉基础模型如DINOv2/DINOv3和分割一切模型（SAM）的压缩与适配；数据层面利用半监督、弱监督和自监督方法缓解标签稀缺，扩散模型用于数据增强；部署层面采用联邦学习保护隐私，数字孪生技术桥接模拟与现实；信任层面发展可解释AI和开放集识别。视觉自主导航与运动规划对田间机器人实现感知-动作闭环至关重要。