《Artificial Intelligence in Agriculture》：YOLO11-FFTDA: fusing frequency-domain enhancement and deformable attention for robust tomato pedicel segmentation
编辑推荐：
番茄果梗的精确检测与分割是采摘机器人完成自动化采摘的关键感知任务。针对复杂果园环境带来的挑战以及小目标特征丢失问题，研究人员构建了一个番茄果梗数据集，并提出了YOLO11-FFTDA模型。首先，骨干网络引入了一个包含频率域注意力（FFTAT）的CFP模块，以显
番茄果梗的精确检测与分割是采摘机器人完成自动化采摘的关键感知任务。针对复杂果园环境带来的挑战以及小目标特征丢失问题，研究人员构建了一个番茄果梗数据集，并提出了YOLO11-FFTDA模型。首先，骨干网络引入了一个包含频率域注意力（FFTAT）的CFP模块，以显式增强对细长茎的高频特征提取。其次，集成的C2PSADA模块采用可变形注意力自适应地拟合茎的形态，有效抑制了背景噪声和遮挡。第三，添加了一个小目标检测分支，以提高对微小目标的捕获能力。实验结果表明，YOLO11-FFTDA模型实现了88.1%的精确率（Precision）、76.6%的召回率（Recall）、80.0%的mAP50和32.9%的mAP50–95。与基线YOLO11模型相比，其掩码质量指标mAP50–95提升了3.0个百分点；与轻量级Yoloact模型相比，mAP50和mAP50–95分别显著提升了19.9%和9.8%。五折交叉验证显示出极低的标准差，验证了模型在复杂果园场景中针对数据变异的较高稳定性和鲁棒性。该方法能够在计算受限的复杂果园环境中实现快速、准确的番茄茎分割，为采摘机器人的视觉伺服系统提供了可靠的技术支持。
**研究背景与问题**
在全球粮食安全与人口增长的双重压力下，现代农业面临结构性劳动力短缺与老龄化问题，发展能够自主执行复杂任务的农业机器人成为保障粮食供给、提升生产效率的关键技术路径。番茄作为全球重要经济作物，其大规模生产对采摘效率要求极高，传统人工采摘耗时耗力且受成熟度、气候、地形等因素制约。因此，研发用于自动化采摘的智能农业机器人具有重大潜力，而精准定位果实并识别适合切割的果梗（fruit stalk）是采摘机器人的核心感知任务之一。早期研究依赖传统图像处理算法，但面对真实果园中剧烈光照变化、枝叶遮挡以及目标与背景高度相似等问题，鲁棒性不足。深度学习的兴起，特别是卷积神经网络（Convolutional Neural Network, CNN）的层级特征学习机制，带来了显著突破。目标检测模型如YOLO系列在果实定位中表现出色，但仅靠边界框（bounding box）不足以指导机械臂精确操作，需要实例分割（Instance Segmentation）提供像素级轮廓。尽管现有单阶段模型如YOLO8-seg等已在边缘设备部署中展现优势，但直接应用于番茄（尤其是串收番茄）果梗分割时仍面临两大严峻挑战：一是小目标特征丢失问题——番茄果梗极为纤细，在图像中仅占少量像素，标准CNN的下采样过程相当于低通滤波器，倾向于保留大面积低频信息（如叶片、果面），而关键的高频特征（如细长边缘、拓扑结构）被严重削弱甚至丢失；二是复杂背景干扰与遮挡——真实果园中目标果梗与周围非目标枝条、叶柄、藤蔓在颜色、纹理、形态上高度相似，且果实、叶片遮挡十分普遍，传统CNN和标准注意力机制在处理前景背景高度混淆的场景时易受噪声干扰，产生大量误检和不精确的分割掩码。
**研究内容与结论**
针对上述问题，研究人员提出YOLO11-FFTDA模型，在YOLO11-seg骨干网络中引入卷积特征金字塔模块（CFP模块），其核心为频率域注意力（FFTAT），利用快速傅里叶变换（Fast Fourier Transform, FFT）将特征从空间域转换到频率域，显式捕获并增强果梗细长结构对应的高频信号，解决小目标特征丢失问题；在颈部网络集成C2PSADA混合注意力模块，其基础为可变形注意力（Deformable Attention, DA），使网络能够根据输入特征动态学习稀疏采样点，自适应拟合果梗不规则形态，将注意力集中到目标上，从而抑制复杂背景干扰与遮挡；并添加专用小目标检测分支（xsmall-detect-branch），利用最高分辨率特征图检测极微小果梗。实验结果表明，YOLO11-FFTDA在分割掩码任务上达到88.1%的精确率（Precision）、76.6%的召回率（Recall）、80.0%的mAP50和32.9%的mAP50–95；与基线YOLO11相比，掩码质量指标mAP50–95提升3.0个百分点；与轻量级Yoloact模型相比，mAP50和mAP50–95分别提升19.9%和9.8%。五折交叉验证显示所有指标的标准差极低，证明模型在复杂果园场景中具有高稳定性和鲁棒性。该研究发表在《Artificial Intelligence in Agriculture》。
**关键技术方法**
研究人员自建了番茄果梗实例分割数据集，数据采集自真实果园环境，涵盖不同光照、角度和遮挡程度，共约1600个实例，按8:1:1比例以场景级别（而非随机帧）划分为训练、验证、测试集，避免数据泄露。主要技术方法包括：1）CFP模块（替换骨干中部分C2f模块），内部采用级联的空洞卷积（Atrous Convolution）与FFTAT交替结构，在频率域进行多尺度特征增强，保留并增强果梗的高频边缘信息；2）C2PSADA模块（集成可变形注意力），通过偏移网络生成稀疏采样点，实现自适应注意力计算，主动避免背景噪声；3）xsmall-detect-branch（从P2/4高分辨率特征层引出），直接连接专用分割头，确保微小目标特征不被稀释。
**研究结果**
- **3.3 比较实验**：通过将YOLO11-FFTDA与YOLO8-seg、Mask R-CNN、SOLOv2、Yoloact等模型在同一数据集上比较，发现YOLO11-FFTDA在掩码任务上的mAP50（80.0%）和mAP50–95（32.9%）均显著优于所有对比模型，其中mAP50–95比基线YOLO11提升3.0个百分点，比Yoloact提升9.8个百分点。可视化分析（热力图和实例分割结果）直观显示，YOLO11-FFTDA将注意力精准聚焦于果梗区域，分割掩码边缘清晰、贴合度高，有效抑制了果实和背景叶片的干扰。
- **3.4 卷积模块比较实验**：将骨干中的C2f模块替换为不同先进卷积模块（DynamicConv、PConv、PFDConv、RAB、CaFormer）与CFP模块（FPAM）进行对比，结果显示CFP模块在严格指标mAP50–95上提升显著（掩码任务中从29.9%提升至31.3%），其他模块普遍表现不佳或下降，验证了CFP模块通过频率域增强保留高频特征的独特优势。
- **3.5 注意力机制比较实验**：将C2PSADA中的可变形注意力（DA）替换为CPCA、MLCA、MPCA、SimAM等注意力机制进行比较，DA模块在掩码任务上取得了最高的召回率（74.1%）和mAP50（79.0%），尽管MPCA在mAP50–95上略高（30.9% vs 30.0%），但综合考量采摘机器人对高召回率和可靠轮廓的需求，DA模块更具优势，其自适应稀疏采样策略能主动避开背景噪声。
- **3.6 消融实验**：通过逐步添加CFP（FFTAT）、DA、p2小目标分支三个模块，单独添加时均能提升性能，其中FFTAT和p2分支对mAP50–95提升显著（各+1.4%），DA模块对抑制背景干扰提升精确率有效；三者组合后达到最优性能，掩码mAP50–95提升3.0个百分点（从29.9%到32.9%），证明各模块协同互补。
- **3.7 模型交叉验证评估**：采用五折交叉验证，YOLO11-FFTDA在所有指标上均表现出极低的标准差（掩码召回率标准差仅0.0128，掩码mAP50–95标准差0.0161），且每折性能均优于基线YOLO11，平均掩码mAP50–95从0.3332提升至0.3596，验证了模型对数据划分的高鲁棒性。
- **3.8 系统误差分析与失败模式**：对测试集错误实例（78个假阳性，72个假阴性）进行归因分析，假阳性主要源于叶柄-果梗混淆（57.7%），假阴性主要源于未成熟果实簇遮挡（48.6%）和微目标混叠与逆光（41.7%），表明在极端遮挡和纹理相似场景下仍存在局限。
**讨论与结论**
讨论部分指出，YOLO11-FFTDA通过频率域增强有效保留了小目标的高频特征，在严格IoU阈值下生成更精确的掩码边缘；可变形注意力机制使模型能够动态聚焦于果梗不规则区域，抑制背景干扰；K折交叉验证证实了模型稳定性。尽管模型在极端场景下仍存在失败情况，且FFT变换带来一定计算开销，但ONNX环境下推理速度达195.3 FPS，远超实时需求（约30 FPS），具备部署于边缘设备的潜力。研究结论部分翻译如下：
为应对复杂果园环境中番茄茎检测存在的检测精度低、小目标特征丢失以及抗遮挡性差等问题，本文提出了一种高性能实例分割模型YOLO11-FFTDA。研究工作总结如下：研究人员在真实果园中采集并构建了番茄果梗实例分割数据集，涵盖复杂光照、多角度和不同程度遮挡，定量分析揭示了目标区域占比极小的数据特征。设计了CFP模块（融合FFTAT）替换骨干中部分C2f模块，利用频率域学习有效保留果梗纤细微的高频特征，解决下采样导致的信息丢失。C2PSADA模块采用可变形注意力机制自适应拟合果梗不规则形状，显著抑制复杂背景和遮挡干扰。添加小目标检测分支（xsmall-detect-branch）增强对远处或极微小果梗的捕获能力。实验结果表明，YOLO11-FFTDA在关键指标上优于YOLO11、Mask R-CNN、SOLOv2等主流模型，其分割掩码达到88.1%精确率、76.6%召回率和80.0% mAP50，特别地，反映掩码质量的mAP50–95达到32.9%，超过基线模型3.0个百分点。与轻量级模型Yoloact相比，mAP50和mAP50–95分别提升19.9%和9.8%，充分证明了本方法的精度优势。模型可靠性得到验证：K折交叉验证结果显示所有指标方差极低，证明其在多变环境中具有较强的鲁棒性。
