PGFD-YOLO：一种基于渐进门控融合(Progressive Gated Fusion)与前背景引导蒸馏(Foreground-guided Distillation)的双模态目标检测框架

《Journal of Environmental Management》：PGFD-YOLO: A dual-modal object detection framework with progressive gated fusion and foreground-guided distillation

　　

摘要：有效的废弃物分类对提高资源回收率及减轻填埋负担至关重要。然而，现有方法主要依赖单RGB成像，难以区分重叠、透明或颜色相似的废弃物。本研究提出一种基于YOLOv11的双模态废弃物检测模型——PGFD-YOLO，其在无专用深度传感器的情况下融合RGB与深度信息。深度图由单目深度估计模型Depth Anything V2从标准RGB图像生成。研究人员引入了三项架构创新：采用部分卷积(Partial Convolution)进行轻量化双流特征提取的LKC3-F模块；通过四重增强注意力(Quad-enhanced Attention)实现高层语义精炼的QAT-PSA模块；以及通过渐进零初始化门控(Progressive Zero-initialized Gating)实现稳定跨模态整合的PCGF模块。此外，采用前背景引导的跨尺度知识蒸馏(Knowledge Distillation)策略在不增加推理成本的前提下进一步提升精度。在TACO-10数据集上进行10折交叉验证的实验表明，PGFD-YOLO的mAP50达22.3%±0.8%，mAP50:95达16.5%±0.7%，较单模态基线分别绝对提升7.7%和7.2%，且优于朴素早期融合与晚期融合策略分别为8.1%和6.4%。部署预估分析显示，中型设施可节约约70%–75%人工成本，年可回收物回收价值约为91,700–167,400美元。该模型推理速度达73.6 FPS，满足实时废弃物分拣要求。

PGFD-YOLO双模态废弃物检测框架的研究解读

一、研究背景与意义

随着城市化进程加快，全球生活垃圾产量激增，源头分类对资源回收及减排至关重要。传统分拣依赖人工，存在效率低、成本高及健康隐患等问题。基于YOLO系列（You Only Look Once）的计算机视觉方法虽被广泛应用，但现有废弃物检测几乎完全依赖RGB（Red-Green-Blue，红绿蓝色彩空间）输入，面临三大失效模式：一是透明塑料（如PET瓶）因透射折射导致边界模糊；二是传送带上的重叠堆叠物品造成部分遮挡与误合并；三是相似颜色的异物（如白纸与泡沫）在RGB空间难以区分。虽然RGB-D（Depth，深度信息）传感器可提供几何互补信息，但直接部署物理RGB-D设备昂贵且易受高速传送带干扰。单目深度估计（Monocular Depth Estimation）可从RGB生成深度图，但存在估计误差及边界过平滑问题，且常规的早期或晚期融合策略会传播不可靠的深度噪声。此外，现有知识蒸馏（Knowledge Distillation, KD）未针对双模态废弃物的跨尺度互补特征进行设计。为此，研究人员开展了基于YOLOv11改进的双模态融合与蒸馏研究，旨在解决RGB单模态局限及深度融合不稳定问题，相关成果拟发表于《Journal of Environmental Management》。

二、关键技术方法

研究人员以YOLOv11为基础构建PGFD-YOLO双模态框架：利用Depth Anything V2从RGB生成伪深度图作为第二模态输入；设计双流骨干网络分别提取RGB与深度特征，早期独立编码，中期在P4、P5尺度进行融合。核心改进包括：(1) LKC3-F（Lightweight Kernelized C3 with Faster Block）——用部分卷积（Partial Convolution, PConv）替换标准C3k2模块以降低计算量；(2) QAT-PSA（Quad-Enhanced Attention Transformer PSA）——通过四种互补注意力与归一化机制强化高层语义精炼；(3) PCGF（Progressive Compensation Gated Fusion，渐进补偿门控融合）——采用零初始化门控学习深度可靠性并抑制噪声，实现渐进式跨模态融合。训练阶段采用前景引导跨尺度知识蒸馏：同构的大模型（m版本）作固定教师，紧凑模型（n版本）作学生，解耦分类与定位损失并将监督聚焦于前景区域，将教师模型中尺度依赖的RGB-D互补表征传递至学生。实验基于TACO-10数据集（选取10类废弃物）实施10折交叉验证，硬件平台为NVIDIA RTX 4060Ti，输入分辨率640×640，训练300 epoch，优化器为AdamW。

三、研究结果

Experimental Platform（实验平台）

研究人员在配备NVIDIA RTX 4060Ti (16GB)、Intel Core i9、32GB RAM及Ubuntu 22.04环境下，使用PyTorch 2.1与Python 3.10搭建实验。设定输入分辨率640×640、Batch Size为8、初始学习率0.001并采用余弦退火衰减（Cosine Decay），训练300轮。知识蒸馏中以双模态大模型为固定教师（Teacher），紧凑小模型为学生（Student）。

Ablation Studies and Comparative Results（消融实验与对比结果）

通过消融实验验证各模块有效性：单独引入LKC3-F可降低参数量与计算量（FLOPs）；加入QAT-PSA提升高层语义捕捉能力从而提高mAP；引入PCGF门控融合后进一步显著提升精度，证明其对不可靠深度的抑制效果；施加前景引导跨尺度知识蒸馏后，轻量学生模型精度接近教师模型且无推理开销增加。与主流YOLOv5/v8/v10及单模态YOLOv11相比，PGFD-YOLO在TACO-10上mAP₅₀达22.3%±0.8%、mAP_50:95达16.5%±0.7%，较单模态YOLOv11基线分别绝对提升7.7%和7.2%，优于早期融合法8.1%、晚期融合法6.4%；推理速度73.6 FPS满足实时性。与YOLOv8、YOLOv10等SOTA（State-Of-The-Art，当前最佳）单模态检测器相比，PGFD-YOLO在透明物体及重叠物品检测上Recall（召回率）显著改善。

Projected Deployment Analysis（预期部署分析）

基于实测Precision/Recall结合已发表MRF（Material Recovery Facility，物料回收设施）运营统计数据推演：中型分拣线应用该系统预计可减少约70%–75%分拣人工成本；年可回收物回收增值约为91,700–167,400美元；系统具备端到端流水线（从图像采集至价值报表生成），能耗与延时符合工业现场要求。

Discussion（讨论）

研究人员对融合策略进行机理解释：早期融合将不可靠深度直接混入RGB特征致退化，晚期融合无法修正中间层错位，而PCGF通过零初始化门控让网络先学单模态映射再渐进引入深度补偿，激活图显示门控权重在透明区域自动降低。深度可靠性评估表明Depth Anything V2生成的相对深度虽非度量深度，但在PCGF筛选下仍提供有效边缘与层级线索。定性失败案例分析指出极小碎片及极度反光表面仍为误检主因。

四、结论（Conclusion部分翻译/总结）

本研究提出PGFD-YOLO双模态废弃物检测模型，通过Depth Anything V2从标准RGB生成深度图免除专用深度传感器。框架引入LKC3-F轻量特征提取、QAT-PSA高层语义精炼及PCGF渐进零初始化门控融合三个组件，并结合前景引导跨尺度知识蒸馏策略。实验证实该方法在TACO-10数据集上显著超越单模态基线及朴素融合策略，兼顾精度与73.6 FPS实时速度。预期部署分析表明其具有减员增效与经济回收价值。研究受限于合成深度对极端反光面及微碎片的敏感性，未来拟引入真实RGB-D数据采集及Transformer骨干进一步优化。

（注：全文专业术语依原文保留英文缩写及上下标，去除文献引用标号与图示标记，严格依据上传文档内容浓缩总结。）