《Journal of Imaging》:DGF-YOLO: A Degradation-Guided Feature Enhancement Method for Small-Scale Pedestrian Detection in UAV Images
编辑推荐:
无人机图像中的小尺度行人常表现出有限的像素覆盖、弱纹理和严重的背景干扰,而渐进式的网络下采样会进一步破坏其短边结构并增加漏检。针对该问题,研究人员提出DGF-YOLO,一种构建于YOLOv12n之上的退化引导特征增强方法。该方法引入退化等级(degradati
无人机图像中的小尺度行人常表现出有限的像素覆盖、弱纹理和严重的背景干扰,而渐进式的网络下采样会进一步破坏其短边结构并增加漏检。针对该问题,研究人员提出DGF-YOLO,一种构建于YOLOv12n之上的退化引导特征增强方法。该方法引入退化等级(degradation level)准则以识别行人首次发生显著结构退化的特征层级,并基于统计结果增设高分辨率P2检测头(detection head)。其进一步采用方向结构感知模块(Directional Structure-Aware module, DSA)通过自适应多分支融合增强局部、水平与垂直结构线索,退化引导注意力模块(Degradation-Guided Attention module, DGA)在显式监督下学习退化引导图并重加权退化敏感区域,以及细粒度结构保持模块(Fine-Grained Structure Preservation module, FSP)利用深度可分离卷积(depthwise convolution)与空洞卷积(dilated convolution)保留局部轮廓与上下文细节。在由VisDrone2019-DET构建的单类行人检测任务中,DGF-YOLO取得70.4%精确率(precision)、51.8%召回率(recall)、59.7% mAP50与26.9% mAP50-95,较YOLOv12n基线分别提升6.6、7.4、10.3与6.5个百分点。结果表明所提特征增强策略有助于减少小尺度行人因结构退化导致的漏检。
研究背景与动机:随着低空经济发展,无人机(UAV)凭借高机动性、广覆盖与灵活视角成为智慧城市、公共安全与应急感知的重要平台。无人机图像中行人常因飞行高度、焦距、传感器尺寸与地面采样距离(GSD)共同作用而呈现有限像素覆盖、弱纹理、尺度变化大与背景干扰严重等特点。以DJI Mavic 3E为例,在64–128 m航高下GSD约1.75–3.50 cm/像素,行人肩宽约0.35 m对应短边仅10–20像素,经YOLO系列P3、P4下采样后压缩至1–3个特征单元甚至不足一个单元,头肩轮廓与躯干边界难以表征,易被道路纹理、阴影与杆状物混淆造成漏检。现有小目标方法多关注输入缩放、特征融合或标签分配,对渐进下采样中的结构退化及行人方向性退化特性关注有限。为此,研究人员在《Journal of Imaging》发表该研究,提出DGF-YOLO,建立退化等级概念并据此引入P2检测头与退化感知增强机制。
主要关键技术方法:研究基于YOLOv12n基线,在VisDrone2019-DET上合并pedestrian与people为单类行人,训练集6471图含106396框。先依标注框短边与网络步长定义退化等级,统计得94.54%行人在P3级即短边≤1特征单元;随后在YOLOv12n原有P3/P4/P5架构上增插高分辨率P2检测头,并在P2特征上串行接入DSA、DGA、FSP三模块。DSA以1×1卷积压缩通道后并行1×1、3×1、1×3卷积建模局部/水平/垂直结构,经全局平均池化与MLP(Multilayer Perceptron)生成Softmax分支权重自适应融合。DGA借1×1与3×3卷积预测单通道退化引导图,以BCE(Binary Cross-Entropy)与Dice损失联合监督,引导图与CBAM增强特征残差式逐元素乘加权。FSP以深度可分离卷积保局部边界、空洞卷积(膨胀率2)扩上下文,残差融合。训练用640×640输入、batch 4、300 epoch,λ设0.1,τ设2。
研究结果:
2.1 退化等级:研究人员给出物理短边wphys、GSD与像素短边s0=wphys/GSD关系,以及特征级l下映射短边sl=min(wl,hl)=min(w0,h0)/stridel。当sl≤1定义首达退化级。VisDrone训练集统计显示P3-deg占94.54%,P2级仍退化比例降至71.49%,证明P2可缓解短边压缩。
2.2 退化感知特征增强机制
2.2.1 DSA:在P2特征经1×1降维后三分支卷积提取多向结构,全局池化描述子经MLP与Softmax得α、β、γ动态权重,加权拼接后1×1融合加残差,参数仅增0.001 M,证实自适应加权优于固定融合。
2.2.2 DGA:以DSA输出经1×1对齐,退化分支出单通道引导图Md∈[0,1],CBAM做通道-空间校准,Md残差式重加权。训练时依GT框映射短边di与阈值τ=2造监督图Yd,di≤1权1,1< />i≤2线性衰减速,>2权0;辅助损失Ld=BCE+Dice,总损失L=Ldet+0.1Ld。推理去监督不留额外计算。
2.2.3 FSP:DGA输出经1×1压缩,深度可分离3×3两叠保细纹,空洞3×3(rate2)两叠取邻域上下文,拼接1×1融合加残差。
3.3 消融:YOLOv12n基线P/R/mAP50/mAP50-95=63.8/44.4/49.4/20.4;加P2至67.0/49.7/56.4/24.2;全模型达70.4/51.8/59.7/26.9,GFLOPs由6.5升至18.8,FPS由35.9降至15.7。λ=0.1最优,τ=2最优。DSA内自适应权重仅增0.001 M/0.3 GFLOPs。DGA优于ECA/CA/EMA/CBAM。FSP双分支协同优但增益温和。按退化级召回分析:YOLOv12n在P2-deg至P5-deg召回39.8→63.3;DGF-YOLO较P2配置在P2-deg/P3-deg/P4-deg/P5-deg再提2.5/1.8/2.3/0.4点。引导图可视化显示红黄高权区对应漏检转检出小行人,但不等价于分割。
3.4 对比:DGF-YOLO以2.8 M参数超YOLOv12s(6.9 M/19.6 GFLOPs)与YOLOv12m(17.8 M/47.3 GFLOPs),mAP50 59.7对53.5。
3.5 泛化:全十类VisDrone上P/R/mAP50/mAP50-95=51.7/40.4/43.8/22.3,超基线6.8/7.0/9.1/4.8点。
讨论与结论翻译:讨论部分指出DGF-YOLO在低照度、高航高俯拍与树遮复杂背景下仍存漏检,因极暗目标边界消失、极低点像素行人在P2级亦近点线结构,且背景杆影相似致误检。结论部分翻译如下:本研究提出DGF-YOLO用于无人机图像小尺度行人检测。方法采用退化等级准则分析行人短边在特征下采样中的表征,并依分布引入P2检测层。DSA、DGA与FSP集成于高分辨率特征级以建模方向结构、退化敏感区域与局部上下文。在VisDrone2019行人检测任务中,DGF-YOLO取得70.4%精确率、51.8%召回率、59.7% mAP50与26.9% mAP50-95,较YOLOv12n提升6.6、7.4、10.3与6.5个百分点。退化等级专属分析显示浅层退化目标召回增益更大。增益伴随计算由6.5升至18.8 GFLOPs、速度由35.9降至15.7 FPS。极低点像素、遮挡与弱光照行人仍具挑战。未来工作将降低高分辨率P2分支成本并在更广无人机成像条件下评估鲁棒性。