WFFM-TA-YOLO：一种面向遥感小目标检测的融合加权特征融合模块与P2感知多分支结构

《Array》：WFFM-TA-YOLO: A Unified Weighted Feature Fusion Module with P2-Aware Multi-Branch Structure for Remote Sensing Small Object Detection

　　

研究人员提出一种统一的加权特征融合模块(WFFM)与P2感知多分支结构，以更好地保留高分辨率浅层线索并自适应平衡多尺度特征，用于遥感小目标检测。研究人员提出双分支三分支注意力模块，通过建模跨维度交互(C–W与H–C)增强浅层特征，同时抑制结构化背景纹理，且不引入空间分支。在VEDAI与AI-TOD数据集上的大量实验（含消融研究）验证了各提出组件的有效性，并在mAP及小目标指标上较基线取得一致提升。

研究背景方面，高分辨率光学遥感图像在交通监控、灾害评估与国家安全中应用广泛，但车辆、船舶等感兴趣目标常仅占数像素且密集分布，人工解译低效易错。现有方法面临三方面困难：小目标在深层特征图上仅对应一至两个单元格导致语义弱；道路、建筑、植被等复杂背景易与人工目标混淆；星载/机载边缘设备受算力与功耗约束要求检测器轻量。已有遥感检测改进可归为三类：基于YOLOv5、YOLOv8等通用检测器的遥感适配（如TPH-YOLO、FE-YOLO、CA-YOLO），引入Transformer或可变形卷积但开销大；基于FPN、PANet、BiFPN、AugFPN的多尺度融合，多采用固定融合策略且计算成本高；基于非局部网络、GCNet及SE、ECA、CBAM等注意力机制，但多作用于高层或单尺度，难以兼顾浅层细粒度与轻量性。FFCA-YOLO虽以YOLOv5m为骨干并引入FEM、FFM、SCAM三轻量模块，仍存在浅层P2利用不足、SCAM偏重深层、金字塔融合权重未学习等局限。为此，研究人员在FFCA-YOLO基础上提出WFFM-TA-YOLO。

关键技术方法上，研究人员以FFCA-YOLO（YOLOv5m骨干）为基架，在颈侧三输入融合节点（P2/P3/P4级）部署统一加权特征融合模块(WFFM)，在P2浅层融合输出后插入双分支三分支注意力（Triplet Attention，禁用H–W空间分支，保留C–W与H–C跨维交互）；训练采用VEDAI（RGB版、8类车、官方切分）与AI-TOD（平均目标约12.8像素、8类、官方11214/2804/14018切分）样本队列，640×640输入，SGD优化，等效batch 32，300 epoch，RTX 4070 Laptop单卡验证。

研究结果部分，整体架构小节指出，骨干提取步长4/8/16的P2/P3/P4特征，WFFM在P2/P3/P4三级PAN节点学习逐通道尺度权重，P4→P3初始节点保留轻量FFM_Concat2，Triplet Attention仅作用于浅层，三检测头接P2/P3/P4。加权特征融合模块(WFFM)小节说明，三分支经1×1卷积对齐通道后全局平均池化得尺度描述子，两层MLP（缩减率16）出未归一化分数，softmax得尺度权，广播加权后拼接再1×1卷积混合，额外参算可忽略。三分支注意力浅层精炼小节给出Z-Pool（最大与平均池化拼接）加k×k卷积与sigmoid门控，在C–W与H–C置换视图上生成方向感知掩码并平均，抑制道路屋顶阴影等方向性纹理。实验结果显示，VEDAI上WFFM-TA-YOLO参量8.23M、GFLOPs 31.77、FPS 47.6，mAP@0.5达0.822、mAP@0.5:0.95达0.532、mAPs达0.482，均超FFCA-YOLO（0.801/0.515/0.462）且参量仅为YOLOv8m的27.6%；AI-TOD上mAP@0.5为0.591、mAP@0.5:0.95为0.253、mAPs为0.246，优于FFCA-YOLO的0.550/0.225/0.217。消融研究小节表明，Base+Multi-branch较FFCA-YOLO在VEDAI mAP@0.5由67.5升至69.4，加Triplet Attention至70.2，全模型至71.7，mAP@0.5:0.95由39.6升至41.8；WFFM尺度权在P4级PAN节点对P2浅层均值0.584、P3中层0.230、P4深层0.186，标准差非0证实场景自适应。

讨论部分总结，增益源于三组件互补：P2多分支保细粒度、双分支Triplet Attention抑方向背景、WFFM按图学尺度权；局限在于依赖YOLOv5/FFCA范式、仅验光学VEDAI/AI-TOD、全局平均池化对极稀疏目标空间上下文捕捉有限、双分支TA针对航拍方向纹理定制。结论部分译文如下：本文提出WFFM-TA-YOLO轻量检测器用于遥感小目标检测，所提WFFM将P2感知多分支融合与自适应尺度加权结合以保留高分辨率线索并动态平衡多尺度特征，双分支Triplet Attention以可忽略开销抑制浅层融合输出的方向性背景纹理；VEDAI与AI-TOD实验较FFCA-YOLO基线一致增益，消融证实各组件互补贡献；未来工作包括将WFFM扩展至Transformer骨干及在多光谱与SAR影像验证。论文发表于《Array》。