# 一、专业标题 **面向夜间低照度无人机目标检测的红外可见光跨模态净化对齐与多尺度融合注意力增强网络（IV-PAFNet）**

《PLOS One》：IV-PAFNet: Infrared-visible cross-modal alignment and fusion network for nighttime UAV object detection

　　

# 三、摘要专业翻译

夜间无人机（UAV）目标检测面临可见光纹理退化、红外热响应杂乱以及红外与可见光图像间局部空间差异等挑战。为解决上述问题，研究人员提出 IV-PAFNet，一种面向夜间与低能见度条件下目标检测的红外-可见光净化、对齐与融合网络。IV-PAFNet 由两个主要组件构成。红外信号净化与空间对齐模块（infrared signal purification and spatial alignment module，ISA）采用可学习高通滤波（learnable high-pass filtering）与门控残差融合（gated residual fusion）以提纯红外响应，随后通过可见光引导的偏移预测（visible-guided offset prediction）与可微重采样（differentiable resampling）以缓解局部跨模态空间差异。多尺度融合注意力增强模块（multi-scale fusion attention enhancement module，MSFA）在多个特征金字塔层级上执行通道级模态重校准（channel-wise modality recalibration）与空间可靠性加权（spatial reliability weighting），使网络能够依据局部成像条件自适应调整各模态的贡献。在用于训练的 DroneVehicle 数据集与用于泛化的 Camera-vehicle1 数据集上，IV-PAFNet 分别取得 62.81% mAP@0.5:0.95 与 51.4% mAP@0.5:0.95。额外的对照实验考察了红外净化、可见光引导对齐、通道重校准与空间可靠性建模各自的作用，同时通过统计与计算分析刻画了多次运行间的波动与推理开销。代码已开源于 https://github.com/iv-pafnet/IV-PAFNet。

# 四、论文主体解读

## 研究背景与问题提出

无人机（unmanned aerial vehicle，UAV）凭借高机动性、低部署成本与广观测范围，已广泛应用于安检巡查、交通监控与应急救援等场景，目标检测则是无人机视觉感知的基础任务。近年来 DINO、Co-DETR、RT-DETR 等检测器持续提升检测性能，QETR 及面向遥感小目标的各种特征对齐与多尺度建模方法也进一步增强了复杂背景下的检测能力；VisDrone 数据集与基于 DroneVehicle 的相关研究同样推动了复杂航拍图像及红外-可见光无人机场景下目标检测的发展。然而在夜间或极低照度条件下，可见光图像易出现噪声、局部过曝与大面积阴影，显著削弱车辆、行人等小目标的纹理与边缘。红外热成像不依赖外部光照，可提供相对稳定的目标轮廓，是夜间感知的重要互补模态；置信度感知融合、C²Former 与 DAMSDet 等方法已表明红外-可见光互补建模可提升复杂光照下的检测鲁棒性。但红外模态本身亦存在低频热背景与孤立热斑问题，若直接拼接双模态特征，虚假热响应会被同步放大。除模态特有噪声外，跨模态空间差异是双模态无人机检测的另一瓶颈：现有方法常假设两模态完全对齐，而实际飞行中传感器基线、平台振动与姿态变化会导致对应目标出现局部偏移，不当对齐将引起特征重影与定位漂移，可学习采样则提供了自适应跨模态交互的机制。此外，受照区域可能更依赖可见光纹理，阴影区域则更依赖红外轮廓，因而需要区域级的动态融合策略。针对上述问题，研究人员提出红外-可见光跨模态净化、对齐与融合网络 IV-PAFNet，将跨模态交互分解为红外提纯与可见光引导重采样两部分，先经 ISA 模块处理，再由 MSFA 模块完成多尺度自适应融合，而非采用直接拼接或固定权重的粗粒度策略。

## 主要关键技术方法

研究人员采用两条主线技术：一是 ISA 模块，引入可学习高通滤波（以拉普拉斯核初始化并端到端优化）、自适应热响应门控、基于可见光参考的偏移预测与双线性插值可微重采样，在不假定像素级精确配准的前提下抑制冗余热响应并缓解局部跨模态差异；二是 MSFA 模块，在特征金字塔各层级依次执行全局平均池化与瓶颈多层感知机驱动的通道级模态重校准、以及 1×1 卷积加 softmax 的空间级可靠性选择，实现双权重融合，并以包含分类损失、基础边界框回归损失与广义交并比（generalized intersection over union，GIoU）损失的加权多任务联合损失端到端联合优化。实验在 DroneVehicle（28,439 对无人机视角红外-可见光图像，五类车辆，官方划分为 17,990/1,469/8,980 对训练/验证/测试）与自建的 Camera-vehicle1（12,483 对地面相机采集图像，作为跨场景泛化基准，训练后不作目标域微调）上进行，基于 PyTorch 实现，采用 AdamW 优化器、余弦退火学习率调度、指数滑动平均与自动混合精度，训练 73 个 epoch，批大小为 8。

## 研究结果

**数据集与标注协议**：以 DroneVehicle 与 Camera-vehicle1 为主要基准；由于对比检测器输出水平边界框，原始定向标注被转换为最小外接水平矩形用于训练与评估；Camera-vehicle1 用于评估视角与背景分布变化下的泛化性。

**实现细节与评价指标**：输入可见光-红外图像对缩放至 640×512；评价指标包括精确率、召回率、F₁ 分数、IoU 阈值 0.5 至 0.95 平均的 mAP@0.5:0.95 与 mAP@0.5；MMPedestron 与 IV-PAFNet 报告种子 42、43、44 三次运行的均值±样本标准差，其余指标与组件消融报告在 IV-PAFNet mAP@0.5 最高的种子 43 上。

**与代表性方法对比**：对比对象涵盖 ATSS、YOLOv7、YOLOv8、YOLOv12 等 CNN 检测器，Deformable DETR、RT-DETR、DINO、Co-DETR 与多模态检测器 MMPedestron 等 Transformer 检测器，以及 VMamba、Mamba-YOLO、AMSRDet 等 Mamba 检测器，单模态方法输入 6 通道早期融合图像。结果表明 IV-PAFNet 在 DroneVehicle 上取得 88.50% 精确率、81.40% 召回率、84.80% F₁ 分数、62.81±0.70% mAP@0.5:0.95 与 85.64% mAP@0.5，相较 MMPedestron 的 mAP@0.5:0.95 均值提升 0.80 个百分点、mAP@0.5 提升 1.44 个百分点；在 Camera-vehicle1 无目标域微调条件下取得 51.4% mAP@0.5:0.95，高于 MMPedestron 的 48.2%，差距 3.2 个百分点。

**统计分析**：MMPedestron 与 IV-PAFNet 各以三个随机种子训练三次，基线为 62.01±0.84%，IV-PAFNet 为 62.81±0.70%，在全部三个种子上均优于基线，均值提升 0.80 个百分点，标准差量化了剩余的运行间波动。

**细粒度组件消融**：ISA 消融显示仅净化与仅对齐变体单独使用时效果有限，完整 ISA 取得最高的 mAP@0.5:0.95，其 mAP@0.5 为 84.18%，低于完整 IV-PAFNet 的 85.64%，说明净化与对齐按序组合更为有效，该结果为下游任务层面的互补性证据，而非对齐质量的直接几何度量。MSFA 消融显示仅空间变体达 62.00% mAP@0.5:0.95，仅通道变体低于 MMPedestron；完整 MSFA 取得 62.00% mAP@0.5:0.95 与 85.50% mAP@0.5，其 mAP@0.5 较基线高 1.30 个百分点但仍低于完整 IV-PAFNet 0.14 个百分点，结果不支持通道重校准可独立提升每一项指标的论断。

**参数敏感性分析**：通道压缩比 r 过小则描述符表达能力不足，过大则引入冗余参数，r=16 时 mAP 达 62.81% 的最优平衡；几何损失权重在 [1.0, 3.0] 内以 0.5 为步长扫描，过大过约束几何误差、损害分类优化，过小则削弱定位精度，最终采用 2.5。

**计算复杂度分析**：批大小为 1、输入为配对 640×512 图像时，IV-PAFNet 参数量由 43 M 增至 52 M，FLOPs 由 125 G 增至 154 G，峰值推理显存由 3.4 GiB 增至 3.8 GiB，吞吐量由 26 FPS 降至 23 FPS，对应时延 38.46 ms 与 43.48 ms（含前向传播与模型特定后处理，不含图像加载、磁盘 I/O 与可视化），额外开销主要来自红外净化、偏移预测、可微重采样与多尺度注意力，属于适度计算折中而非轻量化设计。

## 讨论与结论

讨论部分指出，完整模型在 DroneVehicle 与 Camera-vehicle1 上均具竞争力，组件消融澄清了 ISA 与 MSFA 的贡献方式：ISA 呈现顺序互补性，红外提纯与可见光引导重采样联合应用最为有效；MSFA 中空间可靠性建模较单独通道重校准贡献更稳定，两个注意力分支并非独立提升每一项指标，其贡献取决于与完整架构的交互。统计分析与效率分析表明 IV-PAFNet 在三个随机种子上均优于基线，但伴随吞吐量下降。两项基准分别对应无人机车辆场景与跨场景测试，共同评估视角与背景分布变化。作者亦指出局限性：需在更多平台、传感器响应、区域、类别与天气条件的多光谱无人机数据集上进一步刻画迁移性；模型假设红外-可见光输入对同步，传感器缺失、大同步误差、标定变化与热交叉情形下的行为尚待研究；ISA 目前仅通过下游检测指标评估，可结合受控空间扰动与对应性指标量化残余配准误差与可校正位移范围；三种子实验仅反映所报训练设置下的波动，需更多初始化、数据划分与外部数据集细化差异估计；23 FPS 仅为模型推理且不含图像加载与可视化，端到端机载性能应在目标无人机平台上实测。未来工作将评估缺失或损坏模态、在受控偏移下量化对齐质量，并研究轻量化设计与机载部署。

结论翻译：研究人员提出面向无人机采集图像的夜间红外-可见光无人机目标检测方法 IV-PAFNet。ISA 将可学习红外响应提纯与可见光引导重采样相结合，MSFA 则在特征金字塔上强调通道与空间模态加权。在所发布的 73 个 epoch 配置下，IV-PAFNet 在 DroneVehicle 上三个种子取得 62.81±0.70% mAP@0.5:0.95，最佳种子 43 运行取得 85.64% mAP@0.5，并在 Camera-vehicle1 上取得 51.4% mAP@0.5:0.95。组件级实验表明，红外净化与对齐联合使用时最为有效，空间可靠性建模与通道重校准相结合亦能产生有效结果。计算分析表明该方法带来适度的开销增加。未来工作将聚焦于直接的对齐质量评估与轻量化多模态交互，以提升跨场景鲁棒性。