面向复杂场景无人机目标识别的几何感知全局-局部路由Transformer与查询可靠性图模型研究

《Sensors》：AeroGRT: Geometry-Aware Global–Local Routing Transformer with Query-Reliability Graphs for UAV Object Recognition in Complex Scenes

　　

专业术语翻译摘要 无人机视觉感知在智能交通监控、基础设施巡检、应急响应和低空监视中日益重要。然而，在目标体积小、分布密集、纹理弱、部分遮挡或与背景视觉相似的复杂场景中，可靠的目标定位仍然具有挑战性。受基于注意力的特征融合和AnisoNet的路由注意力设计启发，本文提出AeroGRT，一种集成全局-局部特征编码和查询可靠性图注意力（Query-Reliability Graph Attention）的框架，用于复杂场景下的无人机视觉感知。该框架结合了基于CNN的局部编码器、基于Transformer的全局编码器、自适应全局优化模块、前景-背景融合注意力模块、跨轴边界注意力（Cross-Axis Boundary Attention）机制、查询可靠性图注意力模块以及尺度-高度路由检测头（Scale–Altitude Routing Detection Head）。该架构旨在集成局部空间细节与长程语义上下文，保留目标边界信息，并减少前景目标与背景杂波之间不可靠的查询-键关联。AeroGRT在GOT-10k和TrackingNet上进行了目标跟踪评估，在VisDrone和TinyPerson上进行了小目标检测评估，采用任务特定的协议和指标。这些评估考察了在遮挡、形变、低对比度、背景杂波和远距离观测条件下的性能。本研究探讨了局部细节、全局上下文、边界线索和查询可靠性的联合建模，以实现复杂环境下准确的无人机目标定位。

论文解读文章

一、研究背景与问题

无人机平台为交通监控、道路基础设施巡检、城市安防、农业监测和应急救援提供了灵活的低空感知、广域空间覆盖和快速部署能力。VisDrone、UAVDT和UAV123等公开无人机基准数据集使得在真实无人机视角、密集交通场景、运动模糊、尺度变化和严重背景杂波条件下评估检测与跟踪算法成为可能。与固定监控摄像头或地面车辆相比，无人机影像引入了更强的尺度不稳定性、更大的视角变化和更频繁的小目标条件。这些特性使无人机图像识别成为连接目标检测、单目标跟踪、多目标跟踪、语义感知和边缘计算部署的具有挑战性的研究问题。

尽管深度目标检测器的发展显著提升了图像识别精度，基于区域的检测方法引入了候选区域推理和高质量定位，以YOLO系列为代表的单阶段检测器推进了实时识别应用，DETR风格的检测器和实时检测Transformer改进了长程依赖建模和基于集合的预测。然而，无人机场景中目标尺寸、目标密度、视角和背景纹理同时变化，在地面图像中表现良好的检测器可能因目标仅占据少量像素、被植被或车辆部分遮挡、或嵌入阴影和纹理化道路中而失效。

Transformer模型凭借多头自注意力能够直接建立远距离视觉标记间的依赖关系而具有强大的全局建模能力。在视觉跟踪领域，TransT用基于自注意力的自我上下文增强模块和基于交叉注意力的交叉特征增强模块取代了基于相关的模板-搜索特征融合。这些发展推动了注意力驱动特征交互在无人机视觉感知中的研究。本研究聚焦于保留局部图像细节、表征目标边界以及抑制不可靠的前景-背景关联。裂缝监测研究探讨了地面和无人机影像中低对比度、几何不规则的道路缺陷，AnisoNet为各向异性裂缝检测提供了注意力和卷积设计的相关范例。此类研究促使在无人机图像特征表征开发中考虑目标几何信息，因为小目标或细长目标可能具有弱轮廓和有限的视觉细节。

二、研究内容与总体结论

研究人员提出AeroGRT，一种用于复杂场景无人机视觉感知的几何感知全局-局部路由Transformer与查询可靠性图框架。该框架整合了互补的全局-局部特征提取、共享全局表示的标量阶段加权、前景-背景特征融合、跨轴注意力、特征空间一致性掩码加权的查询-键关联，以及金字塔级路由检测头。在GOT-10k上，AeroGRT达到75.8%的平均重叠率（AO）、83.9%的SR0.5和73.1%的SR0.75，较消融基线提升12.4个百分点；在TrackingNet上达到87.4%的AUC、91.3%的归一化精度和87.6%的精度；在VisDrone和TinyPerson上分别较相应YOLOv8基线提升mAP50达2.8和1.1个百分点。边界敏感特征融合与特征一致性引导注意力的协同集成提供了一种几何感知机制，用于在遮挡、尺度变化和严重视觉杂波下保留细粒度目标表征并缓解不可靠的前景-背景关联。所提出的尺度-高度路由策略在不改变边界框几何的前提下自适应地在特征金字塔层级间重新分配检测置信度，为多尺度无人机目标感知提供了统一的架构基础。

三、关键技术方法

研究人员采用了以下主要关键技术方法：其一，互补特征提取模块，包含基于CNN的局部编码器提取多层级卷积特征图，以及基于Transformer的全局编码器通过补丁嵌入和自注意力建模场景级长程依赖。其二，全局优化模块，对全局特征图施加轴向自注意力（AxAttn），与重塑后的Transformer全局标记经自适应最大池化对齐后拼接，通过四个独立门控卷积经全局平均池化和Softmax产生阶段权重，对共享全局表示进行标量缩放。其三，融合注意力模块，通过拼接局部与对齐后的全局特征经1×1卷积和Sigmoid生成空间前景掩码，分别加权形成前景和背景特征分支，从阶段4到阶段1递归聚合，最终将两分支差值变换为输出表示。其四，跨轴注意力机制，对输入特征沿水平和垂直方向分别施加可学习线性变换，拼接后经1×1卷积融合，以融合序列作为键值源、原始序列作为查询执行多头注意力。其五，查询可靠性掩码注意力，通过Gumbel-Softmax松弛计算每个键的最强查询对应关系，基于查询特征与加权查询特征间的距离构造特征空间一致性掩码，并纳入查询到键的注意力计算。其六，尺度-高度路由检测头，对每个金字塔特征全局池化获得尺度描述符，与归一化高度元数据和高度可用性标志拼接后经两层MLP预测四个路由权重，仅调制联合检测置信度而不缩放边界框坐标。训练采用包含焦点损失、边界框回归损失和查询一致性正则化的多任务目标。

四、研究结果

消融实验：在GOT-10k上的消融结果显示，基线AO为63.4%，单独集成特征提取模块（IFENM）、跨轴注意力模块（CAM）和查询可靠性掩码注意力模块（RMA）的AO分别为72.9%、72.3%和69.5%，两两组合的AO介于72.8%至74.1%之间，完整组合达到最高AO 75.8%、SR0.5 83.9%和SR0.75 73.1%。与基线相比，AeroGRT在AO、SR0.5和SR0.75上分别提升12.3、9.1和21.5个百分点，配对双尾学生t检验显示三个指标均具有统计学显著性差异（p < 0.001）。AnisoNet的几何感知消融趋势显示，基线mAP@50为86.7%，逐步加入大核多尺度注意力（LKMSA）、多感受野扩张卷积（MRDC）和结构重参数化块（SRBlock）后分别达到89.2%、90.5%和91.8%，完整架构达到92.8%。

GOT-10k数据集跟踪结果：AeroGRT达到AO 75.8%、SR0.5 83.9%和SR0.75 73.1%，较SeqTrack分别提升1.0、2.0和0.9个百分点，推理速度为60.9 FPS。

TrackingNet数据集跟踪结果：AeroGRT达到AUC 87.4%、归一化精度91.3%和精度87.6%，较SeqTrack分别提升1.9、1.5和1.8个百分点。

VisDrone和TinyPerson小目标检测结果：在VisDrone上，AeroGRT较YOLOv8n + P2 + P3在mAP50和mAP50-95上分别提升2.8和1.4个百分点；在TinyPerson上较YOLOv8n + P2 + P3 + P4分别提升1.1和0.2个百分点；较YOLOv10n + P2 + P3 + P4 + P5在VisDrone上分别提升3.4和1.4个百分点。

可视化实验：在AG验证集随机采样的50个序列上，AeroGRT达到AO 0.8836、P20 87.56%和NP20 95.45%，较最强基线MixFormer分别提升AO 0.0783、P20 12.25个百分点和NP20 7.08个百分点，AO提升的95%置信区间为[0.043, 0.119]。在序列V161中，AeroGRT在第41帧和第61帧分别保持IoU 0.970和0.965，而基线方法出现漂移；在V130中，AeroGRT在第91帧以IoU 0.922成功定位小目标，三个基线均与真值零重叠。注意力图显示AeroGRT的高响应区域始终接近真值目标，与定位结果空间一致。在V034失败案例中，目标远去时AeroGRT在第41帧丢失目标，而MixFormer保持IoU 0.714，说明整体性能优势并不保证在所有挑战性序列上均可靠跟踪。

五、讨论与结论

实验结果表明，AeroGRT的不同组件从互补角度贡献了性能提升。在跟踪实验中，集成特征提取提供了最大的单项改进，表明全局-局部特征交互有利于处理外观变化和背景干扰；跨注意力通过保留边界和轮廓信息增强了定位精度；相关性掩码注意力减少了不可靠的查询-键关联。从AnisoNet引入的几何感知机制为涉及细长、弱纹理和低对比度目标的无人机识别任务提供了有用指导。全局-局部特征交互与几何自适应路由的结合使AeroGRT能够更好地处理高海拔视角、杂乱城市环境和基础设施监控场景等挑战性无人机场景。当前评估主要集中于基准性能，未来工作将解决校准评估、边缘部署延迟、功耗和代码可用性，并聚焦于更广泛的多数据集评估、计算效率优化以及无人机边缘计算平台上的实时部署。