基于多注意力特征金字塔与背景原型抑制的红外小目标跟踪增强孪生网络(Enhanced-SiamDT)

《Electronics》:Enhanced-SiamDT: An Attention-Driven Siamese Network with Multi-Scale Feature Fusion for Robust Infrared Small-Target Tracking

【字体: 大 中 小 】 时间:2026年09月21日 来源:Electronics 2.9

编辑推荐:

  摘要专业翻译 红外小目标跟踪是计算机视觉中一项基础但极具挑战性的任务,其原因在于目标尺寸极小、背景杂波严重以及信噪比低,这些因素常常导致跟踪漂移或目标完全丢失。作为该领域的代表性方法,SiamDT在具有挑战性的Anti-UAV410基准(一个大规模热红外数据集

  
摘要专业翻译 红外小目标跟踪是计算机视觉中一项基础但极具挑战性的任务,其原因在于目标尺寸极小、背景杂波严重以及信噪比低,这些因素常常导致跟踪漂移或目标完全丢失。作为该领域的代表性方法,SiamDT在具有挑战性的Anti-UAV410基准(一个大规模热红外数据集)上取得了令人瞩目的性能。然而,SiamDT仍存在三个关键局限:第一,其标准特征金字塔网络(Feature Pyramid Network, FPN)缺乏通道维度的选择性聚焦能力,导致目标相关通道被大量背景杂波通道淹没;第二,其固定感受野无法适应红外目标剧烈的尺度变化;第三,其空间域特征融合缺乏高频分量补偿,导致深层特征中判别性的边缘和轮廓细节严重丢失。为解决上述问题,研究人员提出了Enhanced-SiamDT,一个基于SiamDT框架的增强跟踪模型。研究人员的贡献有两个方面。第一,研究人员设计了一个多注意力特征金字塔网络(Multi-Attention Feature Pyramid Network, MA-FPN),该网络依次集成高效通道注意力(Efficient Channel Attention, ECA)、大选择性核(Large Selective Kernel, LSK)和小波域注意力(Wavelet Domain Attention, WDAM),实现通道维度的重新校准、自适应多尺度感受野选择和频域细节增强,从而抑制背景杂波并强化小目标特征表示。第二,在继承自SiamDT基线的双相似性学习架构基础上,研究人员引入了背景原型抑制策略(通过惩罚与背景原型高度相似的候选框来减少虚警)以及具有明确更新准则的保守模板更新机制(防止快速运动和短期遮挡下的模板漂移)。在Anti-UAV410和Anti-UAV基准上的大量实验表明,Enhanced-SiamDT取得了新的最先进性能,状态精度(State Accuracy, SA)分别达到68.58%和71.84%,精度(Precision)分别达到89.92%和92.71%。这些结果验证了研究人员的方法有效克服了现有孪生跟踪器的局限性,在红外小目标的判别性特征提取和跟踪鲁棒性方面带来了显著改进。

论文解读

一、研究背景与问题

红外小目标跟踪是红外搜索与跟踪(IRST)系统中的核心技术,在低空安防监控、边境巡逻和夜间侦察等领域具有不可替代的作用。与可见光成像不同,红外成像不依赖外部照明,能够在黑暗、雾天等恶劣条件下可靠获取目标。然而,在城市背景下,红外图像中的无人机目标呈现出典型的暗弱和小目标特征——像素占比极小、缺乏纹理、信噪比通常低于1,容易被密集建筑群、道路热辐射和植被遮挡产生的非均匀杂波所淹没。红外小目标跟踪的核心困境在于:目标信号在空间域和频率域均与城市背景杂波高度重叠,使得"特征学习"与"背景抑制"成为不可调和的矛盾——任何偏向一方的设计都不可避免地导致跟踪漂移或目标丢失。
早期的红外小目标跟踪主要采用模型驱动方法,如卡尔曼滤波器(KF)及其非线性扩展(EKF、UKF)、粒子滤波器(PF)、联合概率数据关联(JPDA)、多假设跟踪(MHT)以及基于随机有限集(RFS)的方法等。这些方法的根本局限不在于工程实现,而在于认识论层面——它们本质上依赖对目标运动和观测模型的先验假设(线性、高斯性等),这些假设在复杂城市场景中不可避免地遭到违背。更关键的是,它们依赖手工设计的浅层特征(强度、HOG等),而红外小目标几乎不具备纹理信息——特征空间本身缺乏足够的判别力。
相关滤波器的引入试图在不改变特征空间的前提下提高计算效率和尺度适应性,但其本质仍是通过循环移位构建训练样本,特征表示仍依赖手工设计,仅解决了"计算效率"问题,未触及"判别力不足"的根本问题。深度学习时代到来后,孪生网络将跟踪建模为模板与搜索区域之间的相似性匹配问题,实现了端到端的特征学习。然而,通用孪生网络在红外场景中的失败并非工程适配不足,而是"相似性度量范式"与"数据分布"之间的根本错配——当模板目标仅包含几十个像素时,其提供的判别信息极为有限,匹配响应容易被背景中任何强度相似的区域污染。Transformer架构通过自注意力机制实现全局上下文建模,但在红外小目标场景中,其优势不仅无法发挥,反而成为性能负担——有效token极为稀疏时,注意力权重被大量背景token稀释,产生"注意力稀释"效应。
在专用跟踪方法层面,Huang等人提出了SiamDT并构建了Anti-UAV410基准,取得了66.76%的SA和86.40%的Precision。然而,SiamDT仍存在三个关键局限:标准FPN缺乏通道选择性聚焦、固定感受野无法适应尺度剧变、空间域特征融合缺乏高频分量补偿。正是基于这一认识,研究人员提出了Enhanced-SiamDT。

二、研究内容与主要结论

研究人员提出了Enhanced-SiamDT,一个基于SiamDT框架的增强跟踪模型,其贡献包括两个方面:一是设计了多注意力特征金字塔网络(MA-FPN),将高效通道注意力(ECA)、大选择性核(LSK)和小波域注意力(WDAM)三个互补的注意力模块级联集成,实现从"通道重校准"经"空间感受野自适应"到"频域细节增强"的渐进式特征细化流程;二是在继承SiamDT基线双相似性学习架构的基础上,引入背景原型抑制策略和保守模板更新机制,分别减少复杂背景下的虚警和抑制快速运动或遮挡下的模板漂移。
在Anti-UAV410基准上,Enhanced-SiamDT取得了68.58%的SA和89.92%的Precision,分别超越基线SiamDT 1.82和3.52个百分点,并在全部六个挑战属性上取得最佳性能。在Anti-UAV基准上,SA和Precision分别达到71.84%和92.71%。这些结果验证了该方法在复杂城市场景中红外小目标跟踪的有效性和鲁棒性。

三、关键技术方法

研究人员采用的主要技术方法包括:(1)基于Swin Transformer骨干的孪生网络架构,模板分支和搜索分支共享权重;(2)多注意力特征金字塔网络(MA-FPN),在标准FPN基础上级联嵌入ECA(通过一维卷积实现无降维的通道注意力)、LSK(通过多分支大核深度可分离卷积实现自适应多尺度感受野选择)和WDAM(通过Haar小波离散小波变换分解高低频分量,分别增强后重构)三个注意力模块;(3)双相似性学习模块,在RPN阶段通过模板RoI特征压缩为查询向量与搜索特征做深度互相关增强,在RCNN阶段通过模板与搜索RoI特征的逐元素相乘实现融合;(4)背景原型抑制策略,利用第一帧中与真值框IoU为0的候选框构建背景原型,在后续帧中对与背景原型相似度高的候选框施加惩罚;(5)保守模板更新机制,仅当当前检测框与模板RoI特征的相似度和置信度同时满足明确条件时才进行模板更新。模型在Anti-UAV410训练集上训练12个epoch,使用SGD优化器,初始学习率0.001,模板和搜索图像尺寸分别为127×127和255×255。

四、研究结果

4.1 数据集与评估指标。 研究在Anti-UAV和Anti-UAV410两个基准数据集上评估模型。Anti-UAV410包含410个视频序列、超过40万帧,其中200个用于训练、90个用于验证、120个用于测试,涵盖森林、山区、湖泊和城市等多样复杂环境,并标注了六个挑战属性:热交叉(TC)、尺度变化(SV)、遮挡(OC)、出视野(OV)、动态背景杂波(DBC)和快速运动(FM)。评估采用One-Pass Evaluation(OPE)协议,使用状态精度(SA)、成功率(Success)和精度(Precision,PR@20px)三个指标。
4.2 总体性能对比。 在Anti-UAV410测试集上,Enhanced-SiamDT取得了68.58%的SA和89.92%的Precision,超越所有对比方法。相比基线SiamDT,SA提升1.82个百分点,Precision提升3.52个百分点。相比SiamDiff(67.03% SA)和FocusTrack(63.9% SA),SA分别高出1.55和4.68个百分点。相比Transformer-based的AiATrack(59.00% SA)和Stark-ST101(56.29% SA),SA分别高出9.58和12.29个百分点。
4.3 复杂场景属性分析。 在六个挑战属性子集上,Enhanced-SiamDT均优于基线,其中在最具挑战性的热交叉和动态背景杂波子集上提升最为显著,分别达到1.3%和2.2%。在Anti-UAV数据集上,Enhanced-SiamDT在Precision和SA两项指标上均优于ATOM、ROAM、TransT、AiATrack和SiamDT等对比方法。
4.4 可视化结果。 在四个挑战性序列的定性对比中,Enhanced-SiamDT在目标消失重现、快速机动、复杂场景小目标跟踪等情况下均保持稳定跟踪,而多数对比算法在不同帧出现跟踪偏移或完全丢失。逐序列SA对比进一步验证了Enhanced-SiamDT在120个Anti-UAV410测试序列和85个Anti-UAV测试序列上的全面优势。
4.5 消融研究。 单独添加ECA带来0.51个百分点的SA稳定提升;单独添加LSK使Precision提升0.43个百分点但SA下降0.59个百分点;单独添加WDAM导致SA下降1.33个百分点。ECA+LSK组合将Precision提升至88.09%(+1.69 pp)和SA提升至67.57%(+0.81 pp),而ECA+WDAM(65.67% SA)和LSK+WDAM(65.75% SA)均低于基线。按ECA→LSK→WDAM顺序组合的完整MA-FPN实现68.46%的SA(+1.70 pp)和88.91%的Precision(+2.51 pp),优于所有部分组合。进一步加入背景原型抑制和保守模板更新后,SA提升至68.58%,Precision提升至89.92%。特征图可视化显示,随着注意力模块的逐步引入,模型对目标的关注呈现从分散到集中、从粗粒度到细粒度的演化趋势。

五、讨论与结论

讨论部分总结。 在总体性能分析中,Enhanced-SiamDT通过MA-FPN中级联集成的ECA、LSK和WDAM三个模块的协同作用,有效克服了红外小目标跟踪中特征判别力不足的问题。与Transformer-based跟踪器相比,MA-FPN通过WDAM在频域显式增强判别性边缘特征,从根本上避免了token层面的信息稀释问题。与SiamDiff和FocusTrack相比,MA-FPN中的频域细节增强(WDAM)和通道重校准(ECA)机制在定位精度和主动抗干扰能力方面均有所贡献。在推理速度方面,Enhanced-SiamDT达到5.56 FPS,比基线SiamDT(7.86 FPS)低约29.2%,但考虑到反无人机跟踪任务通常部署在中低空监视场景,实时性要求(通常5-10 FPS)并非极为严苛,且跟踪失败可能导致目标丢失甚至更严重后果,在现有技术条件下优先保证鲁棒性具有更大的工程意义。局限性方面,在目标与背景热源完全融合、长时间严重遮挡或快速相机运动导致的严重运动模糊等极端条件下,Enhanced-SiamDT仍可能出现轻微跟踪偏移或目标重现时的延迟响应;当目标尺寸极小(<15像素)且背景存在大量相似热源时,跟踪框仍存在一定抖动。未来工作方向包括:通过知识蒸馏和神经架构搜索实现模型轻量化与加速;引入时序Transformer或循环网络增强时间建模能力;将MA-FPN扩展为多模态融合框架;在更多红外基准(如Anti-UAV600)和可见光数据集(如LaSOT)上验证泛化能力。
结论翻译。 本文提出Enhanced-SiamDT以解决复杂背景干扰下红外小目标跟踪的关键问题。该模型建立在继承自SiamDT基线的双相似性学习架构之上,并引入两项关键改进:(1)多注意力特征金字塔网络(MA-FPN),在特征提取阶段增强多尺度特征表示;(2)背景原型抑制策略和保守模板更新机制,分别减少虚警和防止模板漂移。在特征提取阶段,MA-FPN依次集成高效通道注意力(ECA)、大选择性核(LSK)和小波域注意力(WDAM),逐步增强目标的多尺度特征表示,同时抑制相似热源、边缘结构和背景杂波的干扰。在相似性匹配阶段,在继承自SiamDT基线的双相似性学习模块基础上,进一步引入背景原型抑制策略(惩罚与背景原型高度相似的候选框以减少虚警)和具有明确更新准则的保守模板更新机制(防止快速运动或短期遮挡下的模板漂移)。这两个策略与双相似性学习模块协同工作,在RPN和RCNN两个层面强化模板与搜索区域之间的特征对齐,使模型能够在快速运动或短期遮挡下保持稳定响应。Enhanced-SiamDT在Anti-UAV410数据集上取得了最先进的性能,状态精度(SA)达68.58%,精度(Precision)达89.92%,显著优于基线SiamDT和多个主流跟踪器,验证了其在红外小目标跟踪中的优越性能。未来工作将进一步探索轻量级网络设计和多模态信息融合,以增强复杂场景下的跟踪鲁棒性。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号