前UHW团队成员:一种U形混合变压器,结合基于小波的多尺度特征融合技术,用于夜间无人机跟踪
《Signal Processing: Image Communication》:UHW-former: U-shape hybrid transformer with wavelet-based multi-scale feature fusion for nighttime UAV tracking
【字体:
大
中
小
】
时间:2026年01月19日
来源:Signal Processing: Image Communication 3.4
编辑推荐:
夜间无人机跟踪中复杂噪声导致算法性能下降,本文提出U-shaped Plug-and-Play去噪网络,结合CNN-Transformer混合注意力机制和波let多尺度特征融合模块,有效抑制低光照图像噪声,提升跟踪精度。
王海军|曲浩宇|齐丽华|苏志豪
山东航空大学航空信息技术研发中心,中国滨州
摘要
大多数无人机(UAV)跟踪技术的进步都集中在光照条件最佳的日间场景。然而,相机系统中固有的不可预测和复杂的噪声严重影响了UAV跟踪算法的效率,尤其是在低光环境下。为了解决这一挑战,我们提出了一种新型的U形即插即用去噪网络,该网络能够减少杂乱且复杂的真实世界噪声,从而提升夜间UAV跟踪性能。具体而言,U形去噪网络使用CNN-Transformer模块作为编码器,该模块结合了混合注意力机制,同时捕捉局部细节和全局结构。此外,为了进一步提高去噪效果,我们设计了一种基于小波的多尺度特征融合模块,该模块能够自适应地整合编码过程中的各种特征。最后,我们开发了一个多特征协作解码器,通过多头转置交叉注意力机制全面整合各种特征。大量实验表明,所提出的UHW-former在去噪性能上表现出色,并显著提升了夜间UAV跟踪效果。
引言
视觉目标跟踪在航空机器人领域受到了越来越多的关注,特别是在航空摄影[1]、目标跟踪[2]和UAV定位[3]等应用中。给定目标物体在第一帧中的初始状态,UAV跟踪器旨在每次无人机获取新图像时预测物体的位置和大小。到目前为止,大多数最先进的(SOTA)跟踪器[4]、[5]、[6]、[7]主要关注光照条件良好的场景,在这种环境下实现了令人印象深刻的跟踪性能。然而,在实际的UAV应用中,视觉系统需要在各种环境条件下保持强大的性能。最近的研究表明,许多SOTA跟踪器[8]、[9]、[10]、[11]在低光条件下难以保持其有效性。因此,UAV应用的扩展受到了夜间不稳定跟踪性能的严重限制。特别是在低光环境下,机载相机捕获的图像中不可避免存在的随机噪声会干扰跟踪算法,导致精度下降。因此,解决这些与噪声相关的问题对于有效的夜间UAV跟踪至关重要。然而,到目前为止,很少有跟踪算法[12]、[13]、[14]充分考虑了干扰噪声的影响。
最近的研究表明,视觉目标跟踪的性能在很大程度上取决于特征提取的质量。孪生UAV跟踪器[15]、[16]、[17]在白天使用两个相同的骨干网络从模板和搜索块中提取强大的特征信息,从而获得满意的跟踪结果。然而,当夜幕降临时,机载相机捕获的噪声图像会严重干扰孪生UAV跟踪器的特征提取,导致跟踪性能急剧下降。为了减轻光线不足的负面影响,通常在UAV跟踪器之前使用低光增强方法[18]、[19]、[20]作为预处理步骤。虽然这些增强方法可以提高亮度和对比度,从而改善特征提取效果,但它们也会无意中增加噪声水平。因此,在增强后从图像特征中去除噪声对于优化跟踪算法的性能至关重要。
去噪的目的是从数字传感器捕获的受损输入中恢复清晰图像,在确保先进计算机视觉任务的可靠性方面发挥着关键作用。传统的去噪方法严重依赖于预先假设的噪声分布,这往往导致性能不佳,因为这些假设可能无法准确反映真实世界UAV跟踪场景中遇到的噪声特性。近年来,数据驱动的深度学习去噪方法[21]、[22]、[23]取得了显著进展,大大提升了去噪性能。卷积神经网络(CNN)的快速发展和变压器的引入进一步推动了基于深度学习的去噪效果,使其在各种场景中具有强大的泛化能力。在当前架构中,U-Net模型[24]、[25]、[26]——具有对称的编码器-解码器结构——已成为图像去噪的首选方案,无论是基于CNN还是变压器。尽管取得了成功,基于CNN的方法仍然面临挑战,因为它们的感受野有限,这限制了它们有效处理复杂图像噪声的能力。相比之下,变压器在捕捉长距离依赖关系方面表现出色,但在存在不可预测噪声的情况下,其去噪性能仍然不理想,尤其是在夜间条件下。
如前所述,复杂的、不可预测的真实世界噪声严重影响了UAV跟踪器在低光条件下的跟踪性能。这项以任务为导向的研究旨在通过减轻随机和混沌噪声的负面影响来提升此类环境下的UAV跟踪能力。为此,我们提出了一种新型的U形即插即用去噪网络,用于恢复噪声图像,从而提高UAV跟踪性能。为了充分利用多层次特征信息,我们引入了一种基于小波的分层特征融合单元(HFFU),以替代传统的跳跃连接,实现更有效的图像去噪。此外,我们还开发了一个混合注意力模块,同时捕捉长距离依赖关系和局部纹理细节。本工作的关键贡献总结如下。
- •
我们提出了一种新型的U形去噪网络,该网络整合了多层次特征信息以恢复噪声图像并提升夜间UAV跟踪性能。我们提出方法的工作流程如图1所示。
- •
我们设计了一个混合注意力模块,通过Transformer分支和CNN分支分别捕捉全局和局部上下文信息,用于图像去噪。
- •
我们提出了一种基于小波的分层特征融合单元,用于合并不同尺度和深度的密集特征。这一操作确保我们的模型生成适合UAV跟踪的高质量图像。
- •
全面的实验结果表明,我们提出的UHW-former跟踪器能够通过调整不同的增强器和跟踪器来提升夜间UAV跟踪性能。实际测试验证了其可行性和有效性。
部分摘录
UAV目标跟踪
在UAV目标跟踪领域,主流算法可以大致分为三类:基于DCF的跟踪器[27]、[28]、[29]、[30],基于孪生网络(SN)的跟踪器[31]、[32]、[33],以及基于视觉Transformer(ViT)的跟踪方法[8]、[35]、[36]、[37]。基于DCF的跟踪器因其高计算效率而被广泛采用,因为它们利用快速傅里叶变换(FFT)在频域中进行相关运算,同时使用轻量级的手工设计。
提出方法
在本节中,我们首先描述了所提出的UHW-former的整体结构。之后,我们将详细阐述每个模块的细节。
实验
在本节中,为了评估我们提出的UHW-former的性能和泛化能力,我们在两个著名的低光UAV跟踪基准测试集UAVDark135 [65]和DarkTrack2021 [43]上进行了大量实验。进行了消融研究以说明UHW-former中各组件的有效性。最后,进行了实际测试以验证所提出方法的适用性。
结论
在这项工作中,我们提出了一种新型的U形即插即用去噪网络,旨在减轻真实世界噪声对UAV跟踪的不利影响,尤其是在夜间。通过基于小波的分层特征融合模块,有效合并了不同尺度和深度的多层次特征。引入了混合注意力模块,通过Transformer分支和CNN分支分别捕捉全局和局部上下文信息,用于图像去噪。
CRediT作者贡献声明
王海军:撰写 – 审稿与编辑,撰写 – 原始草案,监督,方法论,资金获取,概念化。曲浩宇:撰写 – 审稿与编辑,可视化,验证,调查。齐丽华:撰写 – 原始草案,可视化,验证。苏志豪:撰写 – 审稿与编辑,撰写 – 原始草案,可视化。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号