基于改进孪生网络的抗椒盐噪声无人机视频目标跟踪方法

为解决无人机监控视频中椒盐噪声(s&p noise)导致跟踪性能下降的问题，研究人员提出一种结合降噪模块的改进孪生网络(Siamese network)跟踪框架。该研究通过自适应中值滤波层与DnCNN构建视频质量增强器，在DTB70数据集上验证了其在高噪声水平下的稳定跟踪能力，为复杂噪声环境下的目标跟踪提供了新思路。

　　

在无人机(UAV)监控领域，目标跟踪技术是智能视频分析的核心，但实际应用中，恶劣天气、设备故障等因素常导致视频出现椒盐噪声(salt-and-pepper noise)。这种噪声会使像素值突变为极值（0或255），严重干扰特征提取，导致传统跟踪算法失效。尽管现有研究在精度和鲁棒性上取得进展，却鲜少关注噪声环境下的跟踪稳定性。更棘手的是，当前针对高斯噪声的解决方案对椒盐噪声束手无策——后者具有非线性特性，常规滤波方法在噪声水平较高时会破坏图像结构。

针对这一技术空白，中国的研究团队在《Signal Processing: Image Communication》发表论文，提出了一种创新解决方案。他们以抗干扰能力强的DaSiamRPN跟踪器为基线，首次将简化版自适应中值滤波层与DnCNN结合，构建了端到端的噪声抑制模块。该模块能动态识别并修复噪声像素，同时保留图像细节。研究还创建了含椒盐噪声的DTB70测试数据集，实验表明新方法在70%噪声水平下仍保持稳定跟踪，为复杂环境下的无人机监控提供了可靠技术支撑。

关键技术包括：1) 将自适应中值滤波转化为神经网络层；2) 采用四维张量运算加速降噪模块训练；3) 基于Siamese网络的双路特征提取；4) 区域建议网络(RPN)生成候选框。

Robust tracking survey
通过分析VOT2019等基准数据集，指出现有跟踪算法在噪声干扰下的性能缺陷，为后续改进提供方向。

Overall structure
提出的框架包含噪声抑制模块和跟踪模块：前者通过改进的DnCNN处理输入帧，后者利用Siamese网络提取特征并通过RPN定位目标，形成完整处理流程。

The performance comparison of our denoising module
在添加10%-70%椒盐噪声的VOT2019数据集上测试，显示新方法比单一DnCNN模型PSNR值提升2-4dB，且无需针对不同噪声水平单独训练。

Conclusion
研究证实，结合自适应中值滤波的深度学习框架能有效抵抗椒盐噪声。该方法突破了传统算法在高噪声下的性能瓶颈，其四维张量运算设计显著提升了处理效率。

这项工作的意义在于：首次系统研究了椒盐噪声对跟踪的影响机制；提出的混合架构为复杂噪声环境下的实时跟踪提供了新范式；开源的噪声DTB70数据集填补了该领域研究空白。论文中Xin Lu等作者强调，该方法可扩展至其他脉冲噪声处理，为无人机在极端环境下的应用铺平道路。