一种基于循环重建交换训练机制的自监督红外图像去噪方法

《The Knee》：A self-supervised infrared image denoising method based on cycle reconstruction swapping training mechanism

自监督红外图像去噪方法研究提出循环重建交换训练机制（CRST）和噪声去除网络（NRNet），通过级联交叉融合Transformer网络（CCFTNet）捕捉多尺度特征，结合Stone-Weierstrass基动态自适应激活函数（SWDA），有效分离图像内容与噪声。

　　红外图像去噪是图像处理领域的重要研究方向之一，其应用广泛涵盖工业检测、遥感监测、军事侦察等多个场景。红外成像技术以其独特的成像特性，如强穿透力、非接触式测量等，为许多实际应用提供了重要的支持。然而，红外图像通常受到环境干扰和传感器热效应等因素的影响，导致图像中存在不同程度的噪声。这些噪声不仅影响图像的视觉质量，还可能对后续的图像处理任务，如目标检测和图像分割等，产生负面影响。因此，如何有效地去除红外图像中的噪声，提升图像的清晰度和可用性，成为当前研究的热点。

传统的图像去噪方法大致可以分为基于滤波的方法和基于模型的方法。基于滤波的方法通常通过对像素值进行直接操作来去除噪声，例如均值滤波、维纳滤波、高斯滤波和引导滤波等。这些方法虽然实现简单，但在去除噪声的同时，往往难以保留图像中的细节信息和边缘结构，容易导致图像模糊或信息丢失。相比之下，基于模型的方法通过数学建模的方式对图像和噪声进行处理，例如小波变换、偏微分方程、稀疏表示和全变分等方法。这类方法在保留图像结构信息方面表现更优，但在面对复杂噪声分布时，其性能可能受到特定假设或先验知识的限制。

随着深度学习技术的迅速发展，图像去噪领域取得了显著进展。深度学习方法通过学习图像的深层特征，能够更有效地捕捉和处理图像中的复杂信息。其中，去噪卷积神经网络（DnCNN）是早期的代表性成果之一，它通过卷积层的堆叠实现了对噪声的盲去噪，即无需依赖噪声的先验知识。DnCNN的成功促使了后续许多研究的出现，如改进的网络结构、更高效的训练策略等。然而，由于多层卷积结构的限制，DnCNN在捕捉全局上下文信息方面存在不足，可能影响去噪效果。

近年来，Transformer结构的引入为图像去噪提供了新的思路。Transformer通过自注意力机制，能够有效捕捉图像中不同区域之间的依赖关系，从而提升模型的表达能力和去噪性能。Swin-Transformer、SwinIR、GCSTormer等方法在红外图像去噪任务中取得了良好的效果。然而，这些方法通常需要大量的训练数据，且训练时间较长，限制了其在实际应用中的推广。为了解决这一问题，研究者们提出了Restormer等方法，通过引入多Dconv头转置注意力模块和门控Dconv前馈网络，提高了计算效率，降低了训练成本。

尽管监督学习方法在图像去噪任务中表现优异，但其依赖于合成或真实噪声的图像对进行训练，这在实际应用中面临诸多挑战。例如，在红外图像中，合成噪声难以准确反映真实噪声的分布特性，且获取真实噪声图像对的成本较高。为了解决这些问题，许多自监督图像处理方法被提出。例如，Lempitsky等人提出的深度图像先验方法，通过神经网络自身学习图像的先验知识，为后续研究提供了新的思路。Lehtinen等人提出的Noise2Noise方法，则利用相同噪声分布的图像对进行训练，无需依赖干净图像作为标签，从而降低了对训练数据的要求。然而，由于光照强度等因素的影响，获取相同噪声级别的图像对仍然存在困难。

为了克服上述问题，Xu等人提出了Noisy-as-Clean（NAC）方法，利用双重退化的噪声图像进行训练，从而实现与监督方法相当的去噪效果。Zhu等人则提出了多分支盲点网络与多类替换精炼（MBMRR）方法，通过引入非对称像素洗牌下采样策略、多类替换精炼策略和多分支盲点网络，有效去除了真实噪声的空间相关性。Chen等人则结合生成对抗网络（GANs）和注意力机制，设计了一种新的自监督图像去噪网络，该网络融合了模型驱动和数据驱动的方法，提升了在复杂场景下的去噪性能。这些自监督方法在红外图像去噪任务中展现出良好的潜力，但它们在噪声与图像内容信息的分离方面仍存在不足。

为了解决这一问题，本文提出了一种新的自监督红外图像去噪方法，该方法通过引入一种名为“循环重构交换训练机制”（Cycle Reconstruction Swapping Training, CRST）的训练机制，实现了对噪声和图像内容信息的更精确分离。CRST机制由三个主要部分组成：循环训练机制（Cycle Training, CT）、噪声重构训练机制（Noise Reconstruction Training, NRT）和噪声交换训练机制（Noise Swapping Training, NST）。通过这三种机制的联合约束，模型能够有效地将噪声图像分解为干净图像和噪声成分。

在CRST的指导下，本文设计了一种名为“噪声去除网络”（Noise Removal Network, NRNet）的网络结构，该网络包含内容分支和噪声分支。内容分支负责学习和提取图像的细节信息，而噪声分支则专注于识别和去除噪声成分。为了提升内容分支的学习能力，本文提出了一种“级联跨融合Transformer网络”（Cascaded Cross Fusion Transformer Network, CCFTNet）。CCFTNet通过在不同尺度的特征图之间引入注意力层，能够有效地捕捉和融合不同尺度的上下文信息，从而保留更多的图像细节。

此外，本文还提出了一种基于Stone-Weierstrass定理的动态自适应激活函数（Stone-Weierstrass-based Dynamic Adaptive Activation Function, SWDA）。该激活函数通过多项式求和的方式构建，其系数由一个多尺度自适应函数生成网络动态生成。这种动态生成的方式使得激活函数能够灵活地适应不同的图像特征，从而更有效地激活和提取关键信息。

本文的主要贡献包括三个方面。首先，提出了一种新的自监督训练机制CRST，该机制通过循环训练、噪声重构训练和噪声交换训练的结合，实现了对噪声和图像内容信息的更精确分离。其次，设计了CCFTNet网络结构，该结构能够有效捕捉和融合不同尺度的上下文信息，保留更多的图像细节。第三，提出了SWDA激活函数，通过动态生成的方式，提升了模型在特征激活方面的灵活性和有效性。

本文的实验部分包括模拟数据集和真实图像数据集的使用。模拟数据集基于FLIR数据集构建，图像分辨率为640×512，其中训练集包含10,742张红外图像，测试集包含1,144张红外图像。这些图像被用作干净图像的基准，用于评估去噪效果。真实图像数据集则用于验证模型在实际应用中的表现。

在实验过程中，本文进行了大量的消融实验和对比实验，以验证所提出方法的有效性和优越性。消融实验通过逐步移除或修改模型中的某些组件，分析其对整体性能的影响。对比实验则通过与其他现有的自监督和监督方法进行比较，评估本文方法在去噪效果上的优势。实验结果表明，本文方法在多个指标上均优于现有的方法，如峰值信噪比（PSNR）、结构相似性指数（SSIM）等，证明了其在红外图像去噪任务中的有效性。

本文的结论部分总结了所提出方法的核心思想和实现效果。通过引入CRST训练机制，本文方法能够更有效地分离图像内容信息和噪声成分，从而提升去噪效果。同时，CCFTNet和SWDA激活函数的设计进一步增强了模型在细节保留和特征激活方面的能力。实验结果验证了本文方法在红外图像去噪任务中的优越性，为未来的研究提供了新的思路和方法。

本文的作者贡献部分详细列出了每位作者在研究中的具体角色。Nanhe Jiang负责写作、编辑、可视化、验证、软件开发和方法设计。Yucun Zhang负责监督、项目管理、方法设计、资金获取和概念构思。Qun Li负责可视化、监督和调查。Fang Yan负责写作、调查和形式分析。Bentian Fu负责监督和形式分析。这些贡献表明，本文是一个团队合作的成果，每位作者都在研究的不同阶段发挥了重要作用。

本文的声明部分指出，作者们没有已知的与研究相关的竞争性利益或个人关系，这保证了研究的客观性和公正性。同时，本文得到了中央政府引导地方科技发展基金和河北省自然科学基金的支持，这为研究的顺利进行提供了必要的资金保障。

综上所述，本文提出了一种新的自监督红外图像去噪方法，通过引入CRST训练机制、CCFTNet网络结构和SWDA激活函数，有效解决了传统自监督方法在噪声分离和内容信息保留方面的不足。实验结果表明，该方法在多个指标上均优于现有方法，具有较高的实用价值和研究意义。未来的研究可以进一步探索CRST机制在其他图像处理任务中的应用，如图像超分辨率、图像修复等，以拓展其适用范围和提升性能。同时，SWDA激活函数的设计也可以应用于其他类型的深度学习模型，以提高其在特征提取和激活方面的灵活性和有效性。