SSH-Net：一种用于去除噪声图像水印的自监督混合网络

《Journal of Visual Communication and Image Representation》：SSH-Net: A self-supervised and hybrid network for noisy image watermark removal

自监督混合网络SSH-Net通过双网络架构优化图像水印去除任务，上网络轻量级CNN专攻噪声消除，下网络结合Transformer的U-Net处理水印与噪声，共享CNN编码器提取通用特征后经动态门融合，在复杂噪声场景下性能优于现有方法且计算高效。

　　随着社交媒体平台的普及，多媒体内容的分享与传播变得愈发频繁，这使得数字媒体的安全性和鲁棒性成为研究的重点。在众多保护手段中，水印技术因其在版权保护方面的有效性而被广泛采用。水印通常以文字、数字或标志的形式嵌入图像中，以声明所有权并防止未经授权的使用。然而，水印技术在实际应用中也面临诸多挑战，特别是在应对非法移除和对抗性攻击方面。随着人工智能生成内容（AIGC）技术的兴起，这些挑战变得更加复杂，因为自动化工具可以轻松地操纵或添加水印，给数字内容的保护和认证带来了新的难题。

水印移除方法作为对水印技术的逆向研究，旨在评估并增强水印技术的抗破坏能力。早期的水印移除方法主要依赖于组成模型，即通过将水印图像分解为水印图像和原始图像两部分来实现移除。例如，独立成分分析（ICA）算法尝试分离这些成分以恢复原始图像。后续的研究引入了概率方法，通过建模原始图像、水印和水印图像之间的能量关系来提升水印移除的效果。然而，这些方法在准确估计水印图像方面仍存在困难，尤其是在水印与原始内容重叠的情况下，容易导致图像质量的下降。

近年来，许多研究将水印移除任务视为图像到图像的转换问题，利用先进的深度学习框架，如卷积神经网络（CNN）和生成对抗网络（GAN），来提高水印移除的性能。尽管这些方法取得了显著成果，但它们通常依赖于真实水印图像的数据进行训练，这在实际应用中可能面临数据获取困难的问题。因此，研究人员开始探索自监督学习在水印移除任务中的应用，这一领域在图像修复任务中已经展现出强大的潜力，例如去噪和去雾。自监督学习通过直接从损坏的图像中学习，无需依赖干净的参考图像，从而提高了模型的泛化能力。

其中，Noise2Noise 方法展示了在无干净目标的情况下，利用独立损坏图像对进行训练的可行性。而 Noise2Void 方法则引入了基于掩码的策略，通过预测缺失像素来实现去噪，彻底消除了对配对数据的需求。受这些方法的启发，Liang 等人 [10] 将自监督学习应用于单图像去雾任务，引入了基于模糊的掩码策略，使得网络可以在无监督条件下进行训练。这些进展表明，自监督学习在处理图像修复任务时具有重要的应用价值，尤其是在获取干净数据困难的情况下。

在此基础上，水印移除领域也逐步引入了自监督学习框架。例如，Tian 等人 [11] 提出了 PSLNet，这是一种用于噪声图像水印移除的自监督学习网络。PSLNet 采用了并行网络架构，其中上层网络依次处理噪声和水印的移除任务，而下层网络则同时处理这两项任务。尽管这种双网络设计在性能上表现出色，但其依赖于四个相同的 CNN-based U-Net 结构，导致计算成本较高，参数复杂度增加。此外，使用相同的网络结构处理不同复杂度的子任务也带来了效率上的问题，因为模型缺乏针对每个任务进行适应的灵活性。

为了解决这些问题，我们提出了一种自监督和混合的网络结构——SSH-Net，专门用于噪声图像中的水印移除。SSH-Net 采用了与 PSLNet 类似的双网络设计，但与 PSLNet 不同的是，SSH-Net 在两个路径中采用了不同的网络架构。上层网络采用了更高效的 CNN 架构，专门用于噪声移除，从而降低了计算成本。相比之下，下层网络则采用了更深层次的架构，结合了稀疏的 Transformer-based U-Net，以更好地捕捉图像中的复杂特征和关系。这种设计使得 SSH-Net 在处理噪声和水印双重任务时表现出更强的性能。

为了确保模型能够充分利用两个网络的优势，我们在双网络之前引入了一个基于 CNN 的共享特征编码器，用于提取共同的特征。这两个网络的输出随后通过一个门控机制进行融合，该机制能够动态平衡两个网络的贡献，从而提高整体性能。此外，我们为每个网络设计了一个混合损失函数，以确保它们在各自的子任务上得到最优训练，最终输出具有更高质量的纹理重建效果。

SSH-Net 的核心贡献在于其自监督和混合的双网络设计，结合了 CNN 和 Transformer 的优势，使得模型能够在无需参考水印图像的情况下进行训练。这种方法不仅解决了传统方法依赖配对数据的问题，还通过引入稀疏的 Transformer-based U-Net 提高了模型对复杂图像特征的捕捉能力。同时，共享特征编码器和门控机制的设计，进一步增强了模型在不同子任务之间的协同作用，从而在保持较低计算成本的同时，实现了更高的性能。

在实验部分，我们使用了多个公开的水印图像数据集，并选择了常用的评价指标，如峰值信噪比（PSNR）、结构相似性指数（SSIM）以及视觉感知质量评估方法。实验结果表明，SSH-Net 在噪声图像的水印移除任务中表现优于现有的先进方法，尤其是在处理高噪声和复杂水印结构时。此外，通过消融实验，我们验证了各个组件对模型性能的影响，进一步证明了 SSH-Net 在设计上的合理性和有效性。

综上所述，SSH-Net 提供了一种创新的解决方案，克服了传统水印移除方法在数据获取和计算效率方面的限制。通过结合自监督学习和混合网络架构，SSH-Net 不仅能够有效移除水印，还能在噪声图像中保持较高的图像质量。这一方法为数字内容的保护和认证提供了新的思路，并为未来的研究奠定了基础。我们相信，SSH-Net 的提出将推动水印移除技术的发展，并在实际应用中发挥重要作用。