CRFormer:用于可见水印去除的多尺度对比度正则化变换器

《Neural Networks》:CRFormer: Multi-scale Contrastive Regularization Transformer for Visible Watermark Removal

【字体: 大 中 小 】 时间:2026年08月12日 来源:Neural Networks 7.2

编辑推荐:

  •我们提出了基于输出层的对比正则化方法,该方法直接监督多尺度感知重建质量,与以往在中间特征层应用对比学习的方法不同。•我们引入了DCFN和MDCFN这两种可变形卷积前馈模块,它们能够恢复因通道级注意力而丢失的空间感知能力,并可在网络主干中实现水印掩码的联合预测。•我们提出了CRF

  
  • •
    我们提出了基于输出层的对比正则化方法,该方法直接监督多尺度感知重建质量,与以往在中间特征层应用对比学习的方法不同。
  • •
    我们引入了DCFN和MDCFN这两种可变形卷积前馈模块,它们能够恢复因通道级注意力而丢失的空间感知能力,并可在网络主干中实现水印掩码的联合预测。
  • •
    我们提出了CRFormer,这是一种基于Transformer的网络,它将上述组件整合到一个统一的单阶段框架中,从而在多个公开基准测试中取得了优异的性能。

引言

数字图像水印技术是一种广泛用于版权保护的技术,内容创作者可以通过在原始图像中嵌入可见的标志、文本或图案来声明所有权(Cox, Miller, Bloom, & Honsinger, Katzenbeisser, Petitcolas, 2000)。从带水印的图像中恢复出纯净的背景——即可见水印去除技术,近年来受到了越来越多的研究关注,因为它既可以作为评估水印嵌入方案鲁棒性的对抗性工具,也有实际意义,可用于修正被误用或过时的水印(Liu, Xiang, Liu, Pan, Zhang, 2022, Lyu, Huang, Kong, 2023)。然而,水印在形状、颜色、透明度以及空间布局方面存在很大差异,而且可能会与复杂的背景完美融合,这使得水印的检测和修复变得十分困难。
早期的方法依赖于手工设计的特征或严格的假设,比如手动选择水印区域(Huang and Wu, 2004)、基于ICA的分离方法(Pei and Zeng, 2006),或是多图像一致性方法(Dekel et al., 2017),这些方法在实际应用中的效果有限。随着深度学习的发展,Hertz等人(2019)提出了一个盲式单阶段网络(BVMR),该网络可以同时预测无水印背景、水印掩码以及水印本身,由此确立了多任务学习范式,这一范式此后主导了相关研究。Cun和Pun(2021)提出了SplitNet,Liang等人(2021)提出了SLBR,它们将这种架构扩展为两阶段结构,先通过粗略估计网络进行初步处理,再通过专门的细化阶段进行处理。Sun等人(2023)提出了DENet,他们在中间特征层引入了对比学习,以此分离水印和背景的语义。最近,Zhao等人(2022)提出了DKSP,Niu等人(2023)提出了QBMT,它们分别采用了动态核调制和基于查询的局部区域处理方法。
尽管取得了这些进展,但仍然存在两个问题。首先,卷积运算符本质上是局部的,难以捕捉大型或分布不规则的水印区域的完整空间信息。虽然有些方法中加入了注意力模块(Niu, Zhao, Zhang, Zhang, 2023, Sun, Su, Wu, 2023),但这些模块仍然只是对主要的CNN计算的辅助,包括最近提出的单阶段MNet(Huang et al., 2025)。其次,用于解决这一问题的对比学习方法(Meng, Zhou, Yang, Liu, Pu, 2025, Sun, Su, Wu, 2023)会在中间特征层施加约束,以分离任务特定的语义,虽然这有助于优化内部表示,但并不能直接监督最终重建结果的感知质量。
为了解决这些问题,我们提出了CRFormer,这是一种用于盲式可见水印去除的单阶段Transformer网络。CRFormer用完整的Transformer替换了CNN主干网络,这样无论水印的大小或形状如何,都能捕捉到空间上相距较远的区域之间的依赖关系。由于通道级注意力会以牺牲空间精度为代价来提升效率,因此我们在每个Transformer块中引入了可变形卷积前馈网络(DCFN),该网络可以通过可学习的采样偏移量来恢复精细的空间感知能力,同时不会带来空间自注意力的二次成本。其掩码版本MDCFN还会额外预测水印掩码作为辅助输出,从而将定位功能直接集成到网络主干中。此外,与以往方法在中间特征层应用对比学习的不同(Meng, Zhou, Yang, Liu, Pu, 2025, Sun, Su, Wu, 2023),CRFormer从最终重建的图像中提取多尺度VGG特征,然后应用基于比例的对比损失函数,将该图像向无水印的真实图像靠拢,同时使其远离带水印的输入图像,从而实现对重建质量的端到端监督,这是中间特征层分离方法所无法做到的。其主要贡献如下:
  • •
    我们提出了基于输出层的对比正则化方法,用于可见水印去除,该方法可以直接约束重建结果与真实图像之间的多尺度感知相似度,提供了中间特征层分离方法所不具备的监督机制。
  • •
    我们引入了DCFN和MDCFN这两种可变形卷积前馈模块,它们能够恢复因通道级注意力而丢失的空间感知能力,同时还能在没有单独检测模块的情况下,在网络主干中实现水印掩码的联合预测。
  • •
    我们提出了CRFormer,这是一种基于Transformer的单阶段网络,它将上述所有组件整合到一个统一的框架中,从而在多个公开基准测试中取得了最先进的性能。

章节节选

可见水印去除

早期的可见水印去除方法依赖于手工设计的特征以及用户的手动引导。Huang和Wu(2004)提出了一种需要手动选择水印区域的修复方案,而Pei和Zeng(2006)则采用了ICA的变体来分离原始图像和水印。Park等人(2012)在贝叶斯框架下利用了通道间的相关性。Dekel等人(2017)则假设大型图像集合中存在共同的水印,从而实现了自动去除功能。

方法论

在本文中,我们提出了CRFormer,这是一种用于盲式可见水印去除的单阶段Transformer网络。在测试时,CRFormer仅需输入带水印的图像,即可自动检测出水印区域并恢复出原始的背景内容,无需任何人工干预。对比学习在我们的设计中起着核心作用:重建结果应该向无水印的图像靠拢,同时远离带水印的输入图像,从而

实验部分

在本节中,我们首先介绍了实验设置,包括数据集、实现细节以及评估指标。接着,我们通过消融实验来验证每一个提出的组件,之后还会与现有的最先进方法进行定量和定性比较。

结论

在本文中,我们提出了CRFormer,这是一种用于盲式可见水印去除的单阶段Transformer网络。CRFormer解决了现有基于CNN的方法存在的两个根本性问题:感受野有限以及输出质量约束不足。通过在整个编码器-解码器主干网络中采用基于MDTA的Transformer块,CRFormer能够捕捉全局空间上下文,而不受卷积操作带来的局部性限制。为了弥补通道级注意力导致的空间精度下降问题,

CRediT作者贡献说明

Yun Hao:写作——审稿与编辑,写作——初稿撰写,可视化,验证,软件,方法论,研究分析,形式化分析,数据整理,概念构建。Jiaju Wu:写作——审稿与编辑,写作——初稿撰写,可视化,验证,软件,方法论,研究分析,形式化分析,概念构建。Ruizhou Sun:写作——审稿与编辑,写作——初稿撰写,可视化,验证,软件,方法论,数据整理,概念构建。

利益冲突声明

作者声明,他们不存在任何可能影响本文研究成果的已知利益冲突或个人关系。

致谢

本研究得到了中国国家自然科学基金(NSFC)项目61876208和62272172、广东省特支计划“顶尖科学技术创新青年人才”项目(2019TQ05X200)以及2022年腾讯微信犀牛鸟重点研究计划(Tencent WeChat RBFR2022008)的支持。
Yun Hao|Jiaju Wu|Ruizhou Sun|Xinyi Li|Qingyao Wu
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号