从真实文件中去除印章：一种基于扩散算法的方法，并使用EA-RMSE进行评估

《Array》：Stamp removal from real documents: A diffusion-based approach with EA-RMSE evaluation

　　Seulbi Lee | Noah Lee | Jongeon Baek | Hyunseok Min | Sungchul Choi | Sangheum Hwang
韩国首尔国立科学技术大学数据科学系

**摘要**
印章容易伪造，并且经常干扰数字文档处理，因此越来越多地被认为需要被移除以确保数字文档的可靠性和可用性。现有的印章去除模型主要依赖于完全合成的数据集，在这些数据集中，印章图案被数字叠加到干净的文档图像上，因此无法捕捉到诸如打印质量变化、印章退化以及扫描伪影等真实物理效应。此外，传统的图像质量指标（如PSNR和SSIM）无法充分反映对文档可读性和可用性至关重要的局部错误。为了解决这些限制，我们通过收集在不同条件下物理加盖印章的文档来构建了一个真实世界印章数据集，并提出了一种结合真实世界数据和合成数据的混合训练策略。为了进一步研究文档布局和语言多样性，我们还使用了虚拟文档真实印章数据，在这些数据中，多语言和多类型的文档背景在印章被物理加盖的同时生成。此外，我们引入了错误区域均方根误差（EA-RMSE）这一新的评估指标，该指标分别量化了残留印章和缺失文档内容，从而提供了更符合人类感知的印章去除质量评估。实验结果表明，我们的方法显著提高了数据集之间的鲁棒性，并提供了更具解释性的评估结果，为未来的印章去除任务研究奠定了坚实的基础。

**1. 引言**
长期以来，印章一直是各种官方文件（包括行政记录、合同和证书）中表明真实性和批准状态的关键手段。然而，随着数字化转型的迅速发展，这些印章逐渐成为处理数字文档的障碍。例如，与重要文本或数字内容重叠的印章可能会掩盖底层信息，降低文档识别系统（如光学字符识别OCR）的性能[1][2]。因此，印章去除现在不仅被视为一种文档恢复任务，更是提高数字工作流程中文档可用性和安全性的关键步骤。

尽管数字文档中印章去除的重要性日益受到重视，但之前的研究[3][4][5]仍然依赖于合成数据集进行训练。这些数据集通常是完全合成的：印章图案被数字叠加到干净的文档图像上，使模型在人工控制的条件下能够获得高性能。然而，完全合成的叠加方式无法真实再现物理采集效果，包括墨水压力变化、印章退化、纸张纹理、打印质量、扫描噪声以及细微的颜色变化。这些因素难以被合成数据捕捉，导致仅在合成数据上训练的模型应用于真实世界文档时泛化性能大幅下降。此外，现有的评估协议依赖于传统的图像质量指标（如PSNR、SSIM和RMSE），这些指标通过平均真实值和生成输出图像之间的像素级差异来评估整体视觉相似性。因此，图像小区域中发生的错误往往被忽略，尽管这些错误在感知上非常重要。这一限制使得直接评估印章去除任务中的小错误（如印章去除不完整、背景失真和部分文本内容丢失）变得困难。因此，开发一种能够敏感捕捉此类局部视觉伪影并更好地反映人类感知的新评估指标至关重要。

为了解决这些挑战，我们构建了一个真实世界印章数据集，以提高印章去除模型在真实世界文档上的泛化性能。首先，我们分析了现有模型[3]在应用于真实加盖印章文档时的常见失败情况，并定义了特别难以去除的印章类别。基于这一分析，我们在对应于这些类别的不同物理印章条件下手动生成加盖印章的文档，构建了一个真实世界印章数据集。在主要实验中，我们使用结合了我们的真实世界印章数据和公开可用的完全合成印章叠加数据[3]的混合数据集来训练模型，从而在保持合成数据性能的同时增强了对真实世界变化的鲁棒性。为了以可复制且版权安全的方式进一步研究文档类型和语言多样性，我们还使用了虚拟文档真实印章数据进行了辅助分析。在这个辅助数据集中，仅生成文档背景内容和布局，然后打印、物理加盖印章并扫描，这与完全合成的印章叠加数据集有所不同。为了更精确地评估印章去除任务，我们引入了错误区域均方根误差（EA-RMSE）这一新的评估指标，该指标从用户的角度细粒度地评估感知错误。EA-RMSE分别量化了两种关键错误区域：缺失文档内容的区域和残留印章的区域。通过独立测量这两种类型的错误，所提出的指标更真实地反映了印章去除输出的实际正确性和可用性，捕捉到了传统图像质量度量方法所忽略的性能方面。

通过广泛的实验，我们证明了结合完全合成印章叠加数据和真实世界数据集有助于在两种场景下获得更稳定的性能。我们还使用虚拟文档真实印章数据和具有挑战性的外部案例（包括退化文档和多印章重叠情况）分析了数据集偏差和剩余的失败模式。此外，使用EA-RMSE进行的评估在捕捉感知失败方面显示出更明显的改进，而这些失败通常被PSNR和SSIM等传统指标忽略。这些结果表明，EA-RMSE能够提供更具有解释性和可靠性的印章去除质量评估。为了验证EA-RMSE的感知一致性，我们使用了大型视觉语言模型（LVLMs）和人类感知研究进行了验证。结果表明，EA-RMSE与基于LVLM的和人类感知得分的相关性比传统的图像质量指标（如PSNR和SSIM）更强。这一发现表明，EA-RMSE更好地捕捉了印章去除质量中的感知差异，从而提供了一个更符合人类感知和更具解释性的评估指标。

**本文的主要贡献如下：**
• 我们通过收集和处理在不同物理印章条件下物理加盖的文档，构建了一个真实世界印章数据集，解决了完全合成数据中缺失印章和扫描真实性造成的领域差距问题。
• 我们证明了在结合真实世界数据和完全合成数据的混合数据集上进行训练可以提高模型在合成和真实世界场景下的泛化和鲁棒性。
• 我们引入了EA-RMSE这一新的评估指标，它通过分别量化残留印章和缺失文档内容，提供了更符合人类感知和更细粒度的印章去除质量评估。

**2. 相关工作**
**2.1. 盖章去除方法**
传统算法使用基于颜色的分割、形状驱动的分析或无监督聚类来检测和提取印章区域，通常以简单的掩蔽结束。颜色空间方法通过将图像转换为HSV或YCbCr，然后进行基于色度的分割或分类来隔离印章墨水[1][6][7]。形状和几何线索利用点距离直方图等描述符来定位可能的印章区域[8][9][10]。聚类和区域扩展通过颜色聚类和邻域扩展将印章像素与背景分离，形成二值掩膜[11]。模糊和基于规则的融合结合多通道颜色证据来隔离行政文档中的印章[12]。当印章墨水或轮廓明显时，这些方法有效，但当印章墨水与文本相似或与视觉复杂的布局重叠时，它们通常会失败，而且它们通常不解决去除问题。

深度学习的进步推动了印章去除方法的发展。Fu等人[13]和Liang等人[14]采用U-Net架构[15]同时去除印章并恢复损坏的背景，避免了传统方法产生的背景伪影。然而，U-Net的生成能力有限，常常留下印章残留并产生低质量的图像。基于GAN的模型[16][4][17][18]在印章去除方面也表现出合理的性能。SERGAN[4]利用CycleGAN[19]在一个网络中提取印章区域并恢复无印章的文档。尽管如此，基于GAN的方法仍然存在训练不稳定性和残留印章伪影的问题，导致印章去除质量的稳定性和一致性降低。

由于基于GAN的方法存在固有的训练不稳定性和细节丢失问题，扩散概率模型在图像生成中受到了关注[20]。扩散模型通过迭代去噪，提供比GAN更稳定的训练和更高的生成质量[21][22]。最近的研究探索了使用扩散模型进行印章去除[3][5]。Cui Guohao[3]通过嵌入空间注意力模块并用模拟ReLU替换标准ReLU来增强DDPM[20]，将去噪过程引导到印章像素上，同时保留附近的文本。为了应对复印文档的特定挑战，Cui Guohao[5]引入了马尔可夫过程注意力机制和仿生ReLU。这种方法不仅能够去除印章，还能保留背景文本。因此，这两项研究都适应了文档领域，实现了比基于GAN的方法更高的印章去除性能。然而，由于这些扩散模型是在合成印章叠加数据集上训练的，它们在物理加盖和扫描的文档上表现不佳。合成数据集存在固有的局限性：合成印章缺乏常见的真实世界效应，包括复杂的墨水渗出、扫描噪声和纸张纹理。在[3]中，作者使用了一个自定义的合成印章叠加数据集，该数据集将文档背景与三种理想化的合成印章形状（圆形、方形和椭圆形）作为前景，并通过垂直和水平文本密度投影改变印章的位置。尽管进行了多样化的增强，合成数据仍无法完全捕捉到物理印在纸张上的印章的复杂特征。

在这项工作中，我们通过物理加盖印章和扫描生成了一个真实世界的成对文档数据集，并使用Cui Guohao[3]的扩散模型来证明减少了领域差距，并提高了对真实扫描的泛化性能。

**2.2. 评估指标**
之前的研究[3][4][5]在评估印章去除任务时通常报告PSNR、SSIM和RMSE。这些全局全参考度量强调整个图像的平均相似性，导致它们忽略了对文档可用性至关重要的局部失败。因此，它们往往无法与人类感知保持一致[23][24]。即使存在感知上关键的错误，这些指标也可能产生有利的分数，从而削弱了对任务成功性的可靠评估（图4）。此外，印章去除不仅仅是一个单一的标量差异概念：它是一个双目标任务，成功的印章去除和忠实的文档保留可以相互权衡。平均整个图像的指标无法区分反映剩余印章墨水的分数和反映缺失文本的分数，从而混淆了通常具有不对称成本的不同失败模式。

我们提出了EA-RMSE这一特定于印章的评估指标，它将印章去除和文档保留分开，并在像素级别上进行评估，从而产生更符合人类感知的可解释分数。

**下载：** 下载高分辨率图像（1MB）
**下载：** 下载全尺寸图像

**图1. 使用现有去除模型的印章去除结果。该模型通常无法有效去除真实世界数据中的印章。**

**3. 提出的方法**
**3.1. 现有模型的失败情况**
大多数现有研究[3][4][5]依赖于使用合成生成的加盖印章文档进行训练，这些文档通常是通过将数字印章叠加到干净的文档图像上来创建的。虽然这些模型在合成数据集上表现良好，但它们在面对真实世界的挑战（如背景噪声和印章退化）时却遇到困难。为了评估泛化能力，我们评估了一个仅在合成印章叠加数据集上训练的现有模型[3]在我们的真实加盖文档评估数据集上的去除性能。该评估数据集来自公开可访问的AI Hub平台。

**图1**展示了该模型应用于真实世界场景时的常见失败情况。该模型在真实加盖的文档上的印章去除性能不佳。具体来说，图1(a)显示模型无法有效去除与文本重叠的印章，这通常会导致底层内容的损坏。图1(b)显示模型在处理灰度印章时遇到困难，而在处理彩色印章时表现相对较好。图1(c)进一步表明，当印章部分显示或分辨率较低时，性能显著下降。这些观察结果表明，仅在合成数据上训练可能不足以确保可靠的印章去除性能，强调了在模型开发过程中纳入真实世界条件的必要性。

**3.2. 真实世界数据集**
为了解决这些真实世界的失败情况，我们通过在不同的物理印章条件下手动在文档上加盖印章来构建了一个数据集。**印章条件**

我们系统地将印章类型分为五类，这些类别反映了导致现有模型中常见性能下降的关键因素。这些类别定义如下：

**颜色**：通过包含彩色印章和灰度印章来解决颜色变化问题。彩色印章通常包含更丰富的信息，相对更容易去除。相比之下，灰度印章由于与背景文本的视觉相似性而更难以去除。包含这两种类型的印章有助于模型在不同颜色特征下发展出更好的鲁棒性。

**分辨率**：为了模拟不同的分辨率条件，提供了10%、50%和100%分辨率的印章，其中较低的百分比对应于较低分辨率的印章。低分辨率印章的印章边界通常较模糊，印章与文本内容之间的区分度降低，使得准确去除印章更加困难。为了解决这个问题，数据集包含了多个分辨率级别的印章，以增强模型对分辨率下降的鲁棒性。

**形状**：包括了五种代表性的印章形状：18毫米和24毫米的正方形（square-18、square-24）、18毫米和24毫米的圆形（circle-18、circle-24）以及椭圆形印章（oval），这些形状在现实世界的文档中很常见。包含这些代表性形状有助于模型更有效地泛化到多样化的印章外观。

**位置**：通过将印章放置在文档的文本上或空白区域来引入位置变化。当印章与背景文本重叠时，模型必须在去除印章的同时保留背景内容。相反，位于空白区域的印章需要精确定位和去除，而不干扰相邻内容。通过涵盖这两种情况，数据集确保了对印章位置变化的全面覆盖。

**损坏**：为了反映现实世界中的印章损坏情况，提供了完全完整的印章（0%）和部分损坏的印章（50%）。这些情况反映了印章因老化或打印不完整而受影响的常见现实世界现象。通过在损坏的印章（带有断裂或缺失的区域）上进行训练，模型能够更有效地处理视觉上不完整的印章实例。

**下载**：下载高分辨率图像（243KB）
**下载**：下载全尺寸图像

**图2. 现实世界数据集的示例。**

**3.2.2. 数据集创建过程**

为了构建一个反映现实世界印章条件的数据集，我们遵循了一个两阶段的过程。首先，我们从公共数据源收集各种韩文文档图像，重点关注版权已过期的韩文小说。我们使用版权过期的材料以确保合法的可再分发性、配对的干净参考文献以及可复现的数据集发布。由于这种选择限制了文档类型和语言的多样性，我们通过第3.3节描述的虚拟文档真实印章数据来补充，以辅助分析数据集偏差。其次，根据第3.2.1节定义的五个印章类别（形状（5种类型）、损坏（2个级别）、分辨率（3个级别）、颜色（2种类型）和位置（2种放置方式）的组合，将这些文档打印并物理盖章，共得到120种独特组合。对于每种组合，我们生成100个样本以确保在不同条件下的均衡表示。

最终的数据集包含12,000张文档图像，每张图像中恰好有一个印章。图2展示了我们现实世界数据集的几个代表性样本。我们的现实世界数据集提供了多样化的物理印章条件，捕捉了现实世界文档中常见的印章外观和损坏模式。

**下载**：下载高分辨率图像（540KB）
**下载**：下载全尺寸图像

**图3. 用于多语言和多类型扩展的代表性虚拟文档示例**。我们改变了文本语言、布局和虚构的类似徽标的图形元素，以模拟实际的文档格式。

**3.3. 虚拟文档真实印章数据集**

为了补充现实世界数据集，并检查其依赖于韩文小说页面可能产生的数据集偏差，我们构建了一个包含900张图像的辅助虚拟文档真实印章数据集，涵盖三种语言和五种文档类型。这个数据集应与之前工作中使用的完全合成印章叠加数据集[3]区分开来。在完全合成的印章叠加数据集中，印章图案是数字叠加在文档图像上的。而在我们的虚拟文档真实印章数据中，只生成文档背景内容和布局，然后打印、物理盖章并扫描。这种设计在保持物理印章获取效果的同时，增加了语言和文档布局的多样性。

虚构的文档背景首先使用GPT-5以韩文、英文和中文生成，并渲染为PDF文件，以生成虚拟文档图像。为了确保类型多样性，包括了五种文档类型：（1）小说，（2）行政信函（请愿书和抗议信），（3）包含议程、讨论和行动项目的半结构化会议记录，（4）发票，以及（5）包含详细条目、金额和支付信息的交易报表。对于每种语言-文档组合，生成30个干净的背景，总共得到450个干净的背景。为了进一步增加视觉多样性，加入了虚构的类似徽标的图形元素，以更好地模拟现实世界文档的外观。每个背景以平衡的方式被分配到两种位置设置中，要么与文档内容重叠，要么位于空白区域。然后创建彩色和灰度印章的变体，从而得到900张带印章/干净的图像。这900张图像按语言和文档类型分别分为500/100/300张用于训练、验证和测试。

如图3所示，与现实世界数据集中的韩文小说页面相比，虚拟文档展示了更广泛的布局、排版风格和图形元素，为分析原始数据集结构有限变化可能导致的潜在偏差提供了补充的文档多样性来源。这个数据集在第6.1节的数据集偏差分析中使用。

**3.4. 混合训练策略**

在多样化环境中开发一个强大的印章去除模型仍然是一个重大挑战，主要是由于现有训练数据集的固有局限性。现实世界印章数据通过捕捉物理获取效果（如印章压力变化、纸张纹理、扫描伪影和打印噪声）提供了高度的真实性。然而，它们的大规模收集和注释成本高昂且劳动密集，限制了可用数据的多样性和数量。为了缓解这一限制，完全合成的印章叠加数据集提供了一个实用且可扩展的替代方案，能够控制生成形状、颜色和位置多样化的印章图案。尽管有这一优势，仅基于完全合成数据训练的模型往往无法泛化到现实世界文档，因为印章叠加的合成领域无法完全复制物理文档固有的细微和复杂的纹理、光照和噪声特征。这种领域差异导致模型在现实场景中部署时性能明显下降，如第3.1节所讨论的。

对于主要实验，我们提出了一种混合训练策略，结合了现实世界印章数据和完全合成印章叠加数据的互补优势。辅助的虚拟文档真实印章数据不包含在这个主要混合设置中：它们在第6.1节中单独使用，用于分析数据集偏差。完全合成的印章叠加数据为学习多样化的印章视觉结构提供了可扩展的基础，而现实世界印章数据增强了模型对真实损坏和扫描条件的适应性。这种组合使得能够开发出一个在合成和现实世界领域都能有效泛化的强大印章去除模型。为了隔离数据集组成对恢复性能的影响，我们定义了混合组成，固定训练量为N=9,600张图像。混合训练集是通过合并Nreal=rN张现实世界图像和Nsyn=(1?r)N张合成图像构建的，其中r∈[0,1]表示现实世界数据的比例。具体来说，每个领域的子集在每个时代都会被合并并随机打乱。这确保了数据集级别的直接控制，而不是通过损失重加权或其他算法调整。我们采用r=0.50（即每个领域各4800张图像的相等分割）作为所有主要实验的默认设置。这个比例是基于第5.3节总结的敏感性分析选定的。随着合成比例从0.50增加到0.83，合成测试集上的性能仅略有提高（PSNR从49.29增加到49.70）。相比之下，现实世界测试集上的性能持续下降，PSNR从36.29下降到34.90，RMSE从11.92增加到12.48。我们提出的指标也反映了这一趋势，Missing和Extra分别从2.01增加到2.11和2.03增加到2.18。基于这些观察结果，选择r=0.50作为平衡的默认值，以确保在两个文档领域都能获得可靠的性能。

**下载**：下载高分辨率图像（363KB）
**下载**：下载全尺寸图像

**图4. 印章去除结果的定性和定量比较**。展示了两个代表性示例。每个示例的左侧面板展示了输入、基线和微调后的输出。右侧面板报告了传统的图像质量指标（PSNR、SSIM、RMSE）和感知质量指标（Missing score、Extra score）。这表明我们的指标通过量化传统指标遗漏的错误与人类感知一致。

**4. 提出的指标**

**4.1. 传统指标的局限性**

如第1节所述，传统图像质量指标在应用于印章去除任务时存在固有的局限性。具体来说，它们往往无法捕捉到感知错误，这些错误是容易被人类注意到的视觉错误，对文档的可读性和内容保留有重大影响。例如，残留的印章或背景损坏可能导致微小的像素级差异，但对人类来说却非常明显，尤其是在可读性和布局保留至关重要的情况下。为了研究这个问题，我们比较了仅在合成数据集[3]上训练的基线模型和在第3.2节提出的现实世界印章数据集上额外训练的微调模型。图4中的比较清楚地说明了这种感知错误。在图4(a)中，基线模型成功去除了彩色印章，但也去除了部分背景，留下了类似原始印章印记的可见残留伪影。相比之下，微调模型不仅更彻底地去除了印章，还更有效地保留了背景质量。尽管有这些明显的视觉差异，PSNR和SSIM未能反映两个模型之间的性能差距。图4(b)中展示了类似的情况。虽然基线模型去除了印章，但它未能保留原始的蓝色背景颜色。相比之下，微调模型不仅擦除了印章，还准确地保留了背景颜色。然而，如图4(b)所示，两个模型的SSIM得分相同。

为了量化这些感知错误，我们引入了EA-RMSE，它包括Missing和Extra得分，分别衡量背景失真和残留印章伪影。如图4(a)所示，这些指标揭示了两个模型之间的显著性能差距，这与人类视觉判断一致。具体来说，图4(a)表明Missing得分成功量化了随印章一起无意中移除的背景区域。此外，图4(b)确认了背景颜色与真实值的偏差在Missing得分中得到了准确反映。这些观察结果突显了传统指标的固有缺陷，并强调了为印章去除任务制定感知对齐评估指标的必要性。

**4.2. 错误区域-均方根误差**

为了更好地反映印章去除中的感知质量，我们引入了错误区域-均方根误差（EA-RMSE），这是一种新的评估指标，旨在识别传统指标经常忽略的感知上关键的错误。EA-RMSE关注发生感知上有意义的视觉错误的区域，例如残留的印章或无意中移除的文档内容。通过将评估重点放在这些视觉错误上，EA-RMSE提供了更细致和精确的模型性能评估。EA-RMSE与人类感知判断的对齐在第5.5节（EA-RMSE与LVLM判断的验证）和第5.6节（人类感知研究）中得到了进一步验证，我们在其中将该指标与基于LVLM的评估和人类评分进行了比较。

EA-RMSE是通过比较真实值和生成输出图像之间的误差区域来计算的。我们首先计算每像素(x,y)的像素级差异diff(x,y)。像素级差异定义如下：(1)diff(x,y)=Ipred(x,y)?Igt(x,y)，其中Ipred(x,y)和Igt(x,y)分别表示生成图像和真实值图像中位置(x,y)的像素值。

为了基于像素级差异定义误差区域，应用了一个预定义的阈值τ。该阈值旨在仅识别那些差异足够显著、能够被人类识别为错误的区域。在我们的实现中，生成图像和真实值图像都被转换为CIELab颜色空间，并将像素强度标准化到[0,255]范围内。我们设置τ=5作为默认阈值，因为先前的颜色感知研究报道，CIELab差异约为ΔE≈5（或相当的L?差异）对应于人类观察者的可察觉差异（JND）区域[25]、[26]。这个值在去除水印的评估中提供了实际的平衡：较低的阈值倾向于将轻微的扫描器噪声和纸张纹理变化错误地检测出来，而较高的阈值可能会抑制仍然可见的微妙但残留的水印痕迹或缺失的字符笔画。我们在所有实验中固定了这个阈值，并对Extra和Missing掩码的构建应用相同的τ值。我们进一步通过评估τ∈{3,5,7}时的EA-RMSE来验证阈值的敏感性；在我们的主要比较中，模型的相对排名保持不变，表明对这个阈值的选择敏感性较低（更多细节见附录B）。然后根据差异的符号将结果错误区域分为两种类型：Extra表示未正确去除的水印残余，Missing表示意外删除了应该保留的背景内容：(2)MExtra(x,y)=1，如果Ipred(x,y)?Igt(x,y)τ0，否则。一旦确定了错误区域，就计算EA-RMSE指标，它由两个互补的部分组成：Missing分数和Extra分数。让Ωtype表示每个错误区域内的像素集合（type∈{Extra,Missing}），N表示图像中的总像素数。每个区域的错误分数定义为：(4)EA-RMSEtype=1|Ωtype|∑(x,y)∈ΩtypeIpred(x,y)?Igt(x,y)2?|Ωtype|N这种按面积比例的加权确保每个分数不仅反映了局部错误的大小，还反映了它们相对于整个图像的空间影响。这种分离允许更精确地理解模型性能，因为它区分了两种故障：水印残余和文档内容的丢失。

5. 实验
5.1. 实验设置
数据集。为了全面调查模型在各种场景下的性能，我们设计了三种训练设置：真实世界数据集、合成数据集和混合数据集。真实世界数据集按文档划分，以防止数据泄露，训练集、验证集和测试集的比例为8:1:1。这产生了9600张训练图像、1200张验证图像和1200张测试图像。完全合成的水印叠加数据集[3]包含15,690张训练图像和6103张测试图像。为了确保公平比较并消除数据集大小带来的性能偏差，我们从其训练集中随机抽取9600张图像，使其大小与真实世界训练数据相匹配。最后，主要的混合数据集遵循第3.4节中定义的默认比例，使用0.50:0.50的比例分配真实世界水印数据和完全合成水印叠加数据。它通过从每个真实世界水印训练集和完全合成训练集中随机选择4800张图像来设计，总共有9600张训练图像。如第3.4节所述，在多样化场景中实现强大的泛化仍然是一个重大挑战。因此，我们在真实世界测试集和合成测试集上评估模型的性能。第3.3节中描述的虚拟文档真实水印数据集没有用于主要实验；它仅用于第6.1节中的辅助数据集偏差分析。

模型。我们采用了一个条件DDPM [20]，并使用了Cui Guohao [3]的U-Net去噪器架构。为了验证我们方法的有效性，并提供一个延迟-质量权衡的基准，我们还考虑了一个独立的U-Net [14]作为基线。通过比较这两种架构，我们可以研究混合训练的影响，并描述多步骤生成方法和传统非迭代参考方法之间的权衡。

评估指标。遵循之前的研究[3]、[4]、[5]，我们采用了常用的图像生成质量指标，包括峰值信噪比（PSNR）、结构相似性指数（SSIM）和均方根误差（RMSE）。然而，如第4节所讨论的，这些指标评估的是整体视觉相似性，可能无法完全符合人类感知。为了解决这个问题，我们引入了提出的EA-RMSE指标，其中包含了Missing分数和Extra分数，以更好地反映性能评估中的感知方面。

实现细节。对于基于U-Net的条件扩散模型，我们使用了一个线性噪声计划（βmin=10^-4, βmax=2×10^-2, T=1000）。在训练过程中，通过提取16个64 × 64像素的随机裁剪来增强每张图像。优化使用Adam优化器进行，学习率为2.5×10^-5, β1=0.9, β2=0.999, ?=10^-8，不使用AMSGrad或权重衰减。我们还维护了一个模型权重的指数移动平均（EMA），衰减率为0.999，在每次迭代时更新。对于图像恢复，我们使用DDIM风格的通用采样（η=0）进行25步去噪，采用64 × 64的补丁大小和16的步长。表1总结了实现和硬件配置。扩散模型包含82.96M参数（≈316.5 MB（FP32），而一个完整的训练检查点大约为1.3 GB，因为它还存储了优化器和EMA状态。所有实验都在一台配备AMD EPYC 9224 CPU和8× NVIDIA GeForce RTX 4090 GPU的服务器上执行，对于我们的默认设置，每个GPU的峰值内存大约为23 GB VRAM。对于训练成本，平均墙钟时间约为每次迭代1.09秒（全局批量大小为16），在8× RTX 4090上，相当于大约55张训练图像/秒。

对于独立的U-Net基线，我们在固定的输入分辨率256 × 256下对官方预训练模型[14]进行了30个周期的微调，使用与扩散模型相同的硬件设置。我们使用Adam作为优化器，初始学习率为1×10^-3, β1=0.9, β2=0.999, ?=10^-8。我们将恢复参数k_center、k_refine和k_skip_stage分别设置为1、3和3，遵循默认设置。

表1. 实现细节和硬件配置。
项目 值
背骨大小 82.96M参数（≈316.5 MB，FP32）
检查点大小 ≈1.3 GB（权重 + 优化器 + EMA）
优化器 Adam（lr=2.5×10^-5, β=(0.9,0.999), ?=10^-8, AMSGrad关闭）
LR调度器 无（恒定学习率）
EMA 启用，衰减0.999（每次迭代更新）
训练批量设置 全局批量大小16，补丁数量16，补丁大小64 × 64
日志/检查点间隔 每1000次迭代记录一次
扩散计划 线性β，1000个训练步骤
推理采样器 DDIM风格的通用采样，η=0，25步
补丁推理 64 × 64窗口，步长16
硬件 AMD EPYC 9224 CPU，8× NVIDIA GeForce RTX 4090
峰值VRAM ≈23 GB/GPU（默认设置）

表2. 使用合成数据集、真实世界数据集或混合数据集从头开始训练的模型的定量比较。
测试数据集 训练数据集 PSNR ↑ SSIM ↑ RMSE ↓ Missing ↓ Extra ↓
合成 47.09 0.99 3.29 0.71 0.03
真实世界 19.38 0.72 4.99 14.20
混合 58.22 0.99 0.86 0.04 0.03
真实世界 合成 43.20 0.88 19.95 5.25 3.06
真实世界 39.41 0.95 11.59 2.19 1.77
混合 52.49 0.95 11.18 1.90 2.06

表3. 在真实世界和混合微调设置下，提出的基于U-Net的条件扩散模型与独立U-Net基线之间的定量比较。
架构 测试数据集 微调数据集 PSNR ↑ SSIM ↑ RMSE ↓ Missing ↓ Extra ↓
扩散 合成 真实世界 20.89 0.79 3.09 4.59 8.72
混合 47.08 0.99 1.61 0.05 0.05
真实世界 真实世界 35.47 0.95 11.58 1.92 1.94
混合 35.01 0.95 11.83 1.95 2.01
独立U-Net 合成 真实世界 22.90 0.86 23.24 3.80 6.54
混合 41.20 0.98 2.68 0.16 0.31
真实世界 真实世界 30.26 0.91 12.56 3.45 2.45

图5. 在合成测试数据集上的定性结果。从不同数据集从头开始训练的模型的去水印输出与输入和真实值（GT）进行了比较。

5.2. 结果
从头开始。我们首先评估了在合成数据集、真实世界数据集和混合数据集上从头开始训练的模型。我们采用了与[3]中相同的超参数设置（例如，批量大小和学习率）。表2显示，仅在单一数据集上训练的模型无法泛化到未见过的场景。具体来说，仅在真实世界数据集上训练的模型在合成测试集上的性能严重下降，其PSNR降至19.38，Extra分数升至14.20。这表明未能去除合成水印，如图5中的定性结果所示，有明显的残余伪影。同样，仅在合成数据集上训练的模型在真实世界测试集上的表现也很差，记录了较高的Missing分数5.25和Extra分数3.06。这些结果表明背景退化和水印去除不完整，这在图6的定性示例中也很明显，显示出模型未能保留文档的纹理和颜色。相比之下，使用混合数据集训练的模型在两个测试集上都保持了稳健的性能。在合成测试集上，它的Missing分数为0.04，Extra分数为0.03，几乎没有残余伪影或意外内容去除。在真实世界测试集上，混合模型也保持了较低的感知误差，Missing分数为1.90，Extra分数为2.06。这些结果表明，混合训练策略有效地抑制了感知退化，同时确保了在不同领域的视觉保真度。

在真实世界测试集上的一个有趣观察是，仅在合成数据集上训练的模型获得了更高的PSNR，为43.20，而仅在真实世界数据集上训练的模型为39.41。然而，在感知指标上这一趋势相反：仅在合成数据集上训练的模型显示出显著更高的Missing和Extra分数，分别为5.25和3.06，表明严重的背景失真和水印残余伪影。如图6所示，这些感知退化非常明显，支持了定量结果中观察到的差异。这种差异突显了像PSNR这样的像素级指标的局限性，它们无法完全捕捉与人类评估相关的感知退化。提出的Missing和Extra分数通过明确测量意外的背景去除和剩余的水印痕迹，补充了这些传统的图像质量指标。根据这些感知标准，尽管PSNR略低，但在混合数据集上训练的模型展示了更好的视觉保真度和泛化能力。

微调。在实际场景中，模型通常首先在易于获取的大规模数据集上进行预训练，然后在特定领域的数据上进行微调，以更好地适应目标任务[27]、[28]、[29]。为了反映这种设置，我们使用了一个在合成数据集上预训练的公开模型[3]，并使用真实世界数据集或混合数据集进行额外的微调阶段。我们遵循了从头开始实验的超参数配置。

如表3所示，两种微调数据集之间的比较显示出明显的分歧。仅在真实世界数据上训练的模型在真实世界测试集上表现良好，但在合成数据集上表现急剧下降，这种现象与灾难性遗忘[30]、[31]一致。相对于Missing分数较高的Extra分数表明，主要问题源于水印去除不完全而不是背景失真。这些发现表明，仅学习真实世界数据集的水印特征的模型失去了之前关于合成水印模式的知识，清楚地展示了灾难性遗忘的现象。相比之下，混合训练策略缓解了这个问题，并在两个测试集上都保持了稳定的性能。这一结果与从头开始实验中的观察结果一致，进一步支持了混合数据组合对于实现跨多样化条件的稳健泛化的重要性。为了评估不同架构，我们还考虑了一个用于通用水印去除的预训练U-Net模型[14]，并使用相同的混合训练协议对其进行微调。如表3所示，尽管预训练存在领域差异，混合训练策略在合成和真实世界测试上都产生了强大的水印去除性能。这表明混合训练的好处跨架构都是有效的。

从头开始和微调实验的结果突出了我们研究的两个互补方面。混合数据组合对于在合成和真实世界领域实现稳健的泛化至关重要，使模型能够在保持水印去除能力和文档保真度的同时，减轻灾难性遗忘。除此之外，实验还揭示了传统图像质量指标（如PSNR）的局限性，这些指标无法充分捕捉人类观察者能够明显察觉的感知错误。提出的EA-RMSE指标通过其Missing分数和Extra分数，提供了一个感知上一致的度量，能够捕捉到不希望的背景去除和剩余的水印痕迹。在这些感知标准下，尽管PSNR略低，但在混合数据集上训练的模型展示了更好的视觉保真度和泛化能力。

延迟-质量权衡。为了研究推理效率和恢复质量之间的权衡，我们使用DDIM采样（T∈{25,20,10,5}评估我们的模型，并将其与轻量级的独立U-Net基线[14]进行比较。延迟表示处理单个文档图像所需的平均墙钟时间，批量大小为1。如表4和表5所示，将DDIM步骤从25减少到10显著降低了延迟，同时在两个数据集上的恢复质量仅有轻微下降。然而，进一步减少到5步会导致性能急剧下降，恢复质量最终低于U-Net基线。独立的U-Net实现了最低的延迟，但其较高的“Missing”分数表明其文档保存能力较弱，不如基于扩散的模型。因此，轻量级的U-Net基线在速度上具有显著优势，但无法达到基于扩散的模型的恢复保真度。综合这些结果表明，10个DDIM步骤在速度和质量之间提供了良好的平衡。在主要实验中，我们使用了25个步骤，因为这项研究更注重在多种场景下实现最大的恢复保真度和鲁棒性，而不是实时处理。尽管当前的延迟在文档处理的操作范围内是可以接受的，但可以通过诸如渐进式蒸馏[32]等技术进一步提高效率，该技术将多步骤去噪过程压缩为一个需要较少步骤的学生模型，或者通过训练后量化[33]来减少计算开销，同时最小化输出质量的下降。我们将这些优化作为未来工作有前景的方向。

表4. 在合成测试集上对推理延迟和生成质量的定量比较。

模型 步骤 T 质量 延迟（秒/样本）↓ 空单元格 空单元格 PSNR ↑ SSIM ↑ RMSE ↓ Missing ↓ Extra ↓ 空单元格
Diffusion 25 49.2 0.99 1.42 0.05 0.05 21.37 20 48.88 0.99 1.46 0.05 0.05 16.85 10 46.02 0.99 1.75 0.05 0.06 8.30 53 5.72 0.99 4.58 0.03 1.76 4.22
独立U-Net–4 1.2 0.98 2.68 0.16 0.30 0.02 表格

表5. 在真实世界测试集上对推理延迟和生成质量的定量比较。

模型 步骤 T 质量 延迟（秒/样本）↓ 空单元格 空单元格 PSNR ↑ SSIM ↑ RMSE ↓ Missing ↓ Extra ↓ 空单元格
Diffusion 25 36.4 0.95 11.85 1.99 2.06 20 36.16 0.95 11.75 1.96 2.06 16.79 10 34.22 0.95 11.89 1.89 2.15 8.42 25 8.01 0.94 13.57 1.59 3.76 4.26
独立U-Net–3 0.08 0.91 12.97 2.52 3.61 0.02 表格

表6. 使用不同真实世界：合成比例的混合数据集对模型进行微调后，在合成和真实世界测试数据集上的定量评估。

测试数据集 真实世界：合成 PSNR ↑ SSIM ↑ RMSE ↓ Missing ↓ Extra ↓
合成 0.50:0.50 49.29 0.99 1.41 0.05 0.05 0.33:0.66 49.74 0.99 1.32 0.05 0.04 0.25:0.75 49.87 0.99 1.31 0.05 0.05 0.16:0.83 49.70 0.99 1.31 0.05 0.04
真实世界 0.50:0.50 36.29 0.95 11.92 2.01 2.03 0.33:0.66 35.97 0.95 11.96 2.02 2.05 0.25:0.75 35.59 0.95 12.30 2.08 2.15 0.16:0.83 34.90 0.95 12.48 2.11 2.18 5.3

5.3. 消融研究
为了研究微调过程中混合数据组成的影响，我们通过改变混合训练集中真实世界数据和合成数据的比例来进行消融研究。具体来说，我们尝试了四种真实世界：合成比例：0.50:0.50、0.33:0.66、0.25:0.75和0.16:0.83，同时保持训练样本总数为9600个。这个实验使用与默认设置相同的训练计划和超参数，只改变组成比例，以便直接隔离比例的影响。如表6所示，使用所有混合比例微调的模型在合成测试集上保持了一致的高性能。PSNR始终高于49.2，SSIM保持在0.99以上，而RMSE、Missing和Extra分数保持稳定且较低，表明包含真实世界数据不会影响模型处理合成内容的能力。在真实世界测试集上，模型在不同混合比例下表现出很强的鲁棒性。尽管随着合成数据比例的增加，性能略有下降，但总体影响仍然很小。例如，SSIM分数保持在0.95左右。感知指标Missing和Extra分数仅从2.01增加到2.11，从2.03增加到2.18。如第5.2节所示，即使在没有真实世界数据的情况下进行训练也会导致泛化能力明显下降，而加入适量的真实世界数据对于保持鲁棒性能非常有效。

5.4. 对不同印章条件的进一步分析
我们对模型在不同印章条件下的性能进行了详细分析。具体来说，我们比较了从合成数据集从头开始训练的基线模型，以及在混合数据集上进一步训练得到的微调模型，在真实世界数据集中定义的五个印章类别（颜色、形状、分辨率、位置和损坏）上的表现。为了分析性能，我们使用PSNR作为传统的图像质量指标来观察各个类别之间的总体趋势。此外，我们还使用了EA-RMSE作为感知指标，以解决传统指标的局限性。这种统一的评估框架使我们能够更全面地了解模型行为如何根据印章特征而变化。图7显示了分析结果，每一行对应一个类别。

图7. 在真实世界数据集中对五种印章类别（颜色、形状、分辨率、位置和损坏）的印章去除性能的进一步分析。每一行对应一个特定类别，每一列代表一个评估指标（PSNR、Missing、Extra）。结果比较了从合成数据集从头开始训练的基线模型（蓝色）和在混合数据集上微调的模型（橙色）。

5.5. EA-RMSE与LVLM判断的验证
如第5.2节所示，较高的Missing分数对应于背景退化，而较高的Extra分数表明仍有残留的印章，这证实了EA-RMSE作为定量指标的可靠性。除了其定量一致性外，EA-RMSE还旨在仅评估错误区域，这在概念上类似于人类对感知伪影的关注。为了评估这一设计特性是否有效地捕捉了感知质量，我们进行了7点李克特量表评估。最近的研究[34]、[35]表明，大型视觉语言模型（LVLM）在评估视觉质量和偏好方面与人类判断有很强的一致性。基于这一观察，我们使用LVLM生成的分数作为人类评估的代理。对于EA-RMSE的两个组成部分（Missing和Extra），我们计算了分数与LVLM评分之间的斯皮尔曼等级相关性（ρ），以定量衡量感知对齐程度。

实验设置。我们在第5.1节描述的相同合成和真实世界测试集上评估这一指标。用于此评估的基线模型仅在合成数据集上训练[3]。该模型表现出多种感知错误，如印章去除不完整和背景扭曲，适合评估该指标对不同类型视觉伪影的敏感性。作为人类判断的代理，我们使用基于GPT 4.1 [36]（2025-04-14）的大型视觉语言模型（LVLM）的判断。判断提供了带有印章的输入图像、去除印章后的模型输出以及相应的真实图像，并要求在7点李克特量表上对两个方面——印章去除和文档保存——进行评分，从而得到我们所谓的LVLM分数。我们在附录A中提供了完整的评估提示。

结果。表7显示了指标与LVLM分数之间的斯皮尔曼相关性（ρ）：EA-RMSE在两个轴上与LVLM判断的吻合度最高：将Extra分数与印章去除质量相关联时，ρ=0.736；将Missing分数与文档保存质量相关联时，ρ=0.789。相比之下，传统指标PSNR、SSIM和RMSE的相关性分别为ρ=0.579、0.630和0.579（在印章去除轴上），以及ρ=0.764、0.752和0.764（在文档保存轴上），表明与人类或LVLM分数的一致性仅为中等。在Extra分数中，PSNR、SSIM和RMSE的相对较低相关性可以通过全图像平均稀疏印章残余（4.39M out of 144.18M测试像素；约3.0%）引入的平均偏差来解释；而EA-RMSE将评估限制在局部掩码上。相反，在Missing分数中，更广泛的错误区域（13.68M out of 144.18M；约9.5%）放大了全局指标的响应。

5.6. 人类感知研究
为了补充第5.5节中的LVLM验证，我们还进行了基于相同评估协议的人类感知研究。十名参与者独立评估了100张随机抽取的测试图像，这些图像也是用于LVLM评估的同一子集。参与者在两个维度上对输出进行7点李克特量表评分：印章去除质量和文档保存质量。为了消除潜在的偏见，每个观察者的图像和模型的呈现顺序是随机的。我们通过平均所有十名参与者对每张图像的评分来计算平均意见分数（MOS），并评估其与每个评估指标的斯皮尔曼等级相关性。

结果。为了评估十名参与者之间的一致性，我们计算了Krippendorff的α [37]，对于印章去除得到α=0.833，对于文档保存得到α=0.789。表8报告了人类MOS与每个评估指标之间的Spearman等级相关性（ρ）。EA-RMSE在两个轴上都与人类判断具有最高的相关性：去除水印（Extra）的ρ=0.630和保留文档（Missing）的ρ=0.636，始终优于PSNR、SSIM和RMSE。这些结果支持了表7中基于LVLM的发现，证实EA-RMSE能更好地捕捉到水印去除质量的感知差异。此外，我们还证明了LVLM的评分本身与人类MOS有很强的一致性（两个轴上的ρ分别为0.762和0.825）。这些发现为使用基于LVLM的评估作为人类感知评估的可扩展和可靠代理提供了实证支持。

6. 讨论与局限性
6.1. 数据集偏差
尽管提出的真实世界水印数据集通过捕捉物理水印和扫描特征有助于减少合成数据与真实数据之间的差距，但其文档背景主要限于韩国的新页面。因此，我们分析了模型在外部文档布局、文档质量下降、多水印重叠以及具有更广泛语言和文档类型变化的虚拟文档真实水印数据下的表现。为了评估模型对语言和结构变化的鲁棒性，我们分析了其在与训练领域不同的文档上的表现。具体来说，我们从AI Hub3中手工整理了两个专门的测试集：一个包含多种水印布局的英文文档样本子集，以及一组超过十年的行政文档，这些文档由于老化而质量显著下降。图8和图9表明，模型的水印去除能力能够有效地泛化到未见过的语言和降级的文档质量。然而，在具有挑战性的场景中出现了一个共同的问题：无意中擦除了非水印图形元素，例如文档标志。如图8(b)和图9所示，模型倾向于针对高对比度区域进行操作。这些结果表明，在遇到不熟悉的文档布局时，模型在区分水印和其他显著图形组件方面仍存在困难。

下载：下载高分辨率图像（314KB）
下载：下载全尺寸图像
图8. 英文文档的定性结果。图(a)展示了一个成功案例，其中水印被干净地去除，同时保留了周围内容。相反，图(b)展示了一个具有挑战性的样本，其中非水印元素（例如彩色标志）被无意中修改了。

下载：下载高分辨率图像（288KB）
下载：下载全尺寸图像
图9. 不同文档风格的定性结果（例如合同和行政表格）。图(a)和图(b)都代表了具有挑战性的案例，模型干净地去除了水印，但无意中过度去除了非水印元素（例如左上角的标志）。

表9. 英文文档的人类感知评估结果。每张图像都在两个轴上使用7点李克特量表（7 = 最好）进行评分：水印去除质量和文档保留质量。平均值、中位数和标准差分别表示所有图像和观察者的评分的平均值、中位数和标准差。

为了量化这些观察结果，我们按照第5.6节中的协议对精心整理的英文子集（N=76）进行了人类评估。如表9所示，模型获得了较高的平均水印去除分数（5.58），并且评分者间的一致性很强（α=0.801），证实了其在不同文档类型上的有效性。相比之下，虽然文档保留的平均分数也很高（5.61），但评分者间的一致性却非常低（α=0.308）。这种差异表明，模型的保留性能高度不一致，并且对特定的文档布局非常敏感。这些发现强调了仅依赖有限训练分布的数据驱动特征不足以实现完美恢复。这种不稳定性突显了在未来的工作中结合更强的空间先验或身份保留约束的必要性。扩大训练数据以包括更广泛的文档格式，并引入局部约束将确保修改严格限制在目标水印区域内，从而防止文档特定内容的无意破坏。

我们进一步进行了一个代表性的多水印重叠压力测试，以检查模型在不同视觉条件下处理多个水印重叠时的稳定性，使用的是经过微调的模型和混合训练策略。如表10所示，我们评估了涵盖黑色水印重叠、混合形状水印重叠和彩色水印重叠的代表性案例。虽然模型在保持底层文档结构方面保持稳定，但在重叠条件下的水印去除效果却有显著差异。具体来说，模型有效地利用了颜色线索，在“颜色”设置中表现更好，红色水印被成功去除。然而，在相同颜色条件（“黑色”）或混合形状的情况下，模型往往无法完全消除所有水印层，留下明显的残留物或未能将某些重叠组件识别为水印。这些观察结果表明，尽管我们的水印去除模型确保了文档的完整性，但要完全分离高密度重叠，特别是那些具有相似视觉特征的重叠，仍然是一个重大挑战，这需要收集更多样化的数据集或更复杂的约束。

基于这些发现，我们进行了另一个实验，结合了第3.3节中描述的虚拟文档数据集，以进一步评估数据集偏差的程度。虚拟-真实-合成混合训练集是通过将500张虚拟训练图像过采样到1200张来构建的，以确保充分接触虚拟文档模式，并将其添加到现有的真实-合成混合集（4800张真实世界图像和4800张合成图像）中，其中100张用于验证，300张用于测试。与第5.3节中的固定预算消融不同，这个辅助实验并不是为了隔离数据集比例的影响。相反，它评估了虚拟文档真实水印数据是否可以作为探测和减轻文档布局偏差的可扩展扩展。遵循第5节中的相同微调协议，我们在这个扩展的训练集上对在合成数据集[3]上预训练的模型进行了微调。

表10. 三种设置下的多水印重叠压力测试示例（黑色、彩色和混合形状水印）。
空单元格
黑色
颜色
混合形状
原始图像
去除水印后的图像

表11. 辅助虚拟文档分析的定量比较，涵盖了完全合成的水印覆盖、真实世界和虚拟文档真实水印测试数据集。
测试数据集
训练数据集
PSNR ↑
SSIM ↑
RMSE ↓
Missing ↓
Extra ↓
合成
真实
20.89
0.79
31.09
4.59
8.72
真实-合成混合
47.08
0.99
1.61
0.05
0.05
虚拟-真实-合成混合
54.17
0.99
1.00
0.04
0.04
真实世界
35.47
0.95
11.58
1.92
1.94
真实-合成混合
35.01
0.95
11.83
1.95
2.01
虚拟-真实-合成混合
43.94
0.95
11.38
1.90
2.10
虚拟-真实
32.57
0.88
23.26
7.46
4.40
真实-合成混合
31.68
0.87
24.51
8.64
3.34

下载：下载高分辨率图像（892KB）
下载：下载全尺寸图像
图10. 虚拟文档真实水印测试数据的定性结果。在不同训练数据集上微调的模型的水印去除输出与输入和真实值（GT）进行了比较。

如表11所示，虚拟-真实-合成混合模型在虚拟文档测试集上取得了改进的性能，并在真实世界测试集上保持了可比的性能，表明虚拟文档真实水印数据可以部分减轻文档布局偏差。在虚拟测试集上，虽然其他两个模型的Extra分数较低，但它们的Missing分数（分别为7.46和8.64）表明它们倾向于在去除水印的同时过度去除背景内容。相比之下，虚拟-真实-合成混合模型在保留背景内容的同时保持了合理的水印去除水平，表现更为平衡。图10中的定性比较显示了这一点。虚拟-真实-合成混合模型（Virtual Hybrid）产生了更干净的恢复结果，减少了不必要的背景内容去除，而其他模型在去除水印时更频繁地扭曲了背景文本。这些结果表明，合成生成的虚拟文档为扩展真实世界训练数据提供了一种可扩展且实用的方法，通过这个流程结合更广泛的文档格式、语言和视觉风格将是解决数据集偏差的有希望的方向。

我们进一步使用第3.3节中描述的虚拟文档数据集重新评估了图8和图9中的具有挑战性的案例，以评估增加的多样化布局和图形多样性是否改善了非水印元素的保留。如图11和图12所示，虚拟-真实-合成混合模型在各种文档布局中一致地干净地去除了水印。然而，过度擦除类似标志的组件的倾向仍然存在，这表明仅通过数据集扩展可能无法解决这个问题，需要在训练期间加入额外的约束。解决这些挑战可能需要超越以数据为中心的解决方案，转向在训练期间结合显式的空间约束或身份保留机制，我们将这作为一个重要的未来工作方向。

下载：下载高分辨率图像（291KB）
下载：下载全尺寸图像
图11. 使用主要混合模型和虚拟-真实-合成混合模型对英文文档的定性比较。示例显示水印去除成功，而类似标志的非水印元素可能仍然被修改。

下载：下载高分辨率图像（638KB）
下载：下载全尺寸图像
图12. 不同文档风格的定性结果（例如合同和行政表格）。图(a)和图(b)都代表了具有挑战性的案例，模型干净地去除了水印，但无意中过度去除了非水印元素（例如左上角的标志）。

6.2. 局限性
为了反映广泛的真实世界场景，我们在数据集中引入了各种水印条件。尽管如此，仍然存在几个局限性。首先，文档质量会影响水印去除的难度。在较旧的文档中，纸张退化、墨水渗出和背景污染通常会使原始文本和水印之间的边界变得不清晰，从而增加恢复的难度。其次，扫描条件也存在变异性。在实际的文档数字化过程中，图像质量可能因分辨率、照明、压缩方法和扫描仪特性等因素而有所不同。这些差异可能会影响模型的泛化能力。最后，水印的变化也会影响性能。在真实文档中，水印的应用方向或压力并不总是统一的，可能会出现旋转、倾斜或部分压印的情况。这些变化会改变水印的视觉图案，使去除变得更加困难。本研究的主要目的是检查主要在合成数据上训练的模型在结合真实世界数据时是否能够泛化到真实文档。因此，未来的工作将通过扩展数据集和实验来解决这些局限性，包括更广泛的文档质量、扫描条件和水印变化。

7. 结论
在本文中，我们解决了现有水印去除模型的关键局限性，并通过数据、训练和评估的改进提高了它们在真实世界文档处理中的适用性。为了克服仅在完全合成水印覆盖数据上训练的模型的有限泛化能力，我们引入了一个精心整理的真实扫描文档数据集，反映了多样化的水印条件。然后，我们使用结合了真实世界和完全合成数据的混合数据集训练了一个基于扩散的模型，提高了鲁棒性，同时没有牺牲在合成输入上的性能。此外，我们提出了EA-RMSE作为一个感知上互补的评估指标，旨在突出关键故障区域，并提供更精确和可解释的水印去除质量和文档保留评估。虽然我们的方法展示了改进的泛化和感知质量，但真实世界数据集在文档类型、水印风格和扫描条件方面的多样性仍然有限，这可能会限制模型泛化到更多样化真实世界场景的能力。此外，EA-RMSE的感知验证目前依赖于仅在完全合成数据上训练的基线模型，这限制了其在不同架构和领域中与人类感知的对齐程度。扩展数据集以涵盖更广泛的真实世界变化，并在多样化的训练范式中验证EA-RMSE将是未来研究的重要方向，最终有助于实现更可靠和感知对齐的文档恢复系统。

cRediT作者贡献声明
Seulbi Lee：撰写——原始草稿、可视化、验证、软件、方法论、调查、形式分析、数据整理。
Noah Lee：验证、软件、方法论、数据整理。
Jongeon Baek：可视化、验证、软件、调查、数据整理。
Hyunseok Min：撰写——审阅与编辑、监督、项目管理、调查、概念化。
Sungchul Choi：撰写——审阅与编辑、监督、项目管理、资金获取、概念化。
Sangheum Hwang：撰写——审阅与编辑、监督、项目管理、资金获取、概念化。

在准备这项工作期间，我们出于两个有限的目的使用了生成式AI。GPT-5.4用于为辅助虚拟文档真实水印数据生成虚构的多语言文档背景内容；生成的页面随后被打印、物理盖章并扫描。GPT-4.1（OpenAI，版本2025-04-14）被用作感知质量评估的代理评估器，如第5.5节和附录A中所描述的。LVLM的输出是从结构化提示生成的，用于相关性分析。没有使用生成式AI图像模型来创建水印去除输出、修改实验结果或修改报告模型输出的图表。作者审查了所有生成的内容，并对出版物的内容负全责。