基于对抗频率感知引导网络的历史文档修复

《Pattern Recognition》：Historical document restoration via an Adversarial Frequency-aware Guidance Network

　　

• •
  提出AFG-Net，用于在混合退化条件下实现鲁棒的历史文档修复。
• •
  输入与修复残差被用作在线困难退化线索。
• •
  逐频带频率掩码在傅里叶域中重新组合残差退化。
• •
  互补掩码极小极大学习避免了平凡频率选择。
• •
  AFG-Net提升了图像保真度、面向OCR的可读性以及效率。

引言

历史文档图像对于文化遗产保存和历史研究不可或缺[1]、[2]。然而，长期存储、反复处理以及早期数字化往往会引入严重且异构的退化，包括笔画或字符缺失、纸张破损、墨迹侵蚀、污渍以及低对比度老化伪影。这些退化不仅降低了视觉质量，还严重损害了下游分析任务，例如光学字符识别（OCR）、语义理解和字形级别识别。因此，既能保持视觉保真度又能确保语义可读性的鲁棒历史文档修复（HDR）方法对于大规模数字人文应用至关重要。

近期深度学习方法在自然图像修复（NIR）任务中取得了显著成果，包括去雾、超分辨率、去雨和低光增强[3]。然而，将NIR模型直接迁移到HDR仍然困难重重。首先，历史文档以文本为中心且对结构敏感。它们由离散符号元素组成，其退化往往是局部性的并与语义耦合，例如沿笔画的侵蚀或缺失字符区域。因此，许多NIR模型虽然能产生视觉上合理的输出，但会扭曲决定可读性的精细笔画拓扑结构。其次，常见评估协议与文档语义并不完全一致。大多数HDR基准强调图像质量评估指标，如PSNR和SSIM；然而，对于以文本为中心的图像，高保真度分数并不一定意味着字符可读或OCR结果准确。因此，面向文本的指标，如字符级准确率，对于准确评估至关重要。图1(a)展示了在不同历史文档退化条件下代表性方法的修复结果。

针对上述挑战，近期研究已从通用NIR转向结构感知的文档图像修复（DIR）和HDR任务。现有DIR方法主要解决低级文档修复任务，如光照校正、增强、二值化、去扭曲[4]和去阴影[5]、[6]。在该方向上，DocRes[7]针对多种文档退化设计了一个多合一框架。尽管这些方法改善了退化文档图像的视觉质量，但它们通常旨在恢复更干净的外观，而非重建缺失或损坏的历史内容。历史文档处理方法也研究了文本修复[8]和单字符修复[1]、[9]、[10]。最近，DiffHDR[2]将基于扩散的框架与大规模HDR28K数据集相结合，实现了强大的感知质量。然而，基于扩散的修复依赖于迭代去噪，计算代价高昂，且在严重或混合退化下可能会过度平滑高频笔画细节。如图1(b)所示，代表性方法之间的修复质量与OCR对比表明，视觉保真度并不总是直接对应于字符可读性。图1(c)进一步总结了所有评估方法的多指标性能，展示了AFG-Net平衡的整体表现。这些观察促使我们提出两个关键问题：(1) 如何学习退化感知表示，以保留语义可读性所需的字形结构？ (2) 如何构建高效的修复框架，以增强对多样化混合退化的鲁棒性？

为回答这些问题，我们提出了一种对抗性频率感知引导网络（AFG-Net），用于在混合退化和分布偏移条件下的鲁棒高效历史文档修复。我们的核心思想是将输入-修复残差用作模型特定的困难退化线索。给定退化的输入及其当前修复结果，残差揭示了模型难以恢复的退化成分。因此，AFG-Net通过自适应频率掩码生成器（AFMG）将此类残差转换为在线困难样本监督，AFMG预测逐频带频率掩码并在傅里叶域中选择性重新组合残差退化。所生成的样本被约束在观测到的输入-修复残差空间内，同时向修复网络呈现更具挑战性的退化模式。为避免平凡频率选择，我们进一步引入互补掩码目标，构造具有相反优化信号的困难和相对容易样本对，鼓励多样且信息丰富的退化建模。为在处理这些样本的同时保持文档可读性，我们使用基于稀疏Transformer的修复网络（STRN）实现修复分支，该网络集成了自适应稀疏注意力（ASA）、轻量级多尺度前馈建模和混合专家特征提取，以中等计算成本建模长程布局结构和精细字符笔画。主要贡献总结如下：

• •
  我们提出AFG-Net，一个频域困难样本学习框架，利用输入-修复残差来提高复杂退化条件下历史文档修复的鲁棒性。
• •
  我们引入带有互补掩码目标的自适应频率掩码生成，在残差约束下构建困难样本，同时抑制平凡频率选择。
• •
  我们采用文本结构感知的修复骨干网络实现所提出的困难样本学习策略，并通过全面的图像质量、OCR可读性和效率评估验证其有效性。

章节片段

自然图像修复

自然图像修复（NIR）已在去雾、去雨、超分辨率、去噪、低光增强、高动态范围成像以及多合一修复方面进行了广泛研究[11]、[12]、[13]、[14]、[15]、[16]、[17]。早期方法主要依赖特定任务的退化先验，而近期方法越来越倾向于基于学习的统一框架、注意力机制以及针对多种退化的更强修复骨干网络。代表性的一体化修复

问题定义与动机

历史文档修复（HDR）旨在从包含混合且与内容耦合伪影的退化观测中恢复清晰的文档图像。修复输入遵循各基准既定的协议。令$\mathcal{C}$表示数据集特定的条件信息。对于HDR28K，$\mathcal{C}=\{I_m,I_c\}$包含数据集提供的退化掩码$I_m$和内容图像$I_c$；对于RCRN，$\mathcal{C}=?$，仅使用退化图像本身。本文中$I_m$仅表示数据集提供的

数据集与对比

我们在两个互补的基准上评估AFG-Net，涵盖跨两种文字系统的文档级和字符级修复：HDR28K[2]和RCRN[36]。HDR28K包含28,552对512 × 512分辨率的历史文档图像，具有多种退化，如字符遗漏、纸张撕裂和墨迹侵蚀。该数据集分为22,848对训练对和5,704对测试对。RCRN专注于历史汉字，包括甲骨文，分辨率为256 × 256且

讨论与局限性

我们提出的AFG-Net仍存在若干局限性。首先，由于训练过程中使用了FFT/IFFT操作和辅助困难样本分支，AFMG引入了额外的训练成本。尽管AFMG在推理阶段被移除且不增加推理时参数或FLOPs，但降低频域困难样本生成的训练开销仍是一个重要方向。其次，当前评估主要在HDR28K和RCRN上进行，其文字系统、布局以及

结论

在本文中，我们提出了AFG-Net，用于在复杂且与内容耦合退化条件下的历史文档修复。核心思想是利用输入-修复残差作为频域困难样本线索，使模型能够从训练过程中仍具挑战性的退化模式中学习。为此，AFMG通过在傅里叶域中选择性重新组合观测到的残差退化来构建残差约束的困难样本，而互补掩码目标则抑制

CRediT作者贡献声明

Nanfeng Jiang（蒋南峰）：撰写——审稿与编辑，撰写——初稿，验证，监督。Ziyu Li（李子瑜）：撰写——初稿，数据整理。Liqun Lin（林力群）：形式分析，数据整理。Ting Zhang（张婷）：方法论，调查研究。Shunzhou Wang（王顺周）：项目管理，方法论。Xu-Yao Zhang（张绪尧）：方法论。Yun Wu（吴云）：验证。Da-Han Wang（王大汉）：监督，资金获取。

利益冲突声明

作者声明他们不存在可能影响本文所报告工作的已知竞争财务利益或个人关系。

Nanfeng Jiang|Ziyu Li|Liqun Lin|Ting Zhang|Shunzhou Wang|Xu-Yao Zhang|Yun Wu|Da-Han Wang