DADoc:基于由粗到精学习的退化无关文档图像修复

《Engineering Applications of Artificial Intelligence》:DADoc: Degradation-Agnostic Document Image Restoration via Coarse-and-Fine Learning

【字体: 大 中 小 】 时间:2026年10月24日 来源:Engineering Applications of Artificial Intelligence 9.0

编辑推荐:

   •单个深度网络无需退化先验即可恢复复合文档退化。•小波细节残差引导注意力模块以锐化文本笔画。•频率分析揭示了为何粗粒度路径与细粒度路径必须融合而非切换。•恢复将光学字符识别的字符错误率降低了一半。引言文档理解是计算机视觉领域影响最大的实际应用之一,可实现关键任务,例如光学字符

  

•单个深度网络无需退化先验即可恢复复合文档退化。•小波细节残差引导注意力模块以锐化文本笔画。•频率分析揭示了为何粗粒度路径与细粒度路径必须融合而非切换。•恢复将光学字符识别的字符错误率降低了一半。引言文档理解是计算机视觉领域影响最大的实际应用之一,可实现关键任务,例如光学字符识别(OCR)(Mori et al., 1999)、版面分析(N. Zhang et al., 2024, Shehzadi et al., 2024, Huang et al., 2022)以及基于视觉语言模型的推理(Chen et al., 2024, Nacson et al., 2024)。这些应用从根本上依赖于干净、高质量的文档图像的可用性。然而在实际中,通过扫描仪或相机捕获的文档图像往往会受到各种退化的影响,例如不均匀光照、阴影、褶皱、水印、模糊以及由次优采集条件或物理损坏引起的噪声。这些退化严重损害文本保真度,从而降低下游文档理解系统的性能,限制了其在实际部署中的可靠性。因此,先前的工作提出了各种针对文档图像的任务特定恢复模型,包括去阴影(Li et al., 2023, L. Zhang et al., 2023)、去模糊(Souibgui and Kessentini, 2020, Yang et al., 2023)和外观增强(Y. Wang et al., 2022, J. Zhang et al., 2023)。尽管取得了成功,但它们专门化的设计限制了对多种或未见畸变的泛化能力,在联合处理此类情况方面仍有很大改进空间。尽管"一体化"恢复架构(Li et al., 2022, Park et al., 2023, Potlapalli et al., 2023, Conde et al., 2024)通过捕获随机纹理模式成功统一了自然场景中的去噪、去雨和去雾任务,但它们直接应用于文档恢复时往往受到特定领域约束的限制。与自然场景不同,文档图像的特征是在均匀背景上叠加了高频语义结构(例如清晰的文本笔画和表格结构)。为弥补这一差距,近期的开创性工作探索了在任务特定模型约束之外针对多种文档恢复任务的单架构方案。例如,DocRes(J. Zhang et al., 2024)引入了基于提示的统一框架,在单个骨干网络(Zamir et al., 2021)内动态选择恢复行为,而DocNLC(Wang et al., 2024)利用对比学习在多种退化中学习归一化的文档特征。这些方法展示了在统一框架下处理多种恢复任务的潜力。然而,这些方法保留了隐式的任务依赖性,限制了它们在目标设置中的实际适用性。DocRes需要显式提示来为每个特定恢复任务调节模型,需要在推理时生成不同的任务特定先验。同时,DocNLC要求进行任务特定的微调以达到最佳性能,需要为每个恢复任务单独学习权重。更关键的是,这两种方法在处理具有多种退化的文档时都需要迭代处理。这种顺序方法不仅增加了计算开销,还限制了对实际部署中常见的不可预测或混合退化的泛化能力。为了在未知和混合退化条件下进行无需任务先验的恢复,我们利用了如图1(c)所示的文档领域观察。文档图像的特征是在均匀的低频背景上稀疏分布的高频语义结构(例如字符笔画、表格线和图形边界)。退化不均匀地干扰这一结构,且无法仅通过频率分离:阴影和褶皱主要作用于平滑分量,而透印、噪声和模糊主要作用于精细细节,然而每种退化在两者中都留下了能量。退化伪影和真实内容在细节频段中也存在重叠,因为折痕和水印轮廓在真实文本笔画旁边注入了虚假边缘。区分两者的是一种结构先验而非频谱先验——只有真实内容才表现出严格的几何规律性,即集中在字符拐角和表格线上的定向边缘,而退化引起的边缘则缺乏这种一致性。这一观察将恢复目标重新定义为退化去除与内容恢复之间的解耦,而非低频和高频分量的简单划分。这促使我们设计一种模型,其中粗粒度路径减去平滑变化的退化(例如阴影、褶皱、光照变化)同时保留内容,而专门的细节路径通过关注这种几何先验来精炼真实笔画,两者是融合而非选择。基于这一洞察,我们开发了一个退化无关的文档图像恢复(DADoc)框架,通过两个协同过程恢复受多种辐射伪影(包括阴影、模糊、噪声、水印及其组合)退化的文档:(1) 粗粒度恢复重建全局布局并去除影响结构保真度的区域级伪影,(2) 细粒度恢复增强决定可读性的高频细节,如字符笔画和边缘。为实现这一范式,我们采用了一种层次化的Transformer架构(Chen et al., 2020, Zamir et al., 2021, Liang et al., 2021, Tu et al., 2024),包含双路径。主分支通过残差聚合保留文档结构,细细节精炼路径自适应地放大信息纹理。这种集成实现了尺度自适应恢复,能够在不被告知存在何种退化的情况下泛化到复杂的复合退化。该框架针对每种输出格式暴露一个轻量级输出尾部,因为不同任务的真值在本质上不同,因此我们将其描述为退化无关且带有任务特定输出尾部,而非任务无关。使我们的粗粒度和细粒度恢复策略得以实现的核心是我们提出的细细节恢复注意力(FDRA)模块,该模块解决了文档领域特有的挑战,即退化伪影和精细文本细节经常在高频谱中重叠。重要的是,粗粒度和细粒度阶段并非顺序应用,而是两个路径在单次前向传递中并行运行,允许FDRA利用粗粒度分支的全局上下文,同时精炼局部细节。为了明确传达文档特定的详细线索,FDRA利用通过小波分解提取的高频信息作为交叉注意力机制中的查询,而键和值则源自融合全局和局部线索的残差恢复上下文。这种设计注入了文档特定的归纳偏置,其中小波查询选择性地关注笔画边界并抑制由退化(如阴影边界和水印轮廓)引入的虚假高频边缘。通过训练一个在所有恢复任务间共享权重的单一网络,注意力机制利用跨任务一致性和高频差异来精确定位需要增强的区域。由于粗粒度路径同时抑制大尺度伪影,FDRA可以专注于真实文本细节而不被阴影边缘或水印边界等假阳性误导,这些假阳性通常会使传统的细节增强模块困惑。因此,模型不仅实现了卓越的视觉锐度,还保留了语义完整性。此外,为了有效地训练我们的框架,我们引入了两种针对文档领域的互补损失函数。首先,我们的退化不变文档对比损失利用了统一架构的共享特征空间,无论退化类型如何,都最大化恢复样本和干净样本之间的一致性,鼓励编码器表示语义内容而非噪声统计。我们在第4.8.4节中报告了这一目标的实证研究,考察了该目标需要多少个负样本才能超过其偶然值,以及由此产生的不变性中有多少转化为了恢复精度。其次,我们引入了文档布局一致性损失,以在粗粒度恢复期间保持结构完整性。我们使用预训练文档布局模型(Huang et al., 2022)的特征一致性来正则化恢复过程,鼓励恢复的图像保持与干净真值文档对齐的高层几何和语义关系。值得注意的是,布局编码器作为即插即用的特征提取器,可以无缝地替换为其他文档布局编码器。这种组合强化了我们的粗粒度和细粒度范式,并使模型能够在多样化、复合退化以及具有未见采集条件的文档上泛化到现实场景。我们通过在不同基准数据集上的广泛实验验证了我们方法的有效性,这些数据集涵盖了广泛的现实退化场景。此外,我们基于PubLayNet(Zhong et al., 2019)构建了一个合成多退化基准,为统一的、退化无关的恢复提供了更现实的评价设置。我们的框架在大多数基准上与任务特定的和统一的最先进方法相比取得了强劲的整体性能。值得注意的是,它在我们的基准上稳健地处理了混合和复合畸变,并迁移到采集条件与训练不相交的现实阴影和外观数据集,而且在真实拍摄页面上对下游文本识别的改进幅度比在我们的合成基准上更大。这些结果凸显了退化无关、语义对齐的恢复框架在现实应用中实现鲁棒文档数字化的实用价值。文档图像恢复:旨在减少数字化文档中的伪影以提高可读性并支持下游文档任务。早期的增强和二值化方法将自适应阈值整合到基于U-Net的模型中(He and Schomaker, 2019)或依赖于门控卷积(Yang et al., 2024),而基于GAN的方法(Souibgui and Kessentini, 2020, Y. Wang et al., 2022)将增强视为图像合成以提高鲁棒性。基于Transformer的恢复方法(Biswas et al., 2023)及本文方法:本文提出了退化无关的文档图像恢复(DADoc)框架,该框架通过添加粗粒度和细粒度组件的残差线索来恢复畸变的文档输入x:x?=x+x_res。如图2(a)所示,该框架采用层次化的基于Transformer的编码器-解码器骨干网络。我们将恢复过程分解为两个并行运行的互补路径:(1) 粗粒度恢复以恢复全局结构并消除大尺度伪影。数据集:为确保公平和全面的评价,我们按照每个恢复任务组织数据集。除非另有说明,所有实验设置均遵循DocRes(J. Zhang et al., 2024)。多种退化:现有的文档恢复基准通常关注孤立的退化类型(例如外观、阴影或模糊),这无法反映多种退化在同一文档中同时存在的真实世界场景。这种任务特定的偏见使得评估变得困难。结论:我们提出了一个退化无关的文档图像恢复框架,该框架通过并行粗粒度和细粒度恢复处理多样的辐射退化,无需在其输入端要求任何退化先验。粗粒度路径恢复全局布局并抑制大尺度伪影,而细细节恢复注意力模块使用小波细节残差作为查询来精炼笔画边界。逐退化的频率分析为这一设计提供了动机。每种退化……致谢:本工作得到了韩国政府(MSIT)资助的国家研究基金会(NRF)拨款(RS-2026-25597250)的支持。它还得到了淑明女子大学研究拨款(1-2603-2025)的部分支持,以及通过2024年人工智能技术商业化支持项目(SY240213)得到了首尔商业代理(SBA)的部分支持。此外,本研究还得到了人工智能产业融合署(AICA)拨款的部分支持。CRediT作者贡献声明:Jaeyeon Kang:原创稿件撰写、软件、方法论、形式分析、概念化。Chaewon Park:修订与编辑、验证、数据整理。Naeun Lee:修订与编辑、验证、数据整理。Hyunsoo Cho:软件、资源。Kibeom Hong:修订与编辑、原创稿件撰写、监督、概念化。利益冲突声明:作者声明他们没有任何已知的竞争财务利益或个人关系可能会影响本文所报告的工作。Jaeyeon Kang | Chaewon Park | Naeun Lee | Hyunsoo Cho | Kibeom Hong
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号