面向OCR的文本结构感知古籍文档图像修复网络DocRestormer

《Journal of King Saud University Computer and Information Sciences》：DocRestormer: a text-structure-aware network for document image restoration

　　

古籍在保存与数字化过程中常出现墨迹褪色、笔画断裂、模糊和噪声等复杂退化。这些退化破坏文本结构、降低可读性，并损害光学字符识别（OCR）等下游文档分析任务。因此，文档图像修复不仅应提升视觉质量，还应保留文本笔画与字符结构。本文以藏文古籍文档图像修复为代表性应用场景，构建了两个藏文古籍文档图像修复数据集，即丽江藏文古籍文档数据集（LJT）和北京藏文古籍文档数据集（BJT）。LJT数据集模拟由散焦和运动扰动引起的严重模糊，BJT数据集则建模由墨迹褪色、低对比度文本和轻微模糊引起的复合退化。研究人员进一步提出DocRestormer，一种面向文本结构的文档图像修复模型，构建于Restormer之上。DocRestormer引入可变形卷积局部增强模块（DCLE）、方向感知MDTA、多尺度GDFN、笔画结构感知分支以及自适应先验引导特征调制机制，以增强细粒度结构恢复。大量实验表明，DocRestormer在提升峰值信噪比（PSNR）等图像级修复指标的同时，显著增强了修复图像用于光学字符识别的可读性。采用Composite-CTC藏文识别器，经DocRestormer修复的图像在LJT和BJT数据集上分别取得5.93%和3.26%的字符错误率（CER），相比经Restormer修复的图像分别降低1.25和0.52个百分点。在公开文档数据集上的实验进一步表明，所提架构可通过数据集特定训练有效适配不同的任务特定设置。

研究背景方面，藏文古籍文档是世界文化遗产的重要组成部分，保存着藏族地区历史、宗教、科学技术等方面的宝贵知识。随着信息技术与文化遗产保护融合程度不断加深，其数字化保存已成为紧迫任务。然而，长期老化、潮湿和物理磨损常导致墨迹褪色、笔画断裂、边缘扩散、纸张老化和背景噪声，而不稳定的成像条件可能在数字化过程中引入运动模糊和散焦模糊。这些复杂退化降低图像清晰度，并阻碍版面分析、光学字符识别（OCR）和知识挖掘等下游应用。现有文档增强与修复数据集主要面向现代扫描、印刷或一般文档图像，通常聚焦去噪、阴影去除、去扭曲、水印或印章去除以及二值化，无法充分表征古籍特有的退化模式，如墨迹褪色、笔画断裂、边缘扩散和纸张老化。藏文字符具有强连续性、复杂笔画结构和紧密的字间连接，配对的退化与清晰藏文古籍图像仍然稀缺，而此类数据对监督模型学习从复合退化到清晰文档图像的真实逆映射至关重要。Restormer在高分辨率修复任务中表现出强性能和高效性，其转置注意力机制在保持高重建精度的同时降低计算复杂度，因此研究人员采用Restormer作为基线并针对藏文古籍的结构特征进行适配。

研究人员开展了以下研究：构建了两个全监督藏文古籍文档图像修复配对数据集LJT和BJT，模拟长期老化导致的墨迹褪色和笔画断裂以及数字化过程中引入的散焦模糊和运动伪影，每个数据集包含配对低质量图像与对应真值（GT）图像；提出DocRestormer修复架构，融合藏文笔画的几何特征与拓扑特性，具体引入三项架构改进：（1）可变形卷积局部增强（DCLE）模块在早期特征提取阶段将笔画与背景解耦；（2）将原始多深度卷积头转置注意力（MDTA）和门控深度卷积前馈网络（GDFN）分别重新设计为方向感知MDTA和多尺度GDFN，以实现空间方向对齐和动态多尺度特征路由；（3）引入轻量级基于CNN的笔画结构感知分支和自适应先验引导特征调制机制，引导网络超越像素级映射走向结构感知修复。结论表明，在LJT和BJT上，DocRestormer在所评估的修复方法中取得最佳总体性能，除提升全图重建质量外，还获得最高的边界F1分数（BF1）和中心线Dice（clDice）分数，表明字符边界、笔画连续性和局部拓扑恢复更准确，并在Composite-CTC评估下取得最低的字符错误率（CER）和音节错误率（SER），在DAN、DAN+和VAN下也观察到一致优势。在公开文档去模糊数据集和ShabbyPages上的任务特定实验进一步表明，DocRestormer架构经领域特定训练可有效用于英文印刷文档去模糊以及文档去噪和二值化。消融实验验证了DCLE、方向感知多尺度（DAMS）Transformer模块和笔画感知自适应先验调制（SAPM）模块分别对局部特征细化、方向与多尺度表示以及笔画先验引导修复的贡献。其重要意义在于，实验结果表明显式引入文本结构先验可在所评估的数据集特定设置下改善图像重建、笔画结构保持和下游OCR性能。

关键技术方法方面，研究人员采用Restormer作为基线架构并构建DocRestormer；设计可变形卷积局部增强模块，通过偏移预测分支估计采样偏移并经双线性插值实现自适应采样；设计方向感知MDTA，以1×5水平卷积和5×1垂直卷积两个并行各向异性深度卷积分支替代单一3×3深度卷积；设计多尺度GDFN，引入3×3和5×3并行深度卷积分支与恒等分支的多尺度特征聚合机制；构建基于CNN的笔画结构感知分支，其监督目标由GT图像经自适应阈值、最大池化膨胀和Sobel梯度计算动态生成伪笔画目标，无需额外人工笔画标注；引入自适应先验引导特征调制机制，通过StrokePriorAdapter生成缩放因子、偏移因子和多头注意力门控向量；采用解耦学习后聚合引导的两阶段训练策略。数据集方面，LJT和BJT分别包含200和185幅藏文长卷图像，原始卷图像按7:1:2划分为训练、验证和测试集，训练和验证图像裁剪为重叠的256×256图像块，训练集分别得到2348个LJT图像块和4875个BJT图像块，测试图像在原始分辨率下评估；LJT图像约为1100×270像素，BJT图像约为4400×1100像素。退化合成方面，LJT采用随机模糊模拟散焦模糊、运动模糊及其组合，BJT先采用结构感知非均匀退化模拟墨迹褪色、纸张老化和局部磨损，再叠加适度模糊。此外使用公开文档去模糊数据集（25000对图像用于训练、5000对用于测试）和ShabbyPages数据集（6202个合成退化-清晰训练对和200幅真实测试图像），并使用HDC2021和NoisyOffice-real真实数据集进行定性评估。

研究结果方面，一、LJT和BJT数据集上的比较实验：在LJT上，退化输入仅达20.3 dB的PSNR和0.445的SSIM，CER和SER分别达54.60%和86.66%；GT图像在Composite-CTC下CER和SER分别为2.19%和4.71%。DocRestormer取得最高PSNR 24.364 dB，CER和SER分别降至5.93%和14.46%，均为所有评估修复方法中最佳；相比Restormer，PSNR从23.768提升至24.364 dB，CER从7.18%降至5.93%，SER从17.10%降至14.46%。NAFNet取得最高SSIM 0.772，略超DocRestormer的0.770，但其CER和SER仍高达9.87%和23.32%，表明更高的全图结构相似性不一定转化为更好的文本可识别性。在BJT上，DocRestormer取得最高PSNR 35.952 dB以及最低CER和SER，分别为3.26%和7.98%，SSIM为0.921并列最高。错误统计表明，替代错误是LJT和BJT上识别错误的主要来源，DocRestormer将LJT退化输入的5667个替代错误降至989个，并在两类数据集上均保持相对较低的插入和删除计数。跨识别器评估中，尽管DAN、DAN+和VAN的绝对识别性能存在差异，DocRestormer在所有修复方法中取得最低CER和SER，表明其识别增益并非特定于Composite-CTC。二、公开文档去模糊数据集上的比较实验：DocRestormer取得最高PSNR和SSIM，分别为28.459 dB和0.971，同时取得最佳MANIQA、MUSIQ和DISTS结果；LPIPS为0.016，为次优结果，接近LoFormer的最佳值0.015。小文本样本分析表明DocRestormer在小字体符号和公式细节中保留更完整结构，使相邻笔画和字符边界分离更清晰。三、公开文档增强数据集ShabbyPages上的比较实验：DocRestormer在所有评估指标上取得最佳或次佳性能，在去噪和二值化设置下去除大部分背景干扰的同时保留主要文本结构。四、笔画级结构修复定量分析：DocRestormer在所有四个数据集上取得最佳BF1和clDice分数；在LJT上BF1和clDice分别比Restormer提升4.27和3.58个百分点，而PSNR提升仅0.596 dB；在BJT上BF1和clDice提升分别达2.26和2.65个百分点，PSNR增益为0.389 dB，表明改进主要集中在文本边界和连通笔画结构而非均匀分布于全图。五、失败案例分析与错误归因：藏文音节分隔符（tsheg marks）比主字符笔画小得多且仅占少数像素，在严重模糊、墨迹褪色或低对比度下易与纸张噪声混淆，可能被误删或产生虚假响应，导致音节边界判断错误并增加SER，尽管DocRestormer通过多尺度特征建模和笔画结构先验增强细尺度文本结构修复，仍无法完全解决此类情况。六、真实数据集评估：使用HDC2021和NoisyOffice-real进行定性评估，分析DocRestormer在真实退化条件下保持文本结构、恢复细笔画和改善文档可读性的能力。七、统计稳健性分析：Restormer和DocRestormer使用不同随机种子独立训练五次，数据集划分、网络配置、训练计划和评估协议保持不变，两个模型五次运行变化相对较小，DocRestormer在所有评估指标上取得有利的平均结果，大多数主要重建、OCR、感知和笔画级指标的置信区间完全位于零以上。八、消融实验：引入任一单独模块均带来可测量性能提升，其中DAMS提供最一致增益；DCLE和SAPM单独加入时改进相对温和，而联合集成带来更显著性能增益，形成明确协同机制；完整DocRestormer取得最佳总体性能。内部消融验证了DA-MDTA、MS-GDFN、笔画感知分支和先验调制的各自作用。容量匹配基线Restormer-Matched在参数量和FLOPs与DocRestormer接近的情况下仅带来边际改进，DocRestormer在BF1、clDice、CER和SER上优势尤为明显，表明性能增益主要源于任务导向的结构设计而非模型扩展。九、模型复杂度与计算效率分析：笔画结构感知分支导致DocRestormer训练时间和内存消耗高于Restormer，第二阶段因端到端联合优化带来适度额外计算成本；完整DocRestormer需执行笔画概率图预测和后续先验引导细化，推理开销较高，但额外计算主要用于笔画结构预测和先验引导修复，有效改善文本结构完整性和下游OCR性能，体现计算开销与文档可读性增益之间的明确对应关系。十、参数敏感性分析：笔画结构损失权重λs过小则约束不足，过大则过度强调局部笔画边界而牺牲全局灰度一致性和整体重建质量，模型在适度范围内表现最佳；先验特征调制强度α过小则先验注入过弱，过大则先验对主干特征产生过强干扰，适度调制强度在两个数据集上均取得优异性能，表明模型在较宽参数范围内保持稳定性能。

讨论与结论部分，本研究针对受模糊、褪色、笔画断裂和局部结构退化影响的数字化藏文古籍文档，研究面向OCR的图像修复。研究人员构建了两个配对藏文文档修复数据集LJT和BJT，采用模拟常见退化模式的退化过程，为监督训练和评估提供受控数据。为超越通用修复架构改善文本结构保持，研究人员提出DocRestormer，通过局部退化感知、方向感知和多尺度表示以及笔画结构先验引导扩展Restormer。具体而言，DCLE细化局部退化区域的浅层特征；方向感知MDTA和多尺度GDFN建模藏文笔画的方向组织和尺度变化；笔画结构感知分支与先验引导特征调制引导修复朝向识别关键文本区域。在LJT和BJT上，DocRestormer在所评估的修复方法中取得最佳总体性能，除改善全图重建质量外，还获得最高的BF1和clDice分数，表明字符边界、笔画连续性和局部拓扑更准确，并在Composite-CTC评估下取得最低CER和SER，在DAN、DAN+和VAN下也观察到一致优势，表明改善的文本可识别性不限于单一OCR架构。在公开文档去模糊数据集和ShabbyPages上的任务特定实验进一步表明，DocRestormer架构可在领域特定训练设置下有效用于英文印刷文档去模糊以及文档去噪和二值化。消融实验验证了DCLE、DAMS和SAPM分别对局部特征细化、方向与多尺度表示以及笔画先验引导修复的贡献，内部消融进一步确认了DA-MDTA、MS-GDFN、笔画感知分支和先验调制在恢复识别关键结构中的作用。总体而言，实验结果表明显式引入文本结构先验可在所评估的数据集特定设置下改善图像重建、笔画结构保持和下游OCR性能。未来工作将研究利用真实退化文档、有限标注和OCR反馈的无监督与弱监督修复，以减少对合成配对数据的依赖；还将探索领域自适应、退化鲁棒学习、轻量级结构分支、先验特征复用、混合精度推理和模型压缩，以提高可迁移性并降低部署成本；OCR辅助定位、视觉-语言上下文推理和多模态语言模型先验可能进一步支持更高效、语义知情和面向识别的文档修复。