基于随机游走与自适应实例归一化的迁移学习方法在碑文图像去噪中的创新应用

本文提出一种结合随机游走（RWM）噪声生成与双对抗网络（DAN-AdIN）的碑文图像去噪方法，通过变分推断模型实现噪声-清晰图像对的联合分布建模，并采用自适应实例归一化（AdIN）提升模型泛化能力。创新性地引入迁移学习策略，有效解决真实碑文图像样本稀缺问题，在合成与真实噪声域间实现知识迁移，显著提升去噪效果。

　　

Section snippets

Image denoising

多数经典去噪方法基于最大后验模型构建。例如部分研究（Perona and Malik, 1990; Simoncelli and Adelson, 1996）设计了滤波器来去除图像噪声；另一些研究（Buades et al., 2005; Dabov et al., 2007）则利用非局部图像区域中具有相似结构的多个小斑块进行去噪；还有方法采用字典学习（Dong et al., 2013; Gu et al., 2014; Xu et al., 2018）完成去噪任务。然而这些...

Proposed method

所提出网络的框架如图3所示，其中上部分支网络负责去噪，下部分支网络用于估计噪声图，判别器（D）则用于区分真实的清晰-噪声碑文图像对与生成版本。具体方案分为两个阶段：（1）使用自建合成碑文数据集D_syn = {x_sy, y_sy}训练网络；（2）使用真实碑文数据集D_real = {x_re, y_re}进行迁移学习。

Experiment settings

我们的网络通过PyCharm基于开源PyTorch实现，并在配备8GB显存的NVIDIA 2080 Super GPU上进行训练。R-Net、E-Net和D的学习率分别设置为2×10^?4、1×10^?4和4×10^?4。批量大小N_b设为18，N_critic设为5，超参数ε²设置为1×10^?6，公式(14)中的系数λ设为0.5，公式(15)中的系数γ设为1，公式(17)中的稳定性系数ε′设置为1×10^?6，迭代次数设为...

Conclusion

本文首先探讨了碑文噪声的形成机制，并采用随机游走建模（RWM）自构建高质量碑文数据集。随后提出了一种基于变分推断的新型碑文去噪框架DAN-AdIN，该框架将噪声估计注入去噪主干网络（R-Net），通过自适应实例归一化残差（AdINRes）模块调整数据分布，增强了网络的泛化与迁移能力。此外，为评估有效性...