《Signal Processing: Image Communication》：Enhanced Chaotic Assisted Vision Encoder Twin-Net Model for Cultural Heritage Image Reconstruction
编辑推荐：
图像修复方法研究：提出融合生成对抗网络与Transformer的优化模型，结合自适应滤波预处理，通过双注意力机制和dilated卷积视觉Transformer双编码器提升生成与判别器性能，采用增强型随机混沌鲸优化算法调整超参数，实验表明PSNR达35.28dB，SSIM达0.979。
Tarang Awadhutrao Boharupi | Shanmugam Poonkuntran
计算机科学与工程，VIT大学，博帕尔，中央邦466114，印度
摘要
图像修复涉及在各种成像和图形应用中重建缺失区域，包括对象移除、图像恢复和操作。尽管许多方法在图像恢复方面取得了显著进展，但它们的局部方法往往无法充分捕捉全局和语义信息。为了解决这些问题，采用了深度学习模型进行图像重建。首先，从Mysore和Victoria纪念数据集中收集数据。然后，使用自适应双边滤波器（Ad-BF）进行预处理，并通过对比度受限的自适应直方图均衡化（CLAHE）增强对比度，以去除噪声并提高图像质量。对于图像重建，应用了一种新颖的优化混合注意力扩张卷积视觉变换器生成对抗网络（Op-HydTrGAN）模型。生成对抗网络（GAN）模型由生成器和鉴别器组成。接下来，使用双重注意力辅助卷积神经网络（DuAtt-CNN）来训练生成器模型。鉴别器网络通过生成器网络生成的图像集合以及掩码图像进行训练，利用扩张卷积视觉编码器孪生网络（Dil-ConVTwin）。最后，使用改进的基于随机混沌的鲸鱼优化算法（En-RacWAO）对模型参数进行微调。实验分析表明，该模型在Mysore数据集上达到了35.28 dB的峰值信噪比（PSNR）和0.979的结构相似度（SSIM），而在Victoria纪念数据集上达到了33.97 dB的PSNR和0.97的SSIM。
引言
文化遗产（CH）被定义为从过去世代传承下来的一个群体或文明的有形和无形方面的教育、科学和文化组织。有形文化遗产包括自然和考古特征、历史城镇和建筑、地标、艺术品以及世界各地博物馆中收藏的各种物品[1]。由于能够再生城市和农村地区，文化遗产是社会凝聚力、经济增长和新技能获取的宝贵资源。此外，文化遗产还提供了关于历史、价值观、习俗和知识的重要见解[2,3]。
在传统的图像修复中，主要使用偏微分方程。这种方法的主要问题是它只能用于修复损伤较小的图像，因为无法复制纹理[4,5]。如今，关于壁画修复技术的研究在本地和国际上分为两大类，即化学技术和物理技术。然而，这些修复技术非常独特。一旦出现修复错误，就无法撤销。随着数字图像技术的发展，这些问题已经得到了成功解决[6,7]。壁画使用高清设备进行拍摄，然后使用复杂的算法去除图像中的噪声。这些算法复制壁画的结构和纹理，填补任何空白。最终，这一过程产生了出色的修复图像。通过这种技术可以观察到人眼无法看到的细节[8,9]。
随着深度学习（DL）技术的快速发展，出现了多种图像修复技术。目前，即使卷积网络实现了图像恢复，模糊和结构失真仍然存在。特别是在恢复包含复杂语义信息和冗余背景结构的场景图像时，这个问题尤为明显。因此，这些技术无法完全满足视觉一致性的需求。基于CNN的方法由于卷积过程的局部性，很难同时学习自我注意力策略和明确的全局信息[10,11]。在自然语言处理（NLP）中引入变换器的成功促使研究人员尝试多种方法，从而引入了用于图像识别的ViT。它使用嵌入位置信息作为输入来分割2D图像，并在大型数据集上进行训练，最终产生的特征提取结果与卷积神经网络技术相当[12]。
此外，为了开发更可靠的Transformer，Data Efficient Transformer（DeiT）在中型数据集上对其进行训练，然后将其与蒸馏技术集成。然而，这两种方法都使用固定窗口将输入图像分割成定义大小的部分。这些方法的计算成本相对较高，从而限制了独立窗口之间的信息交换。基于DL的图像修复技术在近年来展示了有希望的结果。这种技术可以从大量数据中提取语义信息，然后合成与图像语义兼容的像素信息，与典型的图像修复技术不同[[13], [14], [15]]。
基于Transformer和GAN的传统图像修复方法存在一些问题，例如无法有效合并局部和全局特征、大范围缺失部分的结构不清晰以及由于固定超参数导致的人脸训练不稳定。例如Continuously Masked Transformer（CMT）[16]和Inpainting Transformer（ITrans）[17]等模型强调全局注意力以增强多尺度局部特征，但这导致了整体语义一致性的缺失。其他方法如Uncertainty Aware Adaptive Feedback Network（U2AFN）[18]、Panoramic Feature Aggregation Network（PFAN）[39]和GraphFill [20]解决了不确定性或纹理生成的问题，但在平衡精细结构细节和整体连贯性方面仍存在困难。为了克服这些问题，OP-HydTrGAN引入了一种混合设计，将双重注意力辅助CNN与Dil-ConVT变换器结合，以改善局部和全局特征之间的交互。鉴别器增强了生成内容的语义评估。此外，使用En-Rac WAO进行自适应参数调整，从而实现了更稳定的收敛和更好的重建质量。表1详细列出了以往工作的技术特点。
文化遗产遗址是具有重要历史、设计和文化意义的宝贵而脆弱的资源。然而，自然灾害和人为灾难的日益严重和频繁发生对文化遗产遗址造成了巨大损害。这项工作的主要目标是重建文化遗产图像，通常涉及受损、褪色或不完整文物的恢复、增强或再现。图像修复是在许多成像和视觉应用中重建缺失部分的过程，如对象移除、修复和修改。现有研究面临的挑战包括图像重建所需时间较长、模型复杂性高等问题。为了解决这些限制，本研究提出了一种基于Transformer和GAN的图像修复方法。该工作的主要优点包括：
- •
使用优化的混合注意力扩张卷积视觉变换器生成对抗网络（Op-HydTrGAN）重建受损或缺失的图像，有效提高了模型性能。
- •
使用自适应双边滤波器（Ad-BF）和CLAHE消除不必要的噪声并提高输入图像的对比度。
- •
使用改进的基于随机混沌的鲸鱼优化算法（En-RacWAO）对模型超参数进行微调，提高了模型的有效性。
本文的结构如下：第2节回顾了以往的方法和技术，第3节详细解释了所提出的方法，第4节分析和讨论了使用所提方法获得的结果，第5节总结了研究结果和未来发展方向。
相关工作
相关工作
以下部分介绍了一些使用不同方法进行图像重建的最新研究。
Pan等人提出了一种结合3D透明度可视化方法、3D重建模型和摄影测量点云数据来查看大规模文化遗产图像的技术[21]。对于不完整的文化遗产遗址（如印度尼西亚的Borobudur寺庙），应用了单目深度估计神经网络和随机点基渲染。
提出的方法
在这项工作中，使用了一种新颖的优化混合注意力扩张卷积视觉变换器生成对抗网络（Op-HydTrGAN）模型进行图像重建。工作流程包括两个阶段：预处理和图像重建。图1展示了所提模型的工作流程。
首先，从开源数据集中获取数据，然后使用自适应双边滤波器（Ad-BF）进入预处理阶段。接着进行对比度增强。
结果与讨论
以下部分概述了所提方法的性能评估和结果。实验评估使用Python进行。表4概述了系统配置。
结论
所提出的方法结合了神经网络模型，生成更精确和复杂的图像。所提出的Op-HydTrGAN模型解决了现有方法在图像重建中面临的挑战。预处理的使用提高了输入图像的噪声水平和质量。通过引入注意力机制，模型增强了特征提取过程。研究分析表明，该模型在Mysore数据集上达到了35.28 dB的PSNR和0.979的SSIM，在Victoria纪念数据集上达到了33.97 dB的PSNR和0.97的SSIM。
CRediT作者贡献声明
Tarang Awadhutrao Boharupi：撰写 – 审稿与编辑，概念化。Shanmugam Poonkuntran：撰写 – 原始草稿，可视化，数据管理。
