基于视觉Transformer的单次域转换生成模型DT-RSRGAN在真实图像超分辨率中的应用研究

针对单图像超分辨率(SISR)中合成与真实数据间的"域鸿沟"问题，研究者提出了一种基于视觉Transformer(ViT)的单次域转换生成模型DT-RSRGAN。该模型通过自注意力机制探索图像内部相关性，结合创新的图像复杂度(IC)损失函数，在无需HR参考的情况下实现了真实世界超分辨率(RW-SISR)的竞争性性能，为简化传统两阶段DT-SISR方法的复杂结构提供了新思路。

　　

在数字图像处理领域，单图像超分辨率(SISR)技术长期面临"模拟与现实的鸿沟"——基于合成数据训练的模型在实际应用中性能骤降。传统解决方案如两阶段域转换(DT)方法虽有效但结构复杂，而简单的一阶段方法又因缺乏预训练模型的先验知识表现欠佳。这一困境激发了研究者对新型DT-SISR框架的探索。

针对这一挑战，来自国内的研究团队在《Pattern Recognition》发表了创新性研究成果。他们开发的DT-RSRGAN模型巧妙融合了视觉Transformer(ViT)的自注意力(SA)机制与生成对抗网络(GAN)框架，通过三个关键技术突破实现了性能飞跃：首先采用Swin Transformer构建生成器(ST-G)和判别器(ST-D)，有效捕获图像长程依赖关系；其次设计图像复杂度(IC)损失作为无HR参考时的约束条件；最后通过对抗训练策略在DF2K数据集(含DIV2K和Flickr2K)上实现端到端优化。

研究结果部分显示：在模型架构方面，基于窗口划分的Swin Transformer模块显著降低了计算复杂度，使模型能处理高分辨率图像。实验数据表明，该设计使模型在Real-ESRGAN模拟的真实退化场景下，PSNR指标提升约1.2dB。在训练策略上，IC损失函数通过量化评估图像内容复杂度，有效抑制了GAN常见的伪影问题，其约束效果较传统方法提升23%。跨数据集测试显示，模型在DIV2K和Flickr2K的未配对数据上仍保持稳定性能，验证了其泛化能力。

结论部分强调，DT-RSRGAN通过单次域转换的创新设计，成功弥合了合成与真实数据的表征差异。其重要意义在于：一方面为RW-SISR提供了结构简洁的解决方案，推理速度较两阶段方法提升40%；另一方面证明ViT在低层视觉任务中的潜力，特别是自注意力机制对图像内部相关性的挖掘能力。该研究为后续DT-SISR工作提供了新范式，其IC约束策略更可拓展至其他无监督生成任务。研究获得国家自然科学基金(U19B2037、61901384)和陕西省重点研发计划(2021JCW-03)支持，由Haiyu Zhang、Shaolin Su等学者共同完成。