基于对齐嵌入的深度算法展开技术在引导式图像超分辨率中的应用

《INTERNATIONAL JOURNAL OF COMPUTER VISION》：Deep Algorithm Unrolling with Alignment Embedding for Guided Image Super-resolution

　　

摘要

引导图像超分辨率技术旨在借助另一张高分辨率引导图像来提升低分辨率目标图像的分辨率。在医学成像和遥感等实际应用中，常常需要使用不同的传感器来拍摄同一场景的图像，这就导致了目标图像与引导图像之间不可避免的错位现象。现有的大多数GISR方法，无论是基于模型的还是深度学习技术，都很少考虑这种固有的错位问题，因此在处理真实数据时性能会下降。为了解决GISR中的错位问题，本文提出了一种基于新型GISR目标函数并融入对齐机制的深度展开网络，称为DUAE-Net。受光流估计原理的启发，我们建立了目标图像与引导图像之间的新观测模型，然后将对齐与超分辨率处理统一在同一个框架中。通过展开迭代优化过程，该优化问题被转化为深度卷积网络形式，从而得以最小化。此外，还设计了一个双域Unet（Unet-DD）模块，该模块能够同时利用局部和全局信息，以近似处理与隐含的高分辨率目标图像先验相关的运算。除了使用单张高分辨率图像作为监督信号外，还引入了一致性损失函数，用于在训练过程中控制空间退化与光谱变换的情况。通过加入一致性损失函数，模型获得了额外的约束条件，这不仅提升了高分辨率图像的估计精度，还进一步增强了空间退化与光谱变换模块的有效性与真实性。文中通过三个经典的GISR任务实验结果，展示了所提方法相较于其他最先进技术的优越性。