通过高频增强Transformer实现超高清图像修复

《IEEE Transactions on Circuits and Systems for Video Technology》：Ultra-High-Definition Image Restoration via High-Frequency Enhanced Transformer

超高清图像修复中，Transformer架构面临高频细节保留与计算效率的平衡难题。传统方法通过降分辨率解决计算问题，但会丢失高频信息。本文提出双分支Transformer架构HiFormer，高分辨率分支采用方向敏感大核分解和深度可分离卷积提取高频细节，低分辨率分支通过自适应通道调制补偿自注意力机制的频谱损失。实验表明该方法在多个UHD修复任务中显著优于现有方法。

　　

摘要：

基于Transformer的架构在超高清（UHD）图像修复（IR）领域展现出巨大潜力。然而，它们在保持高频（HF）细节方面面临显著挑战，而这些细节对于纹理重建至关重要。传统方法通过大幅降低分辨率（通常降低4到8倍）来应对计算复杂性问题。此外，由于自注意力机制的固有特性，大多数高频成分在非局部特征整合过程中会被自然抑制。本文提出了一种双分支Transformer架构，名为HiFormer，它将原生分辨率的高频保留与高效的上下文建模相结合。高分辨率分支利用方向敏感的大核分解有效处理各向异性退化问题，并采用深度可分离卷积来提取局部高频信息。同时，低分辨率分支通过自适应通道调制吸收这些局部高频元素，以弥补自注意力机制带来的光谱损失。在众多UHD图像修复任务中的综合实验表明，我们的方法在定量指标和定性分析方面均优于现有领先方法。代码可访问：https://github.com/5chen/HiFormer。