高秩校正多头自注意力机制：突破图像超分辨率中的低秩瓶颈

本文提出高秩校正多头自注意力（HR-MSA）机制，突破Transformer在图像超分辨率（SR）中存在的低秩瓶颈。通过线性校正不同注意力头，在保持计算效率的同时实现高秩注意力映射，并构建HiRA-SR架构整合局部（Focusing Block）与全局信息（Residual Multi-Head Contextual Block），为轻量化图像SR树立新标杆。

　　

高亮内容

我们提出高秩校正多头自注意力（High-Rank Corrected Multi-Head Self-Attention, HR-MSA），通过高秩注意力映射捕获精确依赖信息，且不引入额外计算负担。我们的HR-MSA首先利用像素完整信息计算完整的高秩依赖，随后对不同注意力头独立进行线性校正，实现高秩加权的像素信息。基于HR-MSA，我们设计了名为HiRA-SR的新架构，具体通过聚焦模块（Focusing Block, FB）分流HR-MSA的局部像素信息，并引入残差多头上下文模块（Residual Multi-Head Contextual Block, RMCB）整合非局部注意力的全局信息。

章节概览

引言

单图像超分辨率（Single Image Super-Resolution, SR）是计算机视觉中的经典任务，旨在从退化的低分辨率（Low-Resolution, LR）输入重建高分辨率（High-Resolution, HR）图像。SR算法解决了由硬件限制、成像技术和传输约束引起的高频细节丢失问题，为遥感[1]、安防监控[2]、医学成像[3]等领域提供了经济高效的解决方案。

相关工作

自SR开创性研究[37]以来，由于其在生产和生活中的广泛应用，SR算法研究呈现爆发式增长。大量新架构和理论相继涌现，本节将分析与本文方法相关的主要工作。

研究动机

本节详细阐述我们的研究动机。首先从理论角度证明低秩注意力映射限制了MSA的表征能力；随后通过实验表明注意力映射中非零奇异值数量与SR性能呈正相关；最后基于多头注意力映射中的互补性与冗余性观察，提出新颖的改进思路。

方法论

本节详细介绍所提出的HR-MSA和HiRA-SR。基于第3.3节的动机，我们进一步设计了利用高秩注意力映射的新型MSA模块（即HR-MSA）。在此基础上提出HiRA-SR网络架构，显式建模来自局部、远程和全局感受野的像素信息（图6）。

实验验证

本节通过实验评估分析所提方法的性能。实验包含五部分：数据集与实现细节说明、HR-MSA对注意力映射的性能影响分析、HiRA-SR各组件的消融实验、基于局部归因图（Local Attribution Maps, LAM [66]）的效应分析。

结论

本文首次从理论和实验角度揭示了多头自注意力机制在SR任务中存在的低秩瓶颈问题。利用不同注意力头的互补性与冗余性，设计HR-MSA作为替代方案，在不增加计算负担的前提下有效提升注意力映射秩次进而增强性能。围绕HR-MSA提出新架构HiRA-SR，通过聚焦模块与残差多头上下文模块协同整合多尺度信息，为轻量化图像超分辨率树立新标杆。