SAFER: 面向红外图像超分辨率的结构感知渐进式聚焦 Transformer

《Infrared Physics & Technology》：SAFER: Structure- Aware Progressive Focused Transform er for infrared image super-resolution

　　

# 红外图像超分辨率

## 摘要

红外图像超分辨率重建由于低对比度、弱结构响应和模糊物体边界等问题仍面临挑战。尽管基于Transformer的方法展现出了令人前景的重建能力，但稀疏注意力机制通常依赖响应幅度进行令牌选择，这可能会丢弃红外图像中虽弱但具有结构意义的信息，导致结构不连续。为解决这一问题，我们提出了结构感知的渐进聚焦Transformer（SAFER），它利用结构先验来引导渐进稀疏注意力并增强结构保持特征表示。具体而言，一个轻量的结构引导分支（SGB）从浅层红外特征估计结构响应图，而结构注入的窗口注意力（SI-WA）机制将结构派生的偏置注入稀疏注意力中，以在特征传播过程中保留那些虽弱但具有结构意义的令牌。此外，我们还设计了一个细节增强的前馈网络（DE-FFN），用于恢复高频边界细节。在多光谱道路场景（MSRS）数据集上的实验证明了SAFER的有效性。在全天候多模态基准（FMB）数据集上的额外验证，以及在前视红外（FLIR）数据集和KAIST多光谱行人数据集上的零样本评估，进一步验证了所提出框架在不同红外数据分布下的鲁棒性。这些结果表明，学习到的结构先验可以提高稀疏注意力的可靠性，并在红外图像重建中保持结构连续性。

## 引言

红外图像超分辨率（IRSR）从低分辨率观测重建高分辨率红外图像，这对监控、自动驾驶和遥感等领域至关重要[1], [2]。与可见图像不同，可见图像中的物体边界和纹理通常会产生强响应，而红外图像捕捉的是热辐射，通常表现出低对比度、模糊边界、稀疏纹理和热干扰[3], [4]。因此，许多对重建至关重要的结构，如细轮廓、远处道路和小目标，表现为弱响应，这使得结构保持成为一个超越单纯纹理增强的核心挑战。

基于Transformer的超分辨率方法擅长建模长程依赖[5], [6]。稀疏注意力机制通过选择一部分令牌进行交互来进一步提高效率，而渐进聚焦Transformer（PFT）在层间继承稀疏注意力图以实现渐进式令牌选择[7]。然而，现有的稀疏选择策略通常依赖注意力响应或特征相似度来确定令牌重要性。虽然对自然图像有效，但在红外场景中，此类标准可能无法完全反映结构重要性，因为在红外场景中，弱响应可能仍对应于对重建至关重要的边界。因此，那些虽弱但在结构上重要的令牌可能在早期被抑制并在更深层被丢弃，导致轮廓破碎和结构连续性退化。

这暴露了红外图像超分辨率中基于响应幅度的渐进稀疏注意力的一个关键局限性：令牌选择偏向于高响应区域，可能会抑制那些虽弱但在结构上至关重要的令牌。因此，在红外场景中，响应幅度与结构重要性之间存在明显的不匹配。现有的红外超分辨率方法已从不同角度探索了结构感知重建。轮廓细化策略增强边界结构，而热引导和真实世界红外超分辨率方法专注于在复杂退化条件下保持模态特定信息[8], [9], [10], [11]。例如，轮廓感知方法显式利用结构约束来改善边界重建，而热引导和真实世界红外超分辨率方法则专注于在复杂退化条件下保持模态特定信息。然而，这些方法主要改进了结构表示或重建细化，而在稀疏注意力选择过程中保留弱结构令牌的问题仍未得到充分探索。对于红外图像而言，这些线索对于恢复物体边界、维持几何连续性和重建精细热结构至关重要。

为解决这一问题，我们提出了结构感知的渐进聚焦Transformer（SAFER）。它引入学习到的结构先验来引导稀疏注意力。结构引导分支（SGB）从浅层特征估计结构响应图，突出与重建相关的边界。结构注入的窗口注意力（SI-WA）将结构派生的偏置注入注意力对数中，在传播过程中保留弱结构令牌。细节增强的前馈网络（DE-FFN）补偿细节损失并增强高频边界重建。

我们的贡献总结如下：

- 我们为红外图像超分辨率提出了结构感知的渐进聚焦Transformer，明确解决了渐进稀疏注意力中基于响应幅度的选择偏好问题，并改善了弱但结构重要的令牌保留。

- 我们开发了一种结构感知的稀疏注意力设计，将结构引导分支与结构注入的窗口注意力相结合，使用学习到的面向重建的结构先验引导令牌选择和特征传播，以在红外图像中保持物体边界和几何连续性。

- 我们进一步在Transformer前馈模块中引入了细节增强机制，以在红外退化条件下改善高频边界重建。在MSRS上的大量实验，以及在FMB、FLIR和KAIST上的补充验证，证明了所提出框架与代表性最先进方法相比，在重建精度、结构连续性和视觉保真度方面的提升。

## 相关工作的部分摘录

### 红外图像超分辨率

单图像超分辨率在深度学习时代已被广泛研究。早期的卷积方法[12], [13]建立了从低分辨率到高分辨率图像的端到端映射范式，后续的基于CNN的架构通过更深的残差学习、通道注意力、高效卷积混合和密集特征聚合进一步提高了重建性能[14], [15], [16]。这些方法极大地推动了自然图像的

### 基于窗口的自注意力

基于窗口的多头自注意力（W-MSA）被广泛用于高效视觉Transformer中，如Swin Transformer和PFT [7], [44]。它将输入特征划分为非重叠的局部窗口，并在每个窗口内执行自注意力，相比全局自注意力降低了计算成本。

对于展平的窗口特征 $X_w$，查询、键和值矩阵分别获取为：
$$Q = X_w W_Q, \quad K = X_w W_K, \quad V = X_w W_V$$

注意力输出通过以下公式计算：
$$\text{Attention}(Q, K, V) = \text{Softmax}\left(\frac{QK^T}{\sqrt{d}} + B\right)V$$

### 数据集

为评估SAFER的有效性，我们在MSRS红外图像数据集[45]上进行了实验。我们使用MSRS提供的官方数据集划分，其中包含1083张训练用红外图像和361张测试用红外图像。我们的实验中仅使用红外模态。对于每个缩放因子，低分辨率输入通过双三次下采样从对应的高分辨率红外图像生成，缩放因子为×2和×4，遵循受控的

## 结论

在本文中，我们通过将学习到的结构先验纳入渐进稀疏注意力，为红外图像超分辨率提出了SAFER。与传统基于响应的稀疏注意力不同，SAFER在渐进注意力传播过程中保留了那些虽弱但具有结构意义的红外令牌。具体而言，SGB估计学习到的结构响应图，SI-WA将结构感知偏置注入稀疏注意力，DE-FFN增强高频边界细节。实验

## CRediT作者贡献声明

马小昕：写作——审阅与编辑，写作——初稿。柴晓宇：写作——审阅与编辑。张炎多：写作——审阅与编辑。卢涛：写作——审阅与编辑。杨俊杰：调查研究。吴南豪：资源。

## 利益冲突声明

作者声明不存在可能影响本文所报告工作的已知竞争财务利益或个人关系。

## 致谢

本研究部分受国家自然科学基金（62401410）；湖北省重点研发计划（2025BAB0004）资助。

马小昕 | 柴晓宇 | 张炎多 | 卢涛 | 杨俊杰 | 吴南豪

湖北省智能机器人重点实验室，武汉工程大学，武汉，中国