SF-GAN：基于解耦语义引导和频率-空间联合神经网络的热红外图像着色

《Optics & Laser Technology》：SF-GAN: Decoupled semantic guidance and frequency-spatial joint neural networks for thermal infrared image colorization

　　

**主要贡献**

- 提出SF-GAN以增强热红外图像的视觉可解释性。
- 零样本引导架构解决低对比度下的语义模糊问题。
- 基于轮廓小波的降采样保留高频方向性热边缘。
- 双重注意力机制弥合多尺度融合阶段间的语义鸿沟。
- 全可微边缘约束抑制伪影并锐化边界。

## 引言

热红外（TIR）技术在完全黑暗、昏暗照明和浓密雾霾等恶劣环境中展现出卓越的韧性，超越传统光学传感器的能力。不同于需要环境光照的常规相机，TIR系统通过探测目标本身辐射的固有热信号来重建场景[1][2][3]。由于其对外部光照变化不敏感，TIR成像能够在极端条件下稳定地保留关键场景结构和目标轮廓[4]。热红外图像伪彩化的目的是提供更具直观性和语义意义的视觉表示，而非物理精确的颜色恢复。该能力可惠及夜间监控、自动驾驶和低光场景理解等实际应用[5][6][7]。尽管TIR技术具有不可否认的优势，但其成像结果本质上是单波段单色表示。因此，它们面临固有的约束，包括对比度降低、空间保真度粗糙、纹理线索稀疏以及完全缺乏色彩属性。

因此，这些表示与人类自然的视觉认知存在显著偏差，严重阻碍了其下游任务的发展，如图像识别[7][8]、目标检测[9]以及其他领域[10][11][12][13][14]。相应地，热图像的伪彩化已成为一个关键的研究方向，旨在提升视觉保真度和实际应用能力。近年来，在单色图像伪彩化方法的推动下，感知增强领域取得了显著突破[15][16][17][18][19]。

将单通道TIR图像转换为三通道RGB格式是提升视觉可解释性的有效策略。然而，与主要涉及色度预测的灰度可见光图像伪彩化不同，TIR伪彩化要复杂得多。它要求网络同时重建不仅缺失的颜色信息，还有至关重要的亮度与纹理细节[20][21][22][23][24]。

此外，热红外（TIR）图像通常存在高频空间细节匮乏的问题，并在强度和纹理方面相对于可见光谱对应物表现出显著的分布漂移。这些跨模态差异为稳健的图像到图像转换带来了巨大挑战。图1展示了所提框架生成的代表性结果。这些结果表明，我们的方法能有效恢复一致的色彩保真度，同时保留锐利的结构细节，如建筑边缘和云层纹理。合成结果与真值具有较高的感知相似度，成功弥合了TIR与可见光谱之间的跨模态鸿沟。

历史上，TIR伪彩化依赖于统计迁移或查找表[25][26]，这些方法受限于参考资源的可用性，且往往产生不饱和的结果。随着深度表征学习的快速发展，范式已转向端到端神经网络。这些开创性框架通过从大规模数据集中提取层次化语义特征，减少了对人工先验的依赖，促进了更自主、更符合感知真实性的色彩合成[15][18][27][28][29][30][31]。

尽管现有的基于深度学习的方法在热红外图像伪彩化方面取得了显著进展并远超传统技术，但仍存在一些挑战。例如，伪彩化结果往往缺乏足够的纹理细节，物体边界可能出现明显畸变。此外，由于热辐射特征与现实世界颜色之间不存在确定性映射，模型容易出现语义模糊和颜色不一致，导致天空、道路和建筑物等区域的非合理颜色分配[32]。此外，在复杂场景中，目标轮廓和局部结构的恢复仍然不足，这 adversely 影响了生成图像的真实性和实际可用性。

为应对这些挑战，我们提出了一种新颖的语义引导融合生成对抗网络用于红外图像伪彩化，称为SF-GAN。该框架基于条件GAN（CGAN）[17]架构，采用基于U-Net的[33][34]对称编解码器作为生成器骨干，以在层次特征中保留空间分辨率。我们引入了四项关键创新：第一，零样本语义引导（ZSG）架构利用层次化文本引导注意力，通过解耦的离线文本特征对齐全局语义。第二，联合频域-空间表征（JFSR）模块将基于轮廓小波的降采样与混合Inception-Transformer感受野相结合，以保护高频方向性细节。第三，为弥合跳跃连接中的语义鸿沟，我们开发了语义增强自适应双重注意力机制，包含上下文语义增强单元（CSU）和多尺度校准解码单元（MCU）。最后，引入包含可微显式边缘约束（Ledge）的复合损失函数以抑制伪影并确保结构保真度。我们的判别器为70×70 PatchGAN[35]。

我们的框架绝非现成组件的简单堆叠或启发式组合，而是领域定制的架构创新。本工作的主要贡献可总结如下：

- 我们设计了一种零样本语义引导（ZSG）架构，融合了层次化文本引导注意力模块。通过解耦并整合离线CLIP文本特征，该模块在不增加计算开销的情况下为编码器提供全局类别先验，有效解决了低对比度红外场景中的语义模糊问题。
- 我们开发了联合频域-空间表征（JFSR）模块，用基于轮廓小波的分解替代传统降采样。通过将方向敏感的频域分析与Inception-Transformer混合感受野相结合，该模块保留了关键结构细节并增强了方向性边缘特征的鲁棒性。
- 我们引入了语义增强自适应双重注意力（SE-ADA）机制，由上下文语义增强单元（CSU）和多尺度校准解码单元（MCU）组成。该机制通过在网络瓶颈和多尺度融合阶段主动校准特征激活，弥合U-Net跳跃连接中的语义鸿沟。
- 我们实现了全面的优化策略，包含全可微显式边缘约束（Ledge）以及感知和结构正则化，确保抑制伪影并在伪彩化输出中保留锐利的物体边界。

## 章节摘要

### 可见图像伪彩化

可见图像伪彩化是多模态色彩转换的基础，展示了深度学习如何有效弥合灰度强度与色彩空间之间的鸿沟。基于CNN的方法[36][37]通过从大规模数据集学习提高了稳定性，分类方法专门解决了多模态分布中的颜色平均问题。为进一步提升视觉真实感，生成对抗网络（GANs），如pix2pix框架所提出的……

### 所提方法

所提SF-GAN框架由两个关键组件组成：生成器和判别器。生成器旨在有效从热红外图像中提取多尺度语义结构和细粒度纹理，从而生成高保真度伪彩化输出。判别器评估生成图像的感知真实性。通过对抗训练，这两个模块迭代竞争并改进，使生成器学习有效的映射……

### 结果与讨论

为评估所提方法，我们在TIR图像伪彩化的两个广泛使用的基准数据集上进行了全面实验：KAIST[46]和IRVI[47]数据集。

KAIST数据集：由于热图像伪彩化严重依赖红外与可见模态之间的精确像素级配准，KAIST多光谱行人数据集非常适合该任务。尽管原始采集包含约95,000对配准的热-RGB图像对，分辨率为640×512……

## 结论

热红外图像伪彩化增强了热数据的语义可解释性及其对下游视觉任务的实用价值。为克服语义模糊和结构退化等问题，本文提出了一种新颖的零样本跨模态语义引导对抗框架——SF-GAN。SF-GAN集成了三个关键组件：ZSG通过离线文本先验实现全局语义对齐，JFSR用于保留高频方向性细节，SE-ADA用于弥合语义……

### CRediT作者贡献声明

靳新：原创手稿撰写、监督、项目管理、方法论。张露露：原创手稿撰写、软件、方法论、数据整理、概念化。苗生发：审阅与编辑。姚绍文：审阅与编辑。洪文晴：审阅与编辑。姜前：审阅与编辑、验证、资金获取。

### 伦理审批与参与同意

本研究不涉及任何人类受试者或动物。本文使用的数据均来源于开放和公开可访问的平台。未使用任何专有、机密或私有数据。

### 资金支持

本研究由中国国家自然科学基金（No. 62261060）、云南省基本研究项目（Nos. 202503AG380006, 202401AT070470）、云南省专家工作站（No. 202305AF150078）、云南省专项项目（Grant Nos. 202403AP140021, 202503ZD38001）、云南省低光夜视技术与智能视觉导航重点实验室（No. 202449CE340004）以及中国云南省星滇人才项目资助。

### 利益冲突声明

作者声明不存在已知的竞争性经济利益或个人关系可能影响本文所报告的工作。

### 致谢

我们衷心感谢编辑和审稿人提出的宝贵且具有建设性的建议，这些建议显著提升了本文的质量。

靳新 | 张露露 | 苗生发 | 姚绍文 | 洪文晴 | 姜前