PDMF-GAN：基于像素差分卷积与全尺度融合的热红外图像着色方法

《Optics & Laser Technology》：PDMF-GAN: Colorization method for thermal infrared images based on pixel differential convolution and full-scale fusion

　　明峰|张璐璐|江倩|金欣|杨凯|高阳|黄鸿月|周伟

摘要：由于红外图像的获取与光强无关，与传统相机相比，红外相机能够在夜间或雨雾天气下捕捉到更清晰的图像。然而，红外传感器只能获取单通道灰度图像，这不利于人类观察。对红外图像进行着色处理后，能够使其更易于人眼识别，同时也有助于后续任务的处理，如边缘检测、图像分割和物体检测。尽管热红外图像着色领域已取得显著进展，但着色结果往往存在语义混淆和颜色失真问题。我们提出了PDMF-GAN，这是一种基于像素差分卷积（PDC）、多尺度上采样融合块（MSUFB）和全尺度融合块（FSFB）的生成对抗网络模型。PDC网络能够帮助我们从热红外图像中更清晰地提取边缘特征。在解码阶段，MSUFB和FSFB有助于多尺度特征的深度融合，而注意力模块则能有效捕捉重要的图像信息。复合损失函数则确保该网络能够生成高质量的颜色图像。通过在KAIST和IRVI数据集上的测试，我们验证了所提方法的有效性，结果表明PDMF-GAN在热红外图像着色方面优于其他方法。

引言：传统相机只有在光照充足的环境下才能清晰地拍摄图像。在夜间、雨天或雾天等恶劣环境中，它们很难正常工作，而热红外相机则可以克服一些自然限制[1][2][3]。与可见光图像相比，热红外图像是通过捕捉物体发出的红外辐射来获得的，这种辐射具有很强的穿透烟雾的能力，且抗干扰性强，因此能够在恶劣条件下进行拍摄[4][5][6][7]。随着技术的发展，红外成像技术已被广泛应用于军事监视[8]、森林防火[9]、自动驾驶以及夜间交通感知[10][11]等领域。与可见光成像相比，热红外成像在低照明、雾、烟和雨天等恶劣环境条件下的稳定性更强。不过，热红外图像通常以单通道灰度图像的形式呈现，这与人类的视觉感知不符，也限制了其与现有的基于RGB的计算机视觉系统的兼容性。对热红外图像进行着色处理不仅可以提升人类的视觉体验，还能为语义分割、物体检测、目标跟踪和场景理解等后续视觉任务提供便利。近年来，RGB-T融合和多模态感知方面的进展进一步证明了在复杂环境下结合热红外信息和可见光信息对于实现可靠环境感知的重要性[11]。尤其是双光谱无人机遥感以及红外-可见光融合技术在物体识别、智能监控、自主导航和多模态场景分析等方面展现出了良好的应用前景[12][13]。因此，开发有效的热红外图像着色方法对于人类视觉解读和智能感知系统而言都具有非常重要的意义。传统的图像着色方法[14][15]需要人工参与，不仅耗时费力，而且着色后的图像往往看起来不真实，质量也较低。随着卷积神经网络和深度学习的发展，出现了一些端到端的图像着色方法。与传统方法相比，基于深度学习的图像着色方法无需人工干预，能够获得更好的着色效果。尤其是生成对抗网络（GAN）[16]在推动红外图像着色技术发展方面取得了显著成就。热红外图像着色本质上是一个病态问题，因为一个单一的红外强度模式可能对应多种合理的可见光外观。基于GAN的框架特别适合解决这一问题，因为对抗式学习能够明确约束生成的图像分布，使其更接近真实的可见光图像，从而减少模糊性，产生符合感知规律的结果。尽管基于变换器和使用扩散模型的方法也展现出强大的生成能力，但它们通常需要更大规模的数据集和更高的计算成本。相比之下，GAN在表示能力和计算效率之间取得了良好的平衡，因此非常适合用于热红外图像着色。从光学成像的角度来看，将热红外信号映射为可见光RGB图像本质上是一个病态问题，但我们之所以采用纯数据驱动的方法，是基于一些基本的物理和实际考虑。首先，在目前的研究阶段，传统的光学方法无法在完全没有可见光的零照明环境中解决这个问题，因此数据驱动的颜色恢复仍然是夜间场景下唯一的可行方案。其次，虽然引入诸如材料发射率、热辐射特性或光谱信息等明确的物理先验知识可以提高结果的物理可解释性，但这些先验知识所含的色度信息极为有限，不足以有效恢复人类的色彩感知。此外，获取这类特定的先验知识还会大大增加传感器部署的难度和成本。因此，利用人工智能来弥补这些光学上的局限性是一种必要且实用的解决方案。最后，红外传感器捕获的热信号本质上反映了物体的物理特性，而这些特性与人类的色彩视觉之间存在一定的关联。通过深度学习，我们的方法能够隐式地学习这种关联。此外，我们的模型还能有效提取并理解红外图像中固有的结构和语义信息，利用这些线索引导出一个逻辑清晰、符合感知规律的颜色恢复过程，而无需依赖复杂的多模态传感器阵列。目前的红外图像仍存在一些问题，比如物体边缘不够清晰，且缺乏纹理。为了解决这些问题，我们提出了PDMF-GAN，该方法可以实现端到端的图像着色。在各种GAN及其变体[17][18]中，条件生成对抗网络（CGAN）的着色效果较为理想，这促使我们选择它作为模型框架。我们基于CGAN重新设计了生成器结构，采用了UNet[19]结构，并使用PDC[20]对图像进行下采样。在图像解码阶段，多尺度上采样融合块（MSUFB）和全尺度融合模块（FSFB）会对PDC模块输出的特征图进行处理，同时在生成器的解码阶段加入注意力机制，帮助模型捕捉特征图中的重要信息。我们在判别器中使用了70×70 PatchGAN[21]。Kuang等人的研究[22]启发我们在红外图像着色中采用类似的复合损失函数。图1展示了我们方法的着色结果。本研究的主要贡献如下：1）我们引入了像素差分卷积模块，以增强对边缘特征的提取能力，同时减少热红外图像中的结构信息损失。2）我们设计了MSUFB和FSFB模块，用于逐步聚合多尺度的语义信息，加强跨尺度特征之间的相互作用，从而实现纹理重建。3）在解码阶段加入了通道注意力机制，以突出有用的特征表现，提高语义一致性。4）在KAIST和IRVI数据集上的大量实验表明，与现有的最先进方法相比，所提方法在视觉质量和定量性能方面都更具优势。

相关研究：我们总结了灰度图像和热红外图像着色领域的相关工作，以及PDC技术的相关研究。

所提方法：我们介绍了PDMF-GAN模型，包括生成器、判别器和损失函数。

实验结果：我们将所提出的PDMF-GAN与现有的着色方法进行了比较。在红外图像着色任务中，我们介绍了两个数据集，并描述了模型训练过程。实验是在KAIST和IRVI数据集上进行的，我们还进行了消融实验，以评估各个模块的有效性。

结论：在这项工作中，我们提出了用于热红外图像着色的PDMF-GAN模型，该模型能够生成高质量且视觉效果逼真的着色图像。在PDMF-GAN中，像素差分卷积网络通过明确建模局部强度差异，增强了對边缘特征的提取能力。此外，所设计的MSUFB和FSFB模块在着色过程中能够逐步聚合多尺度的语义信息，加强跨尺度特征之间的相互作用。

作者贡献说明：明峰：写作——审阅与编辑、监督、方法论、资金获取。张璐璐：方法论、形式分析、写作——审阅与编辑。江倩：写作——初稿撰写、软件、方法论、研究、形式分析、概念设计。金欣：监督、方法论、研究。杨凯：验证、方法论。高阳：写作——审阅与编辑。黄鸿月：软件、方法论。周伟：研究、形式分析。

伦理声明：本研究未涉及对人类受试者、人类数据或组织以及动物的研究。

资金支持：本研究得到了中国国家自然科学基金（编号62261060）、云南省基础研究计划（编号202503AG380006、202401AT070470）、云南省专家工作站项目（编号202305AF150078）、云南省专项计划（编号202403AP140021）、云南省低光夜视技术与智能视觉导航重点实验室（编号202449CE340004）以及云南省兴滇人才计划的支持。

利益冲突声明：作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。

致谢：我们衷心感谢编辑和审稿人提出的宝贵且富有建设性的意见，这些意见极大地提升了本手稿的质量。