VTGF-IR：基于可见纹理引导的自由红外图像重建技术

《IEEE Journal of Selected Topics in Signal Processing》：VTGF-IR: Visible Texture-Guided-Free Infrared Imagery Reconstruction

红外图像因传感器物理限制存在纹理细节不足的问题，现有方法受限于热成像原理分析和纹理信息熵瓶颈。本文提出VTGF-IR框架，通过热辐射重建模块抑制噪声，结合可见光纹理引导模块增强细节，并联合优化重建损失和纹理转移损失，实现硬件无关的高质量红外图像重建。实验表明该方法显著提升纹理细节，达到SOTA性能。

　　

摘要：

由于传感器的固有局限性，热红外图像的纹理细节表现不足。现有的红外图像增强方法受限于对热成像原理分析的不足以及纹理信息固有的熵瓶颈，导致性能不佳。为了解决这一挑战，我们提出了可见光纹理引导的自由红外图像重建（VTGF-IR）框架。具体而言，我们开发了一个基于红外成像原理的热辐射重建模块来抑制噪声干扰。为了在增强纹理表示能力的同时向红外图像中引入额外的纹理信息，我们设计了一个可见光-红外纹理表示传输模块，该模块利用可见光的纹理编码模式来指导红外图像的纹理重建。此外，我们通过结合重建损失和纹理传输损失来共同优化纹理表示。通过将热成像原理与可见光引导相结合，我们的框架提供了一种与硬件无关的高质量红外图像重建解决方案。实验结果表明，所提出的方法显著增强了红外图像中的纹理细节，在所有评估指标上均达到了业界领先的性能。

引言

红外成像技术具有强大的抗干扰能力和全天候成像特性。与可见光成像技术相比，红外成像不受光照条件的限制，在低光照条件下仍能保持出色的成像性能。与其他观测技术（如雷达）相比，热红外成像具有更高的便携性和更低的成本，适用于遥感的广泛应用。该技术服务于多个关键领域，包括：军事侦察和国防安全[1]、[2]、火灾监测[3]、搜救[4]、[5]、野生动物监测[6]、[7]、农业管理[8]、[9]、交通管理和智慧城市发展[10]、[11]，以及地质研究[12]。然而，红外成像技术仍面临一些亟需解决的关键技术挑战。热红外图像主要受探测器物理特性的限制，分辨率较低且缺乏丰富的纹理细节（如图1所示）。这一缺点在视频应用中尤为明显。单个帧中缺乏纹理会导致连续图像在时空上的不一致性，严重降低动态观测的准确性。特别是在复杂场景下（例如，突然的光照变化或快速移动的目标），传统的基于时间建模的增强方法往往无法有效处理。因此，开发独立于时间处理的高性能单帧增强技术对于提高红外视频的整体质量至关重要。