物理约束的跨分辨率增强网络用于光学引导的热红外无人机图像超分辨率

《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》：Physics-constrained cross-resolution enhancement network for optics-guided thermal UAV image super-resolution

　　

基于光学引导的热无人机图像超分辨率技术因其在全天候监测应用中的潜力而引起了广泛的研究关注。然而，现有方法通常压缩光学特征以匹配热特征维度，实现跨模态对齐与融合，这不仅导致了对热超分辨率有益的高频信息丢失，还因忽视模态间成像物理的差异而引入了纹理失真和边缘模糊等物理不一致伪影。为应对这些挑战，我们提出PCNet，在光学和热模态之间实现跨分辨率的相互增强，同时通过热传导对光学引导过程施加物理约束，从而实现鲁棒的热无人机图像超分辨率。具体而言，我们设计了一个跨分辨率相互增强模块（CRME），通过联合优化热图像超分辨率和光学到热模态转换，促进跨分辨率的有效双向特征交互，同时保留高频光学先验。此外，我们提出了一个物理驱动的热传导模块（PDTM），将二维热传导融入光学引导，通过建模空间变化的热传导特性来防止不一致伪影的产生。我们引入了温度一致性损失，强制区域分布一致性和边界梯度平滑性，以确保生成的热图像符合实际的热辐射原理。在VGTSR2.0和DroneVehicle数据集上的大量实验表明，PCNet在重建质量和下游任务（包括语义分割和物体检测）上均显著优于最先进的方法。

介绍：无人机热成像通过捕获物体表面发出的热辐射生成图像，使其对环境变量（如光照变化和恶劣天气条件）具有强大的鲁棒性。因此，它已成为多种应用中全天候感知的关键技术，包括军事侦察、农业监测、电力线路检查和紧急救援行动。无人机凭借其低成本和高机动性，实现了热成像系统的快速、大规模和实时部署。然而，由于热传感器固有的物理限制和当前技术约束，无人机直接获取的图像通常空间分辨率不足。这种退化通常表现为模糊的边界和精细纹理细节的丢失，严重限制了热无人机遥感在复杂精细场景中的解释力和实用性。

为解决这些分辨率限制，研究人员开发了各种单图像超分辨率算法。虽然这些方法通过学习热模态内从低分辨率域到高分辨率域的映射来增强图像清晰度，但它们的性能从根本上受到热图像固有特性的限制，包括低对比度、模糊的边缘和缺乏纹理。在无人机平台上，这些挑战进一步加剧，因为获取的低分辨率热图像通常受到大气扰动、传感器噪声和运动模糊等多种因素的退化。与理想的实验室条件相比，图像质量严重受损，这进一步限制了单图像超分辨率方法的有效性。因此，重建结果往往缺乏真实的纹理细节，无法保持物理保真度。认识到热图像中存在的信息缺陷，现代无人机遥感平台通常配备双模态相机，同时捕获高分辨率光学图像和低分辨率热图像。鉴于光学图像包含热域中不存在丰富的纹理和清晰的边缘细节，最近的研究越来越关注利用这些互补的光学线索来提升热图像的空间分辨率和感知质量。如图1（a）所示，两种主要方法利用光学图像生成高分辨率热图像：引导图像超分辨率（GISR），利用高分辨率光学图像引导低分辨率热图像的超分辨率，以及模态转换（MC），学习从高分辨率光学图像到高分辨率热图像的端到端映射。

然而，现有方法未能充分利用高频光学信息，也无法维持热物理一致性。具体而言，为了对齐光学和热特征，现有方法通常在将光学特征输入网络之前对其进行空间压缩，使其与热特征处于相同分辨率。这不可避免地牺牲了光学特征中固有的高频信息，如精细纹理和清晰边缘，而这些信息对热图像超分辨率是有益的。此外，这些方法往往忽视模态间的成像物理差异，导致光学先验引入物理不一致的引导。如图1（a）和（b）所示，光学图像主要捕获表面反射和几何纹理，表现出丰富的高频信息，而热图像受热辐射和热传导支配，导致空间频谱以较低频率为主，边界平滑。因此，光学高频信息的丢失和缺乏热物理约束导致引导不准确，如图1（c）和（d）所示。现有方法主要通过简化的模态对齐和直接纹理转移来利用光学特征，这不仅可能丢弃恢复热边界所必需的先验，还将光学纹理错误地映射到热域。这在热分布应均匀的光伏板上表现为条纹失真（图1（c）），以及在具有复杂反射特性的玻璃表面上表现为不连续的热辐射变化（图1（d））。因此，开发一种在有效利用光学先验的同时保持热一致性的物理约束引导热无人机图像超分辨率技术仍然是一个重大挑战。

在本文中，我们提出了一种新颖的物理约束跨分辨率增强网络（PCNet），用于鲁棒的引导热无人机图像超分辨率。PCNet通过在启用跨分辨率相互增强的同时通过热物理学约束光学先验，解决了现有跨模态引导中由分辨率压缩导致的高频信息丢失和物理不一致问题，从而实现了热一致的超分辨率增强。据我们所知，这是第一个用于光学引导热图像超分辨率的物理约束跨分辨率网络。为解决引导过程中高频光学信息的丢失，我们提出了跨分辨率相互增强模块（CRME），促进光学和热模态之间全面高效的跨分辨率信息交换。该模块通过联合优化超分辨率和模态转换任务实现高效的超分辨率过程，使网络能够利用高分辨率光学先验引导低分辨率热图像。具体而言，首先通过可学习的尺度自适应投影层对不同任务分支进行特征对齐。随后，跨分辨率注意力机制融合跨模态互补信息，在充分利用光学先验引导热图像超分辨率的同时，减轻光学高频信息的丢失。此外，为维持热一致性，我们提出了物理驱动的热传导模块（PDTM），对CRME中模态间的交互信息施加物理约束，将二维热传导原理嵌入光学引导过程，防止在高分辨率热图像中产生物理上不合理的伪影。此外，我们引入了温度一致性损失（TCLoss），通过两个互补约束强制温度分布的物理一致性：使用Wasserstein距离的区域分布一致性和通过梯度幅值正则化的边界平滑性约束。在VGTSR2.0和DroneVehicle数据集上的综合实验验证了所提出方法的显著优越性。总之，本文的主要贡献如下：

我们提出了PCNet，这是第一个用于光学引导热无人机图像超分辨率的物理约束跨分辨率框架，在启用跨分辨率相互增强的同时，通过热物理学定律约束光学引导超分辨率过程。该设计解决了引导过程中光学信息丢失和热物理不一致的挑战。

我们提出了跨分辨率相互增强模块（CRME），在不同分辨率的光学和热图像之间实现有效的双向特征交互和信息传递，联合优化热超分辨率和光学到热模态转换，减轻引导过程中光学先验中高频信息的丢失。

为实现热图像的物理一致性，我们提出了物理驱动的热传导模块（PDTM），通过嵌入二维温度场对光学引导信息施加物理约束。此外，我们引入了温度一致性损失（TCLoss），旨在维持物理上合理的温度分布。

在VGTSR2.0和DroneVehicle数据集上的大量实验表明，PCNet在重建质量和下游任务（包括语义分割和物体检测）方面显著优于现有的单图像超分辨率和引导图像超分辨率方法。

相关工作：本节回顾了与我们研究最相关的研究，包括单图像超分辨率、引导图像超分辨率以及跨分辨率引导图像融合方法。

方法论：本节详细介绍了所提出的物理约束跨分辨率增强网络。第3.1节呈现了总体框架，随后在第3.2节跨分辨率相互增强模块和第3.3节物理驱动的热传导模块中对关键内部模块进行详细描述。最后，第3.4节讨论了PCNet中使用的损失函数。

实验：本节呈现了对所提出的PCNet的综合评估，以及在VGTSR2.0和DroneVehicle数据集上与最先进方法的比较。我们在第4.1节首先介绍了从无人机视角捕获的光学-热图像数据集和主要评估指标。随后，我们在第4.2节详细说明了PCNet的实现。第4.3节和第4.4节分别分析了PCNet在引导图像超分辨率和下游任务中的有效性。

结论：在本文中，我们通过提出物理约束跨分辨率增强网络（PCNet），解决了现有用于无人机的光学引导热图像超分辨率方法的局限性。所提出的框架由三个核心组件组成：跨分辨率相互增强模块（CRME），它在不同分辨率之间启用有效的双向特征交互，同时保留高频光学先验；物理驱动的热传导模块……

作者贡献声明：Zhicheng Zhao：撰写——审阅与编辑，资源，方法论。Fengjiao Peng：撰写——初稿，可视化，方法论。Jinquan Yan：撰写——初稿，验证，形式分析。Wei Lu：验证，方法论，概念化。Chenglong Li：撰写——审阅与编辑，监督，方法论。Jin Tang：撰写——审阅与编辑，监督，形式分析。

利益冲突声明：作者声明他们没有已知的可能影响本文报告的竞争性经济利益或个人关系。

致谢：本研究部分由国家自然科学基金（编号62306005、62006002和62076003）、安徽省自然科学基金（编号2208085J18和2208085QF192）以及安徽高校自然科学基金（编号2022AH040014）资助。

Zhicheng Zhao | Fengjiao Peng | Jinquan Yan | Wei Lu | Chenglong Li | Jin Tang
安徽大学人工智能学院，合肥，230601，中国