EPIDIR：结合外部频率提示与内部统计解耦技术用于红外图像修复

《Neurocomputing》：EPIDIR: Integrating external frequency prompts and internal statistical decoupling for infrared image restoration

　　摘要基于提示学习的集成式修复方法在统一处理多种类型图像退化方面展现出巨大潜力。然而，由于红外成像的独特物理特性以及复杂的环境干扰，将这些技术应用于红外图像增强仍面临诸多挑战。现有的提示机制通常依赖粗粒度的离散标签或简单的提示语，而离散标签无法体现现实场景中连续的退化强度，单一提示语也对不同的修复任务提供的指导十分有限。此外，在存在模糊、噪声和低对比度等共同作用的退化场景中，这些方法难以解决任务间的冲突问题。为克服这些局限，我们提出了一种全新的集成式红外图像增强框架，该框架通过协同优化提示机制与特征解耦策略来提升修复效果。首先，我们设计了一种多频率提示机制，将统一的全球提示分解为针对不同频率的条件性线索，通过与高频和低频特征表示的多尺度交互，实现针对退化特征的精准动态增强。其次，鉴于不同红外退化场景下各通道的信噪比分布存在差异，我们提出了SNR分箱Transformer模型，通过将注意力限制在具有相同统计特性的子空间内，无需显式标签即可实现竞争特征之间的隐式解耦，有效减轻任务间的相互干扰。最后，我们建立了城市-郊区多场景基准测试集（USM-IR），以推动红外图像修复领域的进一步研究。在多个真实数据集上的实验表明，我们的方法优于现有最先进技术，能够实现稳健的集成式图像修复效果。代码和数据集将在论文被接受后公开。

引言红外成像技术是通过检测物体发出的热辐射来获取图像的。与可见光成像相比，它具有夜间视觉效果更佳、能够穿透烟雾和雾气等大气干扰物等优点，因此被广泛应用于目标检测[1]、[2]、城市交通监控[3]、[4]、[5]以及工业诊断领域[6]、[7]。然而，红外成像系统的性能往往受到昂贵传感器成本以及对环境变化高度敏感性的限制，这些因素常常会导致严重的噪声、低对比度以及细节结构信息的丢失，从而显著降低图像整体质量[8]。因此，迫切需要开发出高效且稳健的红外图像增强技术，以克服这些根本性缺陷。红外图像增强的目标是从复杂的、已退化的图像中重建高保真图像。得益于深度学习的快速发展，去噪[9]、[10]、[11]、[12]、[13]以及图像重建[14]、[15]、[16]等相关任务已经取得了显著进展。不过，这些方法通常基于对特定类型图像退化的先验知识，这限制了它们在无先验信息现实场景中的适用性和实用性。近年来，可见光领域中出现的集成式图像修复框架为解决这一问题提供了新的思路，为在单一统一架构下处理多种类型的红外图像退化指明了方向。集成式图像修复主要包括专家混合架构[17]、[18]、多模态模型[19]、[20]以及提示学习方法[21]、[22]、[23]。专家混合架构通过路由机制动态激活特定任务所需的分支，但其并行结构往往会导致大量参数冗余。多模态大型模型虽然能够整合文本和视觉信息，但要想获得精确且全面的图像描述仍然颇具难度。相比之下，基于提示的方法因其结构简单且能有效利用与退化特征相关的先验信息而受到关注。尽管有这些进步，但由于红外成像的物理特性与可见光存在差异，直接将可见光领域的修复技术应用到红外图像处理中往往无法取得理想效果。此外，现有的基于提示的方法还存在两个关键缺陷。首先，它们通常依赖离散的退化类型标签，无法反映现实场景中退化强度的连续变化[24]、[25]，即便经过改进的设计，所使用的提示表达也往往过于简单，缺乏描述复杂退化现象所需的精确性[26]。其次，现有的提示机制无法解决由多种退化现象同时存在所带来的任务冲突问题。在真实的红外图像场景中，模糊、噪声和低对比度等问题常常同时出现，而这些现象需要不同的修复策略：去模糊处理侧重于高频结构信息的恢复，而对比度增强则着眼于整体能量分布的调整。大多数方法采用粗粒度的调节方式，如直接叠加[27]或简单融合[28]，这类方法在单一退化现象存在时或许能够有效激活相关特征，但在多种退化现象同时存在时则无法发挥作用。在这种情况下，同一特征图中会存在相互冲突的特征修复需求，简单的提示语难以同时控制多个与特定退化现象相关的特征的激活与抑制，从而导致梯度干扰和优化结果不一致。此外，一些针对复合退化现象的研究尝试在特征提取过程中引入粗粒度的多标签信息，以缓解任务冲突，但这种策略依赖于预先已知退化类型的假设，且粗略的标签无法准确反映退化的细微程度，从而限制了模型在现实场景中的适应性[24]。为解决这些问题，我们提出了一种全新的集成式红外图像增强框架，该框架通过协同优化精细化的提示机制与退化现象的解耦策略来提升修复效果。首先，为克服现有简单提示机制的缺陷，我们设计了多频率提示机制，通过将统一的全球提示分解为针对不同频率的条件性线索，该方法能够与恢复网络中的高频和低频特征表示进行多尺度交互，从而实现对不同退化特征的精准动态增强。此外，通过对信噪比直方图的分析（见图1），我们发现不同类型的图像退化在各个通道上的信噪比分布存在明显差异：模糊现象会导致信噪比处于较低值的范围，反映出特征响应的系统性减弱；低对比度现象则在低信噪比和高信噪比区域都存在不均匀性，说明不同区域的能量抑制程度存在差异；噪声则表现为介于两者之间的稳定性扰动。虽然不同退化现象之间的信噪比分布存在一定的重叠，但这种重叠仅发生在概率较低的密度区间，且涉及的通道数量较少，其对特征建模的影响可以忽略不计。这表明信噪比是一种有效的连续指标，可用于区分以哪种退化现象为主的通道区域。后续在更具复杂背景和更多人工干扰的复合退化场景中的实验进一步证明，这种微小的统计重叠并不会影响框架的效能，从而证明了我们的基于信噪比的分箱解耦策略在复杂场景下的稳定性。此外，这些分析还表明，不同类型的图像退化在通道层面呈现出截然不同的统计特性。在集成式框架中，网络需要使用共享参数来处理多种不同的退化现象，由于这些不同退化现象会交替影响参数更新，它们之间不同的统计依赖关系会导致梯度不一致，进而引发优化过程中的任务间干扰。基于此，我们提出了SNR分箱Transformer模型，通过根据通道的信噪比水平对它们进行分类和分组，将注意力限制在具有相同统计特性的子空间内，从而无需显式标签即可实现竞争性退化特征之间的隐式解耦，有效减轻梯度干扰。为避免全局语义结构的碎片化，我们还设计了通道级的全局门控机制，该机制能够自适应地调整分组后的注意力输出，从而在保持局部统计一致性的同时，实现跨通道和跨退化级别的稳定语义建模。借助这些创新设计，我们的方法能够比其他现有最先进技术更有效地捕捉各种不同退化现象的特征，这一点从图2中的t-SNE可视化结果中可以看出。综上所述，本工作的主要贡献和创新点如下：•我们设计了多频率提示机制，解决了现有提示方案中信息过于简单和粗糙的问题。该机制通过将统一的全球提示分解为针对不同频率的条件性线索，并促进恢复网络中高频和低频特征表示之间的多尺度交互，从而实现对不同退化特征的精准动态增强。•基于不同红外退化现象在通道层面具有不同信噪比分布这一观察结果，我们设计了SNR分箱Transformer架构。该架构通过将注意力计算限制在具有相同统计特性的信噪比子空间内，无需显式标签即可实现竞争性退化特征之间的隐式解耦，从而从根本上解决了复合退化场景中的任务冲突问题。•我们建立了城市-郊区多场景基准测试集（USM-IR），以推动红外图像修复领域的进一步研究，相关典型场景如图6所示。在包含五种不同类型退化现象的混合数据集上进行的广泛实验表明，我们的方法在PSNR和SSIM指标上均达到了现有最先进水平的性能，显著优于其他现有方法，充分证明了该方法的有效性和优越性。

相关工作在本节中，我们将回顾与本研究最为相关的文献。首先，我们会探讨自然图像常用的图像增强技术，包括针对单一退化现象的修复方法以及集成式修复策略。随后，我们将聚焦红外图像领域，系统梳理该领域在图像增强技术方面的发展成果及面临的挑战，这些正是我们开展当前研究的动力所在。

方法我们提出了名为EPIDIR的集成式红外图像修复框架，其详细架构如图3所示。整个处理流程采用与Restormer[43]类似的编码器-解码器结构，核心组成部分包括提示生成模块（PGM）、高频提示交互模块（HFPI）、低频提示交互模块（LFPI）以及SNR分箱Transformer（SNRBT）。具体而言，对于输入的低质量图像，EPIDIR首先会应用……

实验设置数据集。为了评估所提出的EPIDIR方法的性能，我们在开源的HM-TIR数据集以及我们新构建的USM-IR数据集上进行了大量实验。USM-IR数据集包含1408张使用DJI无人机在低空飞行时拍摄的城市环境红外图像。我们将这些退化现象分为单一类型和复合类型两类：单一类型退化包括噪声、模糊和低对比度现象；复合类型退化则是多种退化现象同时存在所形成的……

结论在本文中，我们提出了EPIDIR，这是一种稳健的集成式红外图像修复框架，旨在解决统一修复过程中多任务干扰以及复合退化现象带来的挑战。我们的方法引入了多频率提示机制，能够自适应地生成高频和低频提示，为不同任务的修复提供精细化的指导。此外，我们还设计了SNR分箱Transformer模型，用于隐式地解耦那些相互冲突的特征。

CRediT作者贡献说明徐文晓：撰写——初稿、方法论、概念设计。尹启源：监督、软件开发、概念设计。郑卓然：撰写——审阅与编辑、验证、资金筹集。黄大庆：撰写——审阅与编辑、验证、资金筹集。

利益冲突声明作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。徐文晓目前就读于南京航空航天大学电子与信息工程学院，攻读博士学位，他的研究兴趣包括图像处理和无人机控制技术。

徐文晓|尹启源|郑卓然|黄大庆南京航空航天大学电子与信息工程学院，中国南京210016