DDR-Net：基于双流频域分解的红外图像复合退化联合修复网络

《IEEE Access》：DDR-Net: Dual-Stream for Degraded Infrared Image Restoration Network

本刊推荐一项针对红外图像复合退化问题的创新研究。为解决实际红外成像中低分辨率与复合噪声（高斯、条纹、非均匀性）同时存在的技术难题，研究人员开展了名为DDR-Net的双流退化红外图像修复网络研究。该研究提出了一种轻量级端到端网络，通过频域分解双流架构独立处理低频噪声抑制与高频边缘保留，并引入自双校准投影注意力机制。实验表明，DDR-Net在多个基准数据集上显著优于现有方法，以仅0.51M参数量实现了优异的联合去噪与超分辨率性能，为红外成像在安防、自动驾驶等关键领域的实际部署提供了高效解决方案。

　　

在夜视监控、自动驾驶和医疗诊断等关键领域，红外成像技术凭借其独特的热辐射感知能力正发挥着越来越重要的作用。然而，这项技术却面临着两个与生俱来的技术瓶颈：一方面是红外焦平面阵列传感器的物理限制导致图像固有低分辨率，另一方面是复杂噪声污染问题——实际红外图像中同时存在高斯噪声、条纹噪声和低频非均匀性噪声的复合退化效应。

现有方法存在明显局限性：传统超分辨率模型对红外特有的复合噪声敏感；去噪模型要么只处理单一噪声类型，要么忽视低分辨率问题；而顺序处理管道（先去噪后超分辨率或相反）会引入不可逆的信息损失。当前所谓的"联合"方法也仅考虑简化的噪声模型，难以应对真实世界的复杂红外数据。这些挑战促使研究人员思考：如何设计一种能够同时处理复合噪声和低分辨率问题的有效方法？

针对这一难题，韩国岭南大学的Seongryeong Lee和Sungho Kim在《IEEE Access》上发表了题为"DDR-Net: Dual-Stream for Degraded Infrared Image Restoration Network"的研究论文，提出了一种创新的解决方案。该研究首次将频域分解思想引入红外图像修复领域，设计了一个轻量级端到端可训练网络，专门用于同时进行复合噪声去除和超分辨率修复。

研究人员采用了几项关键技术方法：首先基于高斯模糊进行频域分解，将退化图像分离为低频和高频成分；然后设计自双校准投影注意力模块提取初始特征；接着通过分层特征增强器估计噪声图，通过简单特征增强器优化边缘信息；最后采用双流注意力融合机制整合两种特征。研究使用了M3FD和IR700数据集构建训练集，采用复合噪声模型生成训练数据，并通过多分量损失函数进行优化。

III. 真实红外图像退化建模

研究人员建立了反映实际红外传感器物理特性的复合退化模型。该模型包含三个关键噪声成分：高斯噪声（N_g）源于探测器的热涨落和读出电路电子噪声；空间条纹噪声（N_s）由传感器制造差异和读出电路非均匀性引起；低频非均匀性噪声（N_l,f）则来自光学元件热自发射造成的径向热梯度。最终退化图像表示为干净低分辨率图像与复合噪声之和。

IV. 方法论

DDR-Net的整体架构采用基于频域分解的双流设计。低频流专注于噪声去除，通过分层特征增强器估计噪声图；高频流致力于边缘和纹理保护，通过简单特征增强器进行细化。

自双校准投影注意力模块通过双注意力路径捕获空间和上下文依赖关系，增强特征表示。该模块包含局部特征提取路径和自适应特征增强路径，通过残差连接确保特征信息保留。

V. 实验

A. 实验设置

研究在四个基准数据集（DLS-NUC-100、FLIR、ESPOL FIR、IR100）上评估模型性能，定义了五个噪声级别来模拟不同拍摄环境和设备规格。所有对比模型在相同条件下重新训练以确保公平比较。

B. 定量结果

DDR-Net在所有数据集和上采样因子（×2、×4）上均表现出最优性能。在×2超分辨率任务中，PSNR比第二优模型SwinIR高出0.27-0.57 dB，比联合去噪超分辨率方法W2S-JDSR高出3.62-4.29 dB。在×4任务中，优势依然明显，PSNR比SwinIR高0.09-0.39 dB，比W2S-JDSR高1.85-2.29 dB。

C. 定性结果

视觉比较显示，DDR-Net能有效去除复合噪声同时保留精细结构细节，而对比方法存在过度平滑、残留条纹噪声或伪影等问题。在×4超分辨率任务中，IRSRMamba过度平滑导致结构特征丢失，SPAN在均匀区域产生严重幻觉伪影，SwinIR保持较好细节但仍存在网格图案伪影。

D. 任务级评估

Canny边缘检测结果显示，DDR-Net的边缘图与真实值一致性最高，准确保留了强边缘和细微细节。竞争方法则因过度平滑导致边缘检测不完整或因残留噪声和伪影产生虚假边缘。

E. 真实世界性能

在FLIR Boson 320相机采集的真实低质量红外图像上测试表明，DDR-Net在真实传感器数据上展现出强大的噪声去除和细节增强能力，证实了其物理基础复合噪声建模能成功迁移到实际场景。

F. 计算效率分析

DDR-Net仅使用0.51M参数，是所有对比模型中最小的，比SPAN少72.0%，比SwinIR少93.8%。在计算负载方面，对于64×64输入，DDR-Net仅需1.97 GFLOPs，比SwinIR少94.7%，体现了优异的计算效率。

VI. 讨论与分析

A. 退化管道验证

通过将合成噪声与FLIR Boson 640非制冷微测辐射热计传感器采集的真实噪声进行比较，验证了复合退化模型的真实性。高频直方图显示两者遵循相似的高斯分布，列方向和行方向的均值剖面显示几乎相同的U形图案，证实了噪声模型能准确再现实际传感器中观察到的复杂噪声特征。

B. 消融研究

系统消融研究验证了每个组件的贡献。移除频域分解导致PSNR下降0.23-0.43 dB；移除自双校准投影注意力导致显著性能下降（0.07-0.46 dB PSNR下降）；分层特征增强器的最佳配置为NAF=4和RDB=3；双流注意力融合贡献了0.37-0.47 dB PSNR提升；高斯模糊核大小k=5实现最佳性能平衡。

C. 统计显著性分析

在最挑战性的条件下（×4超分辨率，噪声级别5）进行统计显著性测试，DDR-Net相比第二优模型SwinIR的改进具有统计显著性（p值范围0.0005-0.016），证实了其性能优势的可靠性。

该研究的创新之处在于将物理启发的复合噪声建模与频域分解双流架构相结合，有效解决了红外图像修复中的复合退化问题。DDR-Net不仅在各种基准测试中确立了新的性能标准，还通过参数高效的设计确保了实际部署的可行性。尽管在严重退化区域的极精细纹理恢复方面仍存在挑战，但这项研究为红外图像增强建立了新的基线，凸显了领域特定优化在计算机视觉中的重要性。未来研究方向包括集成先进先验知识如物理传感器模型、扩展框架以处理其他退化类型以及研究不确定性量化方法等。