从多曝光序列学习SWIR HDR：一个真实世界数据集与端到端重建网络

《Infrared Physics & Technology》：Learning SWIR HDR from multi-exposure sequences: A Real-world dataset and end-to-end reconstruction network

　　

摘要

高动态范围（HDR）重建对于多曝光序列的成像场景至关重要，尤其是在照明条件极端的情况下。对于短波红外（SWIR）成像，单次曝光往往无法同时保留高光和阴影部分的细节。现有的深度学习HDR方法主要针对可见光图像开发，未能考虑SWIR特有的特性，包括单通道传感和近线性辐射响应。本文提出了一种基于Swin Transformer的框架，包含特征增强编码器和特征传播模块。我们提出了增强帧注意力模块，以改善多曝光特征聚合和HDR重建质量。为了解决SWIR训练数据有限的问题，采用了一种两阶段训练策略，包括灰度预训练和SWIR领域自适应微调。为了支持真实SWIR数据的训练和评估，我们推出了SWIR-HDR数据集，包含InGaAs拍摄的图片序列和基于物理的真实HDR参考图像。为了公平评估，我们在所提出的数据集上重新训练了具有代表性的最先进可见光HDR方法。实验结果表明，所提出的方法实现了优越的重建性能。

引言

高动态范围（HDR）成像对于表示照明变化强烈、超出常规传感器动态范围的场景至关重要。这种情况在实际应用中很常见，高光和阴影欠曝往往在同一帧中共存。传统HDR成像方法通过一组不同曝光的低动态范围（LDR）图像重建高动态范围辐射图，首先估计成像系统的相机响应函数（CRF），然后将校准后的曝光合成到单张HDR图像中[1], [2], [3]。这些方法具有物理可解释性，但通常对场景运动、手工参数设计和模型假设比较敏感。

深度学习最近推动了HDR重建的发展，特别是在可见光成像领域。代表性模型通过在基准数据集上学习特征提取、对齐和多曝光融合，实现了强劲的性能[4], [5], [6], [7]。然而，这些方法主要是为RGB传感器设计的，无法直接应用于短波红外（SWIR）成像，因为SWIR具有单通道传感、近线性辐射响应以及独特的噪声和外观统计特性。这些差异限制了可见光HDR模型在SWIR场景中的泛化能力。此外，尽管大多数SWIR相机提供高达14位的深度，但在高对比度照明下，单次曝光仍然无法同时保留明亮和黑暗区域的细节。因此，为SWIR成像设计专门的HDR重建方法是必要的。

现有的红外HDR研究仍以校准驱动为主。Richards等人[8]提出通过超帧技术和可变积分时间来扩展红外成像系统的动态范围。在他们的方案中，红外相机的积分时间在逐帧基础上以循环方式变化，然后对生成的子帧进行合并，以产生单张HDR红外图像。Liu等人[9]通过将积分时间作为控制参数显式纳入像素响应模型来形式化这一概念，并通过黑体校准获得逐像素响应曲线；然后以多积分时间拍摄图像，并根据估计的响应函数进行融合，产生最终的HDR输出。有别于依赖校准的流水线，Gao等人[10]提出了一种多曝光融合（MEF）框架，直接合成多曝光红外帧，无需显式估计像素级相机响应函数，大幅降低了系统复杂度。尽管取得了这些进展，现有的红外HDR方法仍局限于手工信号处理流水线，尚未利用数据驱动学习方法所提供的表征能力。

先前的红外HDR工作通常将红外成像视为单一模态，而不同的红外子波段遵循不同的图像形成机制。近红外（NIR）波段覆盖0.75–1.0微米，短波红外（SWIR）波段从1.0延伸到1.7微米，长波红外（LWIR）波段占据8–12微米。NIR和SWIR主要由反射驱动，而LWIR则由热发射驱动[11]。这一区分直接影响纹理保真度、对比度分布和在恶劣环境下的鲁棒性。NIR在雾霾、烟雾和雾中容易受到散射的影响[12]。LWIR受限于有限的玻璃穿透能力和在许多场景中减少的结构细节[13], [14], [15], [16]。相比之下，SWIR成像缓解了许多这些限制，被广泛应用于工业检测、材料识别和遥感[17]。与LWIR不同，SWIR可以穿透玻璃，允许更灵活的传感器部署和透过车辆及飞机窗户等透明屏障进行成像[18], [19]。与LWIR相比，SWIR对温度变化的敏感度较低，并提供更强的纹理对比度和更高的空间分辨率，从而支持在多样化环境中进行更可靠的场景分析[18], [19]。相对于NIR，其较长的波长还减少了散射，改善了在雾、霾和烟雾中的穿透力[12], [20]。此外，InGaAs SWIR探测器表现出固有的线性光电响应，像素强度与入射辐照度成正比[11], [21]。这种线性特性，加上SWIR与可见光灰度图像共享的单通道强度格式，使得SWIR非常适合数据驱动的HDR重建以及从大规模可见光数据集进行跨领域迁移[22], [23]。

尽管具有这些优势，但SWIR HDR重建仍未得到充分探索，原因有三个：首先，大多数现有深度HDR架构是针对可见光或LWIR数据优化的，无法完全捕捉SWIR特有的辐射特性。其次，缺乏具有真实HDR参考的专用SWIR HDR数据集，阻碍了数据驱动方法的训练和评估。第三，SWIR与可见光数据之间的领域差距使得现有基于深度学习的方法难以直接迁移。为了解决这些挑战，我们提出了一种用于多曝光SWIR HDR重建的端到端框架和专用的真实世界数据集。具体来说，我们提出了一种基于Swin Transformer的深度学习框架，集成了共享Transformer块和帧注意力机制，以实现有效的多曝光融合，并辅以首个专用的SWIR HDR数据集和两阶段领域自适应训练策略。本工作的主要贡献总结如下：
- 我们提出了一种用于多曝光SWIR HDR重建的端到端深度学习框架，集成了特征增强编码器、时序特征传播和残差解码。
- 我们设计了增强帧注意力模块，以在严重曝光不一致的情况下改善跨帧特征选择和聚合。
- 我们构建了首个公开可用的SWIR HDR数据集，包含超过500个由InGaAs相机拍摄的真实世界场景，并提供由线性合成分流生成的物理基础HDR参考图像。
- 我们开发了一种两阶段领域自适应训练策略，通过灰度预训练和SWIR微调来改善在有限SWIR监督下的跨领域迁移。

小节片段

可见光HDR成像

可见光HDR重建已从基于相机模型的融合演进到深度端到端学习。早期方法通过响应函数估计、加权曝光融合和色调映射来恢复场景辐射[1], [24], [25]。这些方法具有物理可解释性，但对运动敏感且依赖手工设计选择。

深度模型显著改善了鲁棒性和感知质量。Eilertsen等人[26]表明基于CNN的单图像HDR重建有益于……

所提出的方法

现有的基于深度学习的HDR重建算法是专门为可见光图像设计的。然而，将这些方法直接应用于SWIR成像面临两个基本挑战。首先，与RGB可见光图像不同，SWIR传感器产生单通道强度数据。其次，材料在SWIR光谱中表现出与可见光显著不同的反射特性[12]，导致SWIR图像与标准……

SWIR数据集

SWIR HDR研究的一个基本挑战是缺乏具有多曝光序列和真实HDR图像的专用数据集。为了解决这一差距，我们构建了一个综合性的SWIR HDR数据集，包含具有基于物理的真实HDR参考的真实世界场景。据我们所知，这是首个专门为SWIR HDR重建设计的公开可用数据集，为该领域未来研究提供了有价值的基准。

结论

本工作研究了从多曝光短波红外（SWIR）序列中重建HDR，尽管其具有高对比度成像的实际价值，但仍未得到充分探索。现有的深度HDR方法主要针对可见光数据优化，由于辐射特性、传感器响应和外观统计的差异，难以直接迁移到SWIR。为了解决这一差距，我们提出了一种端到端的SWIR HDR框架，结合了特征增强……

作者贡献声明

Tengda Huang：撰写——初稿，方法论，形式分析，数据管理，概念构思。Tianren Li：撰写——审阅与编辑，可视化，数据管理。Fulin Liu：撰写——审阅与编辑，方法论，概念构思。Zhenzhong Wei：撰写——审阅与编辑，资金获取，概念构思。

利益冲突声明

作者声明他们没有已知的竞争经济利益或个人关系，这些可能会影响本论文中报告的工作。

Tengda Huang | Tianren Li | Fulin Liu | Zhenzhong Wei

北航仪器科学与光电工程学院，中国北京，100080