编辑推荐：
提出零样本红外引导HDR视频成像框架ZS-HDRTVNet，通过通道对齐融合模块消除多模态特征差异，结合光流引导的时序一致性分支抑制视频帧间闪烁，在无配对红外-HDR视频训练数据下实现高质量动态范围与视觉连贯性，实验验证优于传统单图训练方法。
Jingchao Peng|Thomas Bashford-Rogers|Francesco Banterle|Haitao Zhao|Kurt Debattista
华威制造集团，华威大学，考文垂，CV4 7AL，英国
摘要
高动态范围（HDR）成像对于实现真实的照明效果至关重要，但由于缺乏时间一致性约束，基于图像训练的方法在视频处理中常常会出现闪烁现象，尤其是在红外引导的HDR技术中，对齐HDR和红外视频数据非常具有挑战性。本文提出了ZS-HDRTVNet，这是一个零样本框架，能够在没有对齐的红外-HDR视频训练的情况下实现时间稳定的红外引导HDR视频。通道对齐融合（CAF）模块将RGB/IR特征映射到正交空间中，以便进行简单的基于加法的融合，并且可以灵活地使用或不使用红外数据。时间一致性分支将光流估计与遮挡处理相结合，以模拟帧间运动并抑制闪烁。我们在对齐的红外-HDR图像上训练CAF模块，在没有红外数据的HDR视频上训练时间一致性模块，从而实现互补的监督。实验结果表明，所提出的方法能够达到先进的HDR质量和时间一致性，有效消除了闪烁现象并增强了视觉连贯性。
引言
高动态范围（HDR）成像允许捕捉、传输和可视化现实世界中的照明效果[1]、[2]。通常，HDR图像捕捉依赖于多帧曝光的融合[3]，而对数域工具也被用于相机内的低光增强[4]。然而，由于需要同时捕捉多帧图像，这些方法在合并过程中常常会产生重影伪影，或者限制了曝光次数，这意味着它们只能捕捉到中等动态范围[5]、[6]。另一种方法是逆色调映射算子（ITMOs），它利用单张标准动态范围（SDR）图像来生成HDR图像。然而，仅依赖单张图像往往不足以在过曝或欠曝条件下恢复缺失的信息[7]。
因此，理想的HDR图像捕捉方法应具有最短的捕捉时间，并且能够在欠曝和过曝区域都保留细节。虽然这在可见光域中看起来是一个矛盾的问题，但最近的研究表明，许多所需的信息实际上存在于可见光域之外[7]、[8]，这些额外信息可以同时解决这两个问题。HDRTNet[7]利用红外（IR）和SDR数据通过深度学习技术生成HDR内容。这种方法不仅避免了传统多曝光方法所需的多次曝光，实现了快速的HDR捕捉，还克服了ITMOs从单次曝光中恢复缺失信息的局限性。然而，HDRTNet是在没有针对时间一致性进行特殊设计的图像上训练的，因此在推理过程中应用于连续视频帧时会出现闪烁问题。
当将基于图像的模型应用于视频时，由于基于图像的模型缺乏时间连续性约束[9]，通常会出现时间域不一致性。每个帧都是独立处理的，没有考虑帧与帧之间的连贯性。因此，帧与帧之间的纹理时间不一致性可能会出现，导致明显的闪烁[10]、[11]。减少或消除时间不一致性的常见方法是引入时间一致性机制，这些机制强制实现连续视频帧之间的平滑过渡和一致性[12]。为此，来自目标域的广泛视频帧序列（在我们的研究中是对齐的HDR和IR视频）对于训练是必不可少的。然而，获取对齐的IR和HDR视频序列非常具有挑战性，目前还没有同时考虑这两种模式的数据集。
现有的用于训练时间一致性的HDR视频数据集主要关注可见光模式下的HDR内容生成，但缺乏红外数据[13]、[14]。同样，现有的仅包含红外数据或红外-可见光融合（RGB-T融合）的数据集也不提供适合作为真实值的HDR视频序列，这限制了它们在时间一致性训练中的实用性[15]、[16]。因此，本研究旨在探索不依赖于对齐的IR和HDR视频数据集的红外引导HDR视频成像技术，称为零样本红外引导HDR视频成像，如图1(a)所示。更广泛地说，在数据稀缺的情况下进行学习是深度学习中的一个常见挑战[17]。
为了充分利用可用数据，无论是否存在红外模式，融合方法都必须具有模式灵活性，能够在有或没有红外输入的情况下有效运行。典型的融合方法包括基于连接和基于加法的方法。使用连接时，红外模式的存在与否会改变特征通道，从而影响后续的网络结构。因此，连接方法无法实现灵活的多模态处理。对于加法方法，虽然它实现了灵活的多模态性，但需要通道对齐，因为特征是从不同模式中提取的独立分支派生出来的。为了实现通道对齐，我们提出了一个通道对齐融合模块（CAF），该模块首先将模式特征投影到正交特征空间中，最小化通道间的Kullback–Leibler散度（K–L散度），然后再进行加法操作。
为了在视频处理中增强时间一致性并确保在不同场景下的视觉稳定性，我们的框架基于Lai等人的FlowNet[11]进行光流估计，以捕捉帧间运动，并结合遮挡估计来处理遮挡区域，最小化时间扭曲误差，从而实现无缝的帧过渡。使用这个时间一致性框架，我们从公开可用的HDR视频数据集中选择合适的数据进行训练，从而能够在各种场景中实现稳健的适应性和平滑的帧间连续性。图1(b)直观地展示了帧间的时间稳定性比较。与单图像训练的方法相比，我们的方法实现了更强的时间稳定性，并且更接近SDR输入之间的变化，显示出帧与帧之间的一致性过渡。我们的方法有效地减少了闪烁现象，保持了更接近SDR输入原始自然变化的时间一致性。
总结如下：
- •
我们研究了一种实用的方法，该方法结合了基于流的时间一致性公式来消除HDR视频的闪烁现象。
- •
我们实现了零样本红外引导HDR视频成像，而无需在对齐的IR和HDR视频数据集上进行训练。
- •
我们的方法是模式灵活的：我们使用对齐的IR和HDR图像训练融合模块，而时间一致性模块仅使用没有IR的HDR视频进行训练。
- •
我们收集了11,802个连续的图像序列，其中包含SDR和IR图像，这些序列可用于评估红外引导HDR成像任务的时间一致性。我们的方法在HDR质量和时间一致性方面均达到了先进水平。
相关研究
相关工作
本节首先介绍了HDR成像方法，然后介绍了增强时间一致性的方法。
方法论
本节首先介绍了主要模块——通道对齐融合模块（CAF）。然后我们概述了所提出方法的架构，并介绍了该方法的迁移训练策略。
实验
本节评估了所提出的ZS-HDRTVNet的图像视觉质量和视频时间一致性。
结论
本研究针对红外引导HDR视频中的一个实际问题：获取对齐的IR-HDR视频对的成本很高，而基于图像训练的HDR模型在应用于视频时常常会出现闪烁现象。我们提出了一个零样本红外引导HDR视频去闪烁框架，该框架可以从异构数据源学习跨模态融合和时间稳定。该设计是模块化的：通道对齐融合（CAF）模块支持灵活的模式集成（仅RGB或RGB+IR），而时间分支则确保了
CRediT作者贡献声明
Jingchao Peng：撰写——原始草稿、软件开发、方法论、形式分析、数据整理、概念化。Thomas Bashford-Rogers：撰写——审阅与编辑、监督、资源获取、资金筹集。Francesco Banterle：撰写——审阅与编辑、可视化、验证、软件开发、资源管理、方法论。Haitao Zhao：撰写——审阅与编辑、监督、资源管理、项目行政、资金筹集。Kurt Debattista：撰写——审阅与编辑、监督、项目管理
利益冲突声明
作者声明他们没有已知的可能会影响本文报告工作的财务利益或个人关系。
致谢
本项工作得到了国家自然科学基金（NSFC）（项目编号：62173143）和皇家学会国际交流2023费用分摊（项目编号：）的支持。
