ReAlignHDR：面向无鬼影高动态范围成像的区域约束对齐

《Pattern Recognition》：ReAlignHDR: Region-constrained alignment for ghost-free HDR imaging

　　- 我们提出了 ReAlignHDR，一种面向动态场景的无鬼影高动态范围（HDR）成像方法。- 我们揭示结构鬼影源于无效的跨区域交互。- 受区域约束的交互能够在运动条件下保留可靠的结构信息。- 特权交互蒸馏使得在无掩码条件下实现区域一致的推理成为可能。- ReAlignHDR 在多个公开 HDR 基准测试上取得了具有竞争力的结果。## 引言高动态范围（HDR）成像旨在忠实地再现真实世界场景中存在的宽广亮度范围[1]，[2]。由于传统相机传感器的动态范围有限，一种常见解决方案是多重曝光 HDR 成像，即在不同的曝光设置下捕获一系列 SDR 图像，并将其融合成单张 HDR 图像。尽管多重曝光 HDR 重建[3]已取得显著进展，但其在真实拍摄场景中的鲁棒性仍然有限。前景运动会在不同曝光图像之间引入空间错位，这往往导致在简单融合 SDR 图像时产生结构性伪影。即使是在近期的最先进方法中，这类伪影依然明显，如图 1 所示。现有的动态 HDR 去鬼影方法已探索了多种解决方案，包括运动检测[6]、基于对应关系的对齐[7]和基于注意力的融合[8]。虽然这些方法在中等运动下有效，但它们通常通过外观线索、估计的对应关系或软注意力来调节跨帧聚合，隐式地假设跨帧特征交互在运动条件下仍然足够可靠。缺乏显式的区域级边界，此类软聚合机制仍可能允许特征在语义不一致的区域之间泄漏，从而可能在具有挑战性的动态场景中导致结构性鬼影。为进一步提高动态场景中的鲁棒性，语义或运动先验[9]已被引入以提供区域感知的指导[5]，[10]。然而，这些先验主要作为辅助指导或软调节下的特征增强被纳入，使得跨帧交互缺乏显式约束。特别是，在前景大幅位移和遮挡情况下，仅不完善的对齐可能无法完全解释结构性鬼影伪影；区域不一致的跨帧交互会进一步加剧这些伪影。因此，仅依赖软指导并不总能充分抑制动态 HDR 重建中的结构性鬼影。为应对上述挑战，我们提出了 ReAlignHDR，一种面向动态多重曝光 HDR 成像的区域约束框架。该框架建立在结构锚定与纹理传输的重建范式之上，首先建立一个结构锚定分支（SAB）作为可靠的结构主干。通过利用训练阶段的区域先验来正则化跨帧交互，SAB 减少了跨区域特征泄漏，并将可靠的结构锚定到参考帧。为进一步处理大运动场景，我们引入了纹理补偿分支（TCB），该分支显式地对齐非参考特征，并将语义一致的纹理从空间较远的区域传输到参考帧。随后，采用渐进式精炼模块（PRM）将传输的纹理自适应地融合到主要结构锚点中。此外，我们将无掩码 HDR 重建表述为特权交互蒸馏，其中使用显式区域先验训练的教师模型将其受约束的交互行为迁移给仅依赖图像证据的学生模型，从而在不需要外部掩码的情况下实现区域一致的推理。我们在动态多重曝光 HDR 重建方面的主要贡献总结如下：- 我们设计了一个区域约束的结构锚定分支（SAB），以抑制区域不一致的跨帧聚合并建立可靠的结构基础。- 我们开发了一个纹理补偿分支（TCB），在大运动下显式地对齐非参考特征，并将语义一致的纹理从空间位移的区域传输过来。- 我们将无掩码 HDR 重建表述为特权交互蒸馏，其中显式区域先验定义了一个可行的跨帧交互空间，并将其内化为隐式先验，从而在不需要外部先验的情况下实现区域一致的推理。## 章节片段### 多重曝光 HDR 成像为了解决动态场景中由帧间运动引起的鬼影伪影，传统的 HDR 去鬼影方法[7]，[11]主要依赖于检测和丢弃运动区域，或对多重曝光输入执行运动配准。然而，由于缺乏可学习的表示，这些方法通常在大运动和严重曝光变化下表现不佳。基于学习的 HDR 去鬼影方法[12]，[13]则以端到端的方式对多重曝光交互进行建模。早期……### 概述ReAlignHDR 采用师生框架，如图 2 所示。在第一阶段，离线生成区域掩码，并将其用作教师模型训练的特权区域先验。在第二阶段，进行特权交互蒸馏，将教师定义的受约束交互行为迁移到学生模型。学生保留与教师相同的网络架构，但用全零掩码输入替换显式的区域先验，如图 所示。### 数据集我们在 Hu[37]、Tel[24]和 Kal[14]基准上，使用其官方的训练与测试划分开展实验。所有数据集为每个场景提供三个多重曝光 SDR 输入，并以中间曝光作为参考帧。Hu 数据集通过模拟相机成像管线合成生成，其场景统计特性与真实拍摄不同。因此，我们使用 Hu 进行标准的域内评估。相比之下，Kal 和 Tel 采自真实世界……## 结论与讨论在本文中，我们提出了 ReAlignHDR，一种面向动态多重曝光 HDR 重建的区域约束框架。通过利用训练阶段的区域先验正则化跨帧交互，并将所学到的行为蒸馏到一个无掩码的学生模型中，ReAlignHDR 在推理阶段无需外部掩码即可减少区域不一致的聚合。实验和诊断分析表明，ReAlignHDR 在具有挑战性的动态区域中改进了伪影抑制，并表现出合理的鲁棒性……## CRediT 作者贡献声明**Yuwei Ding（丁宇威）**：撰写—原稿、软件、方法论。**Bing Li（李冰）**：撰写—审阅与编辑、监督。**Yian Zhu（朱一安）**：监督、资源。**Yanan Zhang（张亚男）**：调查、数据整理。**Bohao Qu（曲博豪）**：验证、形式化分析。**Xueping Wang（王晓平）**：资源、项目管理。**Qing Guo（郭青）**：撰写—审阅与编辑、监督。## 生成式人工智能声明作者使用了 AI 工具进行语言润色，并对最终手稿承担全部责任。## 利益冲突声明作者声明，他们没有已知的竞争性经济利益或个人关系可能影响到本文所报告的工作。## 致谢本工作得到了**山西省研究生教育创新项目**（资助编号：2023KY505）的支持。Yuwei Ding｜Bing Li｜Yian Zhu｜Yanan Zhang｜Bohao Qu｜Xueping Wang｜Qing Guo