基于饱和度感知与事件引导的扩散网络，用于超高速成像中的严重过曝光图像重建

《Neurocomputing》：Saturation-aware event-guided diffusion network for severe overexposure reconstruction in ultra-high-speed imaging

　　摘要
超高速度成像系统本质上容易受到严重的过曝影响，因为极短的采集间隔、有限的传感器动态范围以及瞬间的强光照射容易导致局部区域超出相机的可测量响应范围。一旦发生饱和，受影响的像素将变得无法观测：强度、纹理和与运动相关的结构会被截断而不仅仅是降级。这使得传统的HDR重建和基于帧的恢复方法变得不可靠，尤其是在后续的高速测量需要这些丢失内容的情况下。我们提出了SAEGD-Net，一种具有饱和意识的事件引导扩散网络，用于超高速度成像中的严重过曝重建。该方法对饱和区域和非饱和区域采用不同的处理方式。有效的帧像素作为外观约束被保留，而高动态范围的事件流则为被截断的区域提供结构证据。通过饱和门控的特征融合和事件调制去噪，将具有极性意识的事件张量和多尺度帧特征注入扩散U-Net中。这种设计通过事件支持的亮度转换来限制生成重建过程，并减少饱和区域中的物理上不合理的幻觉现象。我们在一个自收集的真实UHSC–EVS强光数据集上验证了该方法，该数据集具有受控的参考构建、试验级分割、跨场景评估、事件支持的结构验证以及面向下游测量的验证。实验结果表明，SAEGD-Net在从严重饱和的超高速度观测中恢复与测量相关的结构方面始终优于代表性的多帧HDR、单帧HDR、通用恢复和基于事件的重建基线。源代码可在https://github.com/TristanWH/SAEGD-Net获取。

引言
超高速度相机（UHSC）是基于帧的成像系统，旨在以足够高的时间分辨率记录密集的图像序列，以解析超出传统摄像机能力的瞬态物理过程。高速成像的发展可以追溯到光学机械框架系统，其中使用旋转镜片、同步照明和分离的光学路径将快速事件的连续瞬间分配到不同的图像位置[1]。Cranz–Schardin类型的相机通过结合并行光学通道和精确计时的光脉冲，进一步确立了多帧高速成像原理，使得观察冲击波、爆炸和其他极短持续时间的现象成为可能[2]。后来的高速相机系统逐渐从光学机械框架转向电子图像传感器和高速存储，但核心目标保持不变：在瞬态过程消失之前捕获一系列时间上分离的帧[3]。因此，现代UHSC最好理解为CCD和CMOS帧相机的快速扩展，而不是完全不同的成像类别。如图1所示，CCD相机通过在光电二极管阵列中积累光电荷，然后通过垂直和水平移位寄存器将存储的电荷传输到输出放大器来形成图像。这种架构提供了高质量的密集帧，但由于基于串行电荷传输和有限的电荷存储，读出过程存在局限性。CMOS传感器用有源像素电路替代了这种全局电荷传输路径。在典型的有源像素传感器中，每个像素包含一个光电二极管、复位晶体管、源跟随器和选择晶体管，而逐行寻址、列放大器和列ADC完成了读出路径。这种电路结构使得寻址更加灵活，读出并行性更高，并且更容易与片上电子器件集成。UHSC硬件在这些CCD/CMOS原理的基础上进行了改进，通过缩短曝光时间、减少感兴趣的活跃区域、增加读出带宽以及通过高速内存缓冲连续帧来实现。原位存储图像传感器清楚地体现了这一方向，因为多个帧被存储在像素阵列附近，以克服外部读出的带宽瓶颈[4]。后来的超高速度传感器设计通过更积极的片上存储和并行读出架构将帧率进一步提高[5]。原位存储传感器的演变表明，现代UHSC主要通过加速曝光、读出和缓冲来提高时间采样能力，同时仍然依赖于曝光整合的强度测量[6]。这种硬件传承解释了为什么严重过曝仍然是UHSC采集的一个关键弱点。尽管UHSC能够非常密集地采样时间，但每一帧仍然是通过在有限曝光时间内积累光子产生的。当积累的光电荷超过全阱容量、放大器范围或ADC范围时，不同的辐射值会被映射到同一个饱和代码。在类似CCD的电荷传输链和CMOS有源像素电路中，这种截断在读出之前或期间去除了真实的辐射幅度、局部梯度和细微的边界信息。因此，严重的过曝是一个电路级别的多对一测量失败，而不仅仅是简单的亮度失真。这个问题在强光下的UHSC测量中尤为严重。为了冻结快速运动，需要短暂的曝光时间，但在这种曝光下获得足够的信号通常需要更强的照明、更大的光圈或更高的增益，这减少了饱和前的裕度。在点火、火花、电弧和放电过程中，最亮的区域往往是与测量最相关的结构。一旦这些区域被截断，增加帧率也无法恢复丢失的信息，因为损失已经在每个曝光窗口内发生。饱和的核心不再包含可靠的辐射排序、细微边界或内部运动线索，这直接影响了定位、跟踪、瞬态结构提取和物理解释。

为了扩展动态范围，已经广泛研究了硬件和曝光控制策略。双采样CMOS传感器通过在传感器电路内不同的有效曝光或采样条件下读取信号来提高场景内的动态范围[7]。多曝光时间CMOS传感器从同一采集管线输出多个依赖于曝光的信号，从而更灵活地表示明亮和黑暗区域[8]。空间变化的像素曝光在传感器平面上分配不同的曝光响应，使得单帧图像包含多个曝光级别[9]。光学曝光控制在图像形成之前适应像素的曝光时间和空间[10]。编码式滚动快门摄影进一步表明，曝光和读出可以共同设计以实现灵活的时空采样[11]。双曝光和曝光包围视频方法提供了另一种途径。当不同曝光的观测可以可靠地对齐时，可以从交替曝光的帧中重建HDR视频[12]。基于块的HDR视频改进了跨越不同曝光帧的局部对应关系搜索[13]。双ISO镜头将不同的灵敏度响应引入一个视频流中，但需要仔细的重建来抑制交错伪影[14]。深度HDR视频方法通过学习对齐改进了交替曝光的融合[15]，而双曝光插值进一步结合了专门的传感器和时间重建[16]。然而，这些方法仍然依赖于互补的帧域观测。在严重的UHSC瞬态现象中，相邻帧可能无法描述相同的物理状态，曝光包围减少了每个曝光级的有效时间采样率，脉冲式辐射峰值甚至可能使短曝光测量饱和。因此，硬件HDR和双曝光成像虽然扩展了动态范围，但并没有完全解决由严重饱和引起的局部缺失证据问题。尽管这些硬件和双曝光解决方案很有效，但对于严重的UHSC过曝仍然存在重要的限制。首先，它们通常需要大约相同物理状态的互补帧域观测。当目标在非常短的时间间隔内发生变化时，这一假设变得脆弱。其次，交替或交错曝光降低了每个曝光级的有效时间采样率，并可能引入运动不一致性、重影或插值伪影。第三，空间变化的曝光设计需要专门的传感器和校准，并可能牺牲空间均匀性。最重要的是，如果脉冲式辐射峰值使短曝光或低增益的测量饱和，那么仅从帧强度来看，被截断的区域仍然无法观测到。这激发了使用互补感测模式的需求。事件相机遵循与CCD、CMOS和UHSC帧传感器不同的电路级原理。它不是将绝对强度集成到密集帧中，而是当对数值变化超过对比度阈值时，每个像素异步报告一个事件。这种变化驱动的采集提供了高时间精度、高动态范围以及对快速亮度变化的低延迟响应[17]。事件流已被用于从异步测量中联合估计光流和强度[18]。连续时间重建方法进一步表明，事件可以在超出传统帧采样的时间分辨率下支持强度估计[19]。基于事件的视频重建证明了在高速和高动态范围条件下可以从事件流中恢复密集的视觉序列[20]。事件辅助的HDR成像表明，当帧动态范围不足时，事件可以补充帧观测[21]。多包围事件HDR成像进一步利用事件流来改善曝光包围观测的对齐和重建[22]。最近的大动态范围RGB事件成像也确认了当传统帧强度不可靠时，事件可以提供有用的结构线索[23]。图2中的成对观测显示了UHSC帧和事件之间的互补性。UHSC帧在未饱和区域保留了密集的外观，但被截断的区域丢失了可靠的强度测量。事件观测不能直接恢复绝对辐射或密集的纹理，但它们保留了围绕火花、电弧、边界和快速亮度变化的时间分辨响应。这意味着过曝的UHSC重建不应以相同的可靠性处理所有像素。有效的帧区域应被保留，因为它们包含可靠的外观信息。饱和区域应被视为局部不可靠的，并在更强的事件支持的结构指导下进行重建。因此，简单地将帧和事件输入连接起来是不够的，因为它没有明确决定帧证据和事件证据应该在哪里占主导地位。

扩散模型为此类问题提供了一个有用的生成框架，因为严重的饱和会导致一个病态的缺失信息重建问题。扩散模型通过迭代去噪表示复杂的图像先验，并在图像生成和恢复方面显示出了强大的能力[24]。然而，通用的扩散先验对于高速测量来说是不够的。如果去噪过程仅由学习到的外观统计信息引导，它可能会在饱和区域内合成视觉上合理但在物理上不支持的细节。这种幻觉结构可能会损坏边界定位、轨迹估计和瞬态结构分析。对于UHSC过曝重建，扩散过程必须受到测量证据的约束。应保留可靠的帧区域，而局部不可观测的饱和区域应使用事件衍生的结构线索进行重建。为了解决这些挑战，提出了SAEGD-Net，这是一种具有饱和意识的事件引导扩散网络，用于UHSC成像中的严重过曝重建。从过曝帧中估计出一个软饱和可靠性映射，以区分有效区域和被截断的区域。从时间对齐的事件流中构建出具有极性意识的事件张量，以表示高动态范围的结构响应。这些帧和事件条件通过可靠性门控的特征融合、跨模态结构注意力和事件调制去噪被注入扩散U-Net中。最终的重建保留了可靠的帧内容，同时用事件支持的扩散估计替换了饱和区域。

主要贡献总结如下：
• 将严重的UHSC过曝表述为一个局部不可观测的跨模态重建问题，这与传统的HDR和恢复任务不同。
• 提出了一种具有饱和意识的事件引导扩散网络，用于在事件支持的约束下重建被截断的高速结构。
• 构建了一个自收集的UHSC–EVS强光数据集，其中包含成对的过曝帧、事件流、饱和掩码和校准元数据。
• 设计了一种面向测量的评估协议，包括试验级分割、跨场景测试、饱和区域指标、事件支持的结构验证、鲁棒性分析和下游测量验证。

### 多曝光HDR重建和去重
多曝光HDR重建通过将对齐和融合不同曝光设置下捕获的低动态范围观测来恢复高动态范围的辐射。Sen等人[25]将动态HDR重建表述为基于块的优化，当局部块可以在不同曝光之间匹配时，这种方法有效，但如果相关区域在所有可用帧中都饱和，其匹配线索就变得不可靠。Hu等人[26]引入了去重技术来抑制运动伪影。

### 问题定义
让 \( f_{i} \) 表示一个过曝的超高速度帧，对于灰度UHSC采集，让 \( e_{i} \) 表示相应的事件流。让 \( \tau_{i} \) 表示曝光间隔内的时间戳，\( p_{i} \) 表示事件的极性。目标是从退化的帧和异步事件观测中估计出一个高保真的清晰帧：

### 框构
严重饱和被视为一个缺失观测问题，而不仅仅是简单的对比度降级。给定一个清晰的目标帧 \( f_{\text{target}} \)，前向扩散过程产生一个带噪声的样本 \( \hat{f}_{i} \)：

\[ \hat{f}_{i} = f_{\text{target}} + \eta_{i} \]

其中 \( \eta_{i} \) 是噪声样本，\( \tau_{i} \) 是扩散时间步长，\( \mathcal{N} \) 是累积的噪声时间表。去噪网络在多模态条件下预测噪声残差：

\[ \hat{f}_{i} = f_{\text{target}} + \eta_{i} + \mathcal{N}(k \cdot \mathcal{R}_{i}) \]

在这里，\( \mathcal{R}_{i} \) 是由下面描述的编码器提取的帧特征、事件特征和融合的多尺度条件特征；\( \mathcal{T} \) 是时间步长。

### UHSC–EVS采集和对齐
构建了一个协同对齐的UHSC–EVS采集系统，用于在受控强光条件下记录饱和强度帧和异步事件流。如图8所示，Photron FASTCAM Mini UX100记录灰度UHSC帧，而Prophesee EVK4记录由 \( e_{i} \) 表示的事件。这两个传感器安装在一个具有重叠视场的刚性光学平台上。该设置的基本要求是在剪切后的实验结果中实现空间和时间上的可重复对应关系。本节报告了重建性能、结构一致性、诊断行为和计算成本。数据获取系统、数据集构建、分割协议和训练规则在第5节中有所定义。结果按以下顺序报告：评估指标和基线、训练收敛性、主要重建质量、跨场景通用性、事件支持验证、诊断研究以及运行时分析。

**结论与讨论**
本文提出了SAEGD-Net，这是一种基于饱和度感知和事件引导的扩散网络，适用于超高速度成像中的严重过曝光问题重建。该方法的灵感来源于一个简单但重要的观察结果：当一个强瞬态光源完全遮挡了一个强度帧时，受影响区域在帧域中变得无法观测，而事件流可能仍然保留了亮度过渡和运动边界周围的高时间分辨率结构证据。

**作者贡献声明**
- Han Wang：软件、方法论、研究、形式分析、概念化。
- Saiao Zhou：方法论。
- Juntao Wu：软件、方法论。
- Jingyuan Bao：软件。
- Yaoxiong Wang：资源。
- Pingguo Cao：方法论。
- Yuman Nie：监督。

**利益冲突声明**
作者声明他们没有已知的可能会影响本文所报告工作的竞争性财务利益或个人关系。

**致谢**
本研究得到了中国国家重点研发计划（2023YFB4503000）、合肥市关键技术研发“清单与指挥”项目（2023SGJ035）、合肥物理科学研究院院长基金（项目编号YZJJKX202401）以及合肥市自然科学基金（项目编号HZR2414）的支持。

**代码可用性**
SAEGD-Net的源代码，包括事件预处理、饱和度掩码生成、帧-事件配对、模型推理、训练配置、DDIM采样和评估脚本，将在//github.com/TristanWH/SAEGD-Net上发布。

**作者简介**
Han Wang毕业于中国重庆西南大学，获得自动化学士学位。目前他是中国科学院合肥物理科学研究院智能感知研究中心的助理研究员，研究方向包括智能感知技术、感知-存储集成芯片、人工智能、神经形态感知和高速图像处理。

**作者列表**
Han Wang | Saiao Zhou | Juntao Wu | Jingyuan Bao | Yaoxiong Wang | Pingguo Cao | Yuman Nie
中国科学院合肥物理科学研究院，中国安徽合肥，230031