视频扩散后采样技术：用于穿透动态散射层进行观测

《IEEE Transactions on Pattern Analysis and Machine Intelligence》：Video Diffusion Posterior Sampling for Seeing Beyond Dynamic Scattering Layers

提出基于视频扩散模型和定制物理前向模型的动态散射层逆求解方法，扩展时空DPS以利用视频帧间统计关联，结合轻量映射网络实现低维参数联合优化，有效恢复高分辨率细节并适应未知时变退化，验证其在去雾、去模糊等复杂光学畸变场景中的鲁棒性。

　　

摘要：

通过散射进行成像具有挑战性，因为即使是很薄的层也会随机干扰光的传播并遮挡隐藏的物体。对于动态变化或较厚的层，精确的封闭形式前向散射建模仍然很困难。在这里，我们介绍了一种基于视频扩散模型的即插即用逆向求解器，该模型结合了针对动态散射层定制的物理基础前向模型。我们的方法将扩散后验采样（DPS）扩展到时空域，从而更有效地捕捉视频帧与散射信号之间的统计相关性。利用这些时间相关性，我们的方法能够恢复仅依靠空间信息的方法通常无法重建的高分辨率空间细节。我们还提出了一种在推理时使用的优化算法，该算法结合了一个轻量级的映射网络，能够在无需额外训练的情况下联合估计低维前向模型参数。这种联合优化显著提高了对未知的、随时间变化的退化情况的适应性，使我们的方法适用于盲逆向散射问题。我们在多种条件下验证了该方法的有效性，包括不同的场景类型、层厚度和场景与层之间的距离。使用多个数据集进行的实际实验也证实了我们的方法在真实噪声和前向模型近似不匹配情况下的鲁棒性和有效性。最后，我们将我们的方法验证为一个通用的视频恢复框架，适用于去雾、去模糊、修复以及在复杂光学像差下的盲恢复。

引言

光学散射是指光线由于与不均匀介质中的粒子或不规则性相互作用而偏离其原始轨迹的现象。这种现象在许多实际应用中都会出现，包括去雾[1]、[2]、[3]、水下成像[4]、压缩感知[5]和荧光成像[6]等。此前已经有许多研究尝试使用计算算法或物理校正方法来解决散射问题。