E-PMR：面向真实世界湍流视频的物理驱动多阶段恢复方法，结合双阶段稳定化与DEI引导学习

《Journal of Visual Communication and Image Representation》：E-PMR: Physics-driven multi-stage restoration with dual-stage stabilization and DEI-guided learning for real-world turbulent videos

　　

摘要

大气湍流会引入时空变化的几何畸变和非均匀模糊，严重降低长距离动态场景视频的视觉质量。本文提出了一种增强的物理驱动多阶段复原（E-PMR）框架，用于真实场景下湍流视频的复原。与将湍流视为单一畸变的以往方法不同，E-PMR显式地建模了物理成像过程。它通过三个级联模块执行分阶段复原：去倾斜以实现几何校正、运动分割增强以细化动态区域，以及去模糊以恢复精细细节。为进一步确保时间稳定性和现实适应性，提出了一种双阶段稳定化（DSS）机制，该机制集成了基于全局模板的对齐和基于局部光流的细化，以校正相机抖动和湍流引起的运动错位。此外，提出了一种动态效率指数（DEI），用于定量评估场景动态性，并基于DEI指导数据集构建，从而在不同湍流强度下实现自适应训练。在合成基准测试和高分辨率真实湍流视频上的大量实验表明，E-PMR能有效抑制运动拖影和结构畸变，达到最先进的定量性能，并对复杂真实湍流条件展现出优越的泛化能力。

引言

大气湍流源于空气折射率的时空波动，受温度梯度、风速、气压和成像距离的影响。在极端温度梯度[1]或目标快速运动[2]等复杂条件下，湍流会严重降低长距离水平和斜路径成像质量。它会引起几何扭曲和空间变化的模糊，导致随机像素位移、结构畸变和细节退化。因此，鲁棒的湍流复原对交通监控、目标检测、遥感、无人机地面观测和空中对地监视等应用至关重要。

传统的多帧融合和几何稳定化方法可以部分减轻湍流畸变，但在严重湍流条件下往往失效。近期的基于深度学习的方法改进了湍流退化图像和视频的复原[3]、[4]、[5]、[6]、[7]。然而，主要基于合成数据训练的端到端网络在复杂动态场景中可能无法保留精细结构和时间一致性。受物理启发的方法[8]、[9]、[10]、[11]、[12]将湍流退化分解为倾斜相关的几何畸变和高阶模糊，并分阶段复原这些成分。尽管这些方法在静态或轻微动态场景中表现良好，但在包含高度动态物体和相机运动的真实视频中效果会下降，常产生运动拖尾伪影和结构畸变。

尽管取得了进展，仍存在以下挑战：
（1）在混合退化场景中，区分真实物体运动和湍流引起的伪运动仍然困难。
（2）现有物理模型未显式刻画湍流引起的倾斜、物体运动和空间变化模糊之间的耦合关系，限制了针对特定退化的复原。
（3）现有方法主要针对静态或轻微动态场景设计，在严重湍流下对高度动态场景泛化能力差。
（4）在真实视频中，相机抖动与湍流引起的局部位移耦合，降低了多帧对齐精度和时间稳定性。

本文的目标是开发一种物理可解释且鲁棒的真实湍流视频复原框架。为此，我们提出E-PMR，它在数据、复原和对齐三个层面运作。在数据层面，动态效率指数表征湍流下的有效场景动态，并指导信息丰富的训练子集构建。在复原层面，物理驱动的三阶段框架分别处理几何倾斜、运动相关的退化和残余模糊。在对齐层面，双阶段稳定化将基于全局模板的对齐与基于局部光流的细化相结合，以减轻相机-湍流耦合并提高帧间稳定性。

与代表性的多阶段方法相比，E-PMR处理了更广泛的耦合退化场景。TMT[12]先执行几何校正再进行基于Transformer的细节重建，而TurbSR[13]先分割运动区域再执行复原。尽管这些方法在各自场景中有效，但它们并非设计用于在一个统一的复原过程中联合显式协调湍流引起的倾斜、真实物体运动、空间变化模糊和相机抖动。相比之下，E-PMR通过引入运动相关退化扩展了传统的倾斜-模糊模型，并协调数据选择、针对特定退化的复原和帧间稳定化。其方法学贡献在于这一统一模型、多层面协调和面向特定任务的轻量化网络设计；光流、基于模板的对齐和基于Transformer的复原作为支撑技术而非独立贡献。

本文的主要贡献总结如下：
（1）我们提出了动态效率指数（DEI）来表征湍流下的有效场景动态。DEI综合考虑湍流强度、光流幅度和动态区域比例，用于构建信息丰富的高动态训练子集，以提高训练效率和泛化能力。
（2）我们开发了一个物理驱动的多阶段复原框架，通过显式纳入真实物体运动与湍流相互作用引起的运动相关退化，扩展了传统的倾斜-模糊分解。该框架通过三个级联阶段执行针对特定退化的复原：
- 去倾斜（DET）：校正倾斜引起的几何畸变和像素位移。
- 运动分割增强（MSE_OF）：利用光流线索分离和细化前景运动区域，从而减少物体运动与湍流耦合导致的运动边界伪影。
- 去模糊（DEB）：利用时空线索去除残余空间变化模糊并恢复精细空间细节。
（3）我们开发了一种双阶段稳定化机制，协调基于全局模板的对齐和基于局部光流的细化，以补偿相机运动和残余的湍流引起的非刚体位移，从而提高真实视频中的空间对齐和时间一致性。
（4）我们设计了面向特定任务的轻量化DET和DEB网络。DET采用频率感知的Wave_conv 3D和高效的Part_conv 3D模块进行几何校正，而DEB集成多尺度卷积特征与基于STC_transformer的时空注意力以去除残余模糊。

各章节片段

湍流的物理建模

自Kolmogorov[14]和Fried[8]的基础研究以来，大气湍流的物理特性已被系统研究。大量研究集中于折射率波动的参数化建模和仿真[15]、[16]，基于波传播的模型被广泛用于描述光学畸变行为[17]。其中，相位空间的Zernike多项式分解[9]、[18]已成为主流方法。它……

方法

本节介绍提出的增强物理驱动多阶段复原（E-PMR）框架，并阐明其离线数据选择流程和推理时的复原路径，如图2所示。在模型开发过程中，动态效率指数（DEI）以每个训练视频为输入，生成一个表征湍流下有效场景动态的序列级分数。这些分数用于离线构建Train-DEI子集。因此，DEI并非……

实验

本节介绍E-PMR的实验评估。我们首先描述数据集、实现细节和评估协议。然后报告在合成和真实世界数据上的定量和定性结果，以及计算效率对比。最后，通过针对性分析和消融研究考察数据选择策略、各组件贡献、复原顺序和训练策略。

结论

本文介绍了E-PMR，一种用于湍流动态视频复原的物理驱动框架。它将湍流抑制建模为有序的多阶段问题，结合物理驱动复原路径、时间稳定化和基于DEI的离线训练数据选择。这一模型为在动态场景中统一解决几何畸变、运动依赖退化、模糊和时间不稳定问题提供了一种方法。在合成基准测试上的实验……

局限性与未来工作

尽管与现有多阶段方法相比，E-PMR取得了强大的复原性能和良好的计算效率，但仍存在若干局限性。

首先，基于DEI的选择侧重于有效动态较强的样本。虽然这一策略提高了评估测试集上的训练数据效率，但硬阈值选择可能使训练分布偏向高动态场景，导致对低或中动态条件的代表性不足。此外，该……

CRediT作者贡献声明

Jingyuan Ye：撰写初稿、可视化、验证、软件、方法论、形式分析、概念构思。Ying Fu：撰写审阅与编辑、验证、调查。Chen Zhou：撰写审阅与编辑、调查。Zheng Liu：撰写审阅与编辑。Huiming Zheng：撰写审阅与编辑。Wei Liu：撰写审阅与编辑。Tao Wu：撰写审阅与编辑、指导、资源、资金获取。

利益冲突声明

作者声明没有已知的可能影响本文工作的竞争财务利益或个人关系。

致谢

本研究得到四川省自然科学基金（项目编号：2025NSFSC2087）和四川省科技厅项目（项目编号：2025ZHRG0005）的支持。

Jingyuan Ye | Ying Fu | Chen Zhou | Zheng Liu | Huiming Zheng | Wei Liu | Tao Wu