通过动态门控对齐和频率调制实现视频超分辨率的统一深度先验

《Pattern Recognition》：Unified depth priors for video super-resolution via dynamic gated alignment and frequency modulation

　　•DepthVSR 使用深度作为视频超分辨率（VSR）的统一几何先验。
•DGA 在传播过程中抑制由遮挡引起的重影现象。
•DAFM 使用深度引导的频谱来锐化结构边缘。
•DepthVSR 在标准的 VSR 基准测试中表现出竞争性性能。

### 引言
视频超分辨率（VSR）旨在通过利用相邻帧之间的互补信息，从低分辨率视频序列重建高分辨率视频序列。在现代 VSR 系统中，重建质量不仅取决于有效的时间聚合，还依赖于精细结构细节的准确恢复。然而，这两个方面在动态场景中同时处理仍然具有挑战性。

**第一个挑战是时间对齐。**现有的 VSR 方法主要依赖于光流来对齐高度相关的相邻帧以进行特征聚合 [1], [2], [3], [4], [5], [6], [7], [8]。虽然这种方法对小范围的运动有效，但在遮挡、运动模糊和光照变化严重的区域，光流估计会变得不可靠 [1]，从而导致对齐错误累积并在特征传播过程中产生伪影，降低重建质量。因此，在不可靠的运动估计下实现稳健的时间对齐仍然是 VSR 的核心挑战。

**第二个挑战是高频细节的重建。**尽管最近的方法 [6], [7], [8] 通过采用复杂的对齐机制和特征提取框架展示了强大的性能，但大多数现有方法主要在空间域中进行操作。这些仅基于空间域的方法的一个关键限制是它们难以区分不同类型的高频信息。在频谱域中，高频成分可以表示需要精确锐化的结构边缘，或者表示需要生成性恢复或抑制的纹理细节。没有明确的指导，网络往往难以分离这些成分，从而降低性能。此外，尽管一些工作 [9], [10], [11], [12], [13] 探索了用于 VSR 的频域学习，但它们仅基于学习到的频谱特征进行操作，而没有明确考虑几何结构来区分频谱域中的结构边缘和纹理细节。

我们观察到这两个挑战有一个共同的根源：光流作为一个二维位移场，缺乏识别因遮挡而变得不可靠的像素的明确线索；而频域模块通常统一处理所有频谱成分，没有专门设计来区分几何结构和表面纹理。这两个限制都源于缺乏明确的几何先验。因此，深度成为以统一方式解决这两个问题的自然候选者。尽管深度先验在其他低级视觉任务中已被证明有效 [14], [15], [16], [17]，但它们几乎仅限于空间域的应用，在 VSR 中尚未得到充分探索。图 1 提供了支持这一方向的初步证据。在图 (a) 中，光流错误集中在前景-背景边界处，这些边界通常与突然的深度不连续性相对应。这种共位使得深度一致性成为定位对齐错误的自然线索。在图 (b) 中，我们比较了两种用于高频增强的频谱域策略：均匀放大所有高频成分会产生振铃伪影，而使用深度梯度选择性强调与边缘相关的频率则可以在保持背景真实性的同时使结构边缘更加锐利。综合这些观察结果，支持将深度作为对齐可靠性估计和结构感知重建的统一先验。

基于这些观察结果，我们提出了一个名为 DepthVSR 的深度引导型 VSR 框架。首先，我们引入了深度门控对齐（DGA）模块来改进时间传播。DGA 测量当前深度表示与对齐深度表示之间的一致性，并将这一几何线索转换为置信门，以抑制被遮挡或对齐错误的区域中不可靠的特征。其次，我们提出了深度感知频率调制（DAFM）模块来改进结构细节的重建。DAFM 使用深度先验在频域中生成调制权重，从而可以选择性地增强与几何结构相关的高频成分，而不是与纹理或噪声一起无差别地放大。在现有的 VSR 基准测试中进行的广泛实验表明，我们的方法表现出了竞争性性能，并且如图 2 所示，在包括深度估计在内的总体计算成本方面，我们在 Vid4 测试中获得了最高的 PSNR，验证了深度引导在视频超分辨率中的有效性。

### 本文的主要贡献总结如下：
• 我们提出了一种深度门控对齐机制，该机制利用几何一致性自适应地控制时间传播特征的融合，减少了挑战性区域中的伪影。
• 我们引入了一个深度感知频率调制模块，该模块学习基于深度的条件频谱滤波器，以实现几何感知的增强。
• 据我们所知，我们提出了第一个明确将深度作为时间传播和频谱结构增强的统一几何先验的 VSR 框架，并在标准基准测试中验证了其有效性。

### 视频超分辨率
深度学习彻底改变了视频超分辨率（VSR）任务。早期的方法 [1], [18], [19], [20] 通常采用滑动窗口机制，以一系列帧作为输入来预测中心帧。最近，循环框架 [2], [3], [6], [7], [8], [21], [22] 因其在传播长期时间信息方面的效率而成为主流。BasicVSR [2] 及其后续版本 BasicVSR++ [3] 通过采用多层循环双向传播范式建立了强大的基准。

### 概述
给定一个低分辨率视频序列 ???????∈???×??×??×??，我们的目标是重建相应的高分辨率目标序列 ????2??∈???×??×4??×4??，其中 ??, ??, ??, 和 ?? 分别表示序列长度、通道数、高度和宽度。我们的 DepthVSR 模型遵循多层循环双向传播范式 [3], [6], [7], [8]。如图 3 所示，它包含三个主要阶段：浅层特征提取、深度引导的循环传播和上采样。

### 数据集
我们在四个广泛使用的 VSR 基准测试上评估我们的 DepthVSR 模型：REDS [35], Vimeo-90K [1], Vid4 [36] 和 UDM10 [37]。为了全面评估我们方法的鲁棒性，我们采用了两种标准的退化设置来测试模型：双三次下采样（BI）和模糊下采样（BD），两者均采用 4 的缩放因子。对于 REDS 数据集，我们遵循标准协议 [2], [18]，使用 REDS4 分区进行评估，并在 BI 设置下使用剩余的片段进行训练。

### 结论
在本文中，我们提出了一个新颖的视频超分辨率框架，该框架利用深度信息作为统一的几何先验，以解决现有基于光流和仅基于空间域的方法的局限性。通过观察到深度图能够为遮挡检测和结构区分提供可靠的信号，我们将深度引导集成到了 VSR 流程的两个关键阶段：时间对齐和特征重建中。具体来说，我们引入了深度门控 CRediT。

### 作者贡献声明
刘志锋：撰写——原始草稿、验证、软件开发、方法论、数据分析、概念化。
何正：撰写——审稿与编辑、监督、项目管理、方法论、概念化。
叶刚：撰写——审稿与编辑、监督、资源管理、方法论。
朱文倩：撰写——审稿与编辑、验证、方法论。

### 手稿准备过程中生成式 AI 和 AI 辅助技术的声明
在准备本工作时，作者使用了 OpenAI 的 ChatGPT/Codex 来帮助语言润色和格式检查。使用该工具后，作者根据需要审查和编辑了内容，并对发表文章的内容承担全部责任。

### 竞争利益声明
作者声明没有已知的竞争财务利益或个人关系可能影响本文报告的工作。
刘志锋 | 何正 | 叶刚 | 朱文倩