UDA-VSR：一种高效的因果视频超分辨率方法，该方法利用跨帧的不确定性感知对齐特征来实现分辨率提升

《Signal Processing: Image Communication》：UDA-VSR: An Efficient Causal Video Super-Resolution method using uncertainty-aware alignment features across frames

　　• 提出了一种轻量级的因果三帧视频超分辨率网络。
• 引入了一种新颖的不确定性感知的可变形特征对齐模块。
• 采用通道级的空间注意力融合模型来增强特征聚合。

**引言**
在当前的数字多媒体时代，对高清（HD）和超高清（UHD）视频内容的需求达到了前所未有的水平。对于8K视频流媒体、实时移动监控、医学成像以及自动化工业检测系统等应用而言，要求具有空间清晰度和时间一致性的高保真视觉体验是严格的条件。高分辨率的视觉输入不仅对人类感知至关重要，而且对于支持下游的计算机视觉和机器学习任务也非常重要。例如，在自动化农业质量控制中，强大的图像预处理和空间增强技术可以直接优化模型性能，用于自动分类苹果等任务[1]。类似的预处理需求存在于多个领域，从使用混合滤波策略进行移动图像去噪[2]到监测工业冷却系统中的被动热传输循环[3]，在这些应用中，高质量的视觉效果对于可靠的状态评估是必需的。然而，由于预算限制、带宽有限、网络延迟和存储约束，这类高分辨率（HR）内容的获取、传输和存储仍然面临重大挑战。这些限制在视觉质量和系统效率之间造成了根本性的权衡，尤其是在实时场景中。

为了解决这个问题，因果视频超分辨率（VSR）作为一种有前景的解决方案应运而生。VSR旨在通过利用连续帧之间的空间细节和时间依赖性来从低分辨率（LR）输入重建高分辨率（HR）视频帧。通过利用运动信息和帧间相关性，VSR实现了更加准确和视觉上一致的重建。在因果VSR中，仅使用当前帧和前一个帧来估计未来的HR帧。深度学习的快速发展，特别是卷积神经网络（CNNs）[4]、循环网络[5]和基于注意力的一些方法[6]，在恢复细微细节和提升重建质量方面展现了显著的能力。虽然变换器和基于循环的结构已被广泛用于视频修复，但本工作特别关注视频超分辨率（VSR），它需要在保持帧间时间对应关系的同时进行空间上采样。这使得可靠的时间对齐尤为重要，因为不准确的特征对应关系可能会影响空间细节的重建和时间一致性。因此，在因果VSR框架下研究了这种不确定性感知的对齐方法，重点是减少时间依赖性和计算复杂性以实现高效推理。该领域的最新技术[7],[8]捕捉空间特征并试图探索它们之间的时间关系，以提高视觉保真度。然而，有效利用帧间特征需要可靠的空间对齐。使用同一组特征的VSR模型的性能可能会因估计对齐的准确性而大相径庭。

尽管取得了显著进展，当前的VSR方法在处理不可靠的运动估计和计算效率方面仍然存在局限性[9]。大多数现有方法依赖于基于变形卷积的对齐来模拟复杂运动[10]。然而，这些方法隐含地假设偏移量估计是准确的，并将所有对齐的特征同等对待，这会导致受遮挡、运动模糊或低纹理模糊影响区域的错误传播。与那些盲目信任预测偏移量的现有可变形对齐方法不同，我们的关键技术创新在于使用因果不确定性模块来动态抑制模糊特征，从而在对齐过程中提高可靠性。在他们的方法中，重点放在增强特征融合上，而没有明确考虑对齐特征的可靠性。结果，在融合过程中，噪声或错误对齐的信息仍可能被放大。

除时间对齐外，特征融合的质量和有效性也对VSR系统的重建质量起着关键作用。由于相邻视频帧可能包含互补或损坏的信息，因此直接聚合对齐的特征可能会导致噪声并影响重建性能。为了克服这些问题，基于注意力的融合方法变得非常重要，因为它们能够自适应地强调信息丰富的空间区域，同时抑制不太可靠的特征。通过选择性地精细化特征表示，空间注意力方法有助于更好的纹理恢复、更清晰的结构细节以及在快速运动、光照变化和复杂动态的复杂场景中的更好时间一致性。

除了重建质量之外，计算复杂性也成为现代因果VSR研究中的一个主要关注点，尤其是在实时应用中。许多最近的因果VSR方法采用了具有广泛时间传播和迭代对齐模块的深度架构，以实现更优越的性能[7],[8]。尽管这些方法产生了视觉上吸引人的结果，但它们的沉重计算需求常常限制了在移动设备、云游戏、远程监控、实时流媒体系统等对延迟敏感环境中的适用性。此外，增强退化、运动模糊或被遮挡的低分辨率帧对于安全关键的工业检测任务至关重要。在电气化铁路接触网系统的状态监测中，诸如Graph-MDETR[11]和MRFM-IFCOS[12]（用于无人机接触网支持组件检测）、BCLIP-ADER[13]（用于贝叶斯异常检测）以及基于物理的神经网络[14]（用于受电弓-接触网状态评估）等检测模型，都严重依赖于清晰的视觉输入。因果VSR通过快速运动下恢复精细的结构细节，直接改善了下游组件的检测和异常诊断。因此，设计出能够在保持较短时间依赖性的同时维持竞争性重建质量的高效架构，已成为实际应用VSR的一个重要方向。

最近，可靠性感知的学习策略引起了越来越多的关注，以提高VSR框架的鲁棒性。然而，现有的基于可变形对齐的VSR方法主要依赖于学习到的空间偏移量来建立时间对应关系，而没有明确估计对齐结果的可靠性。与平等对待所有时间对应关系不同，不确定性模块使网络能够识别出由于模糊、遮挡或低纹理模糊可能导致运动估计不可靠的区域[15],[16]。将不确定性信息纳入对齐和融合过程，可以使用正确且相关的特征点。这提高了重建的稳定性、效率和一致性。基于这些观察，我们提出了一种具有不确定性感知和计算效率的因果VSR框架，旨在提高时间对齐，从而提高重建质量，同时保持较低的计算复杂性。本工作的主要贡献总结如下：
• 提出了一种新颖的因果和不确定性感知的可变形对齐模块，不仅可以估计空间采样偏移量，还可以估计相应的不确定性映射，使得模型在对齐过程中能够降低模糊和不可靠特征的权重。
• 使用基于空间注意力的细化模块来进一步抑制噪声特征，同时强调更具信息量的区域。
• 所提出的设计显著减少了时间依赖性，使得推理更加高效，并在保持高重建质量的同时实现了近乎实时的性能。

**章节摘录**
**因果和实时视频超分辨率**
视频超分辨率（VSR）方法利用相邻帧的时间信息来重建高分辨率的目标帧[17]。根据时间可访问性，VSR方法大致可以分为离线和在线（因果）框架。离线方法[18]通常利用过去和未来的帧，这使它们能够利用更广泛的时间上下文，但不适合未来帧不可用的应用。相比之下，因果VSR方法[19]

**概述**
我们提出了一种因果三帧视频超分辨率（VSR）框架，旨在实现实时高质量的视频重建。所提出的网络利用当前帧It与前两个连续帧{It?2, It?1}之间的时间依赖性生成相应的高分辨率输出Ot。所提出框架的完整架构如图1所示。

**实验设置**
在本节中，我们首先描述了数据集和实现细节。

**定量结果**
在本节中，我们展示了所提方法在三个基准数据集上的实验结果。性能评估使用了包括PSNR、SSIM、LPIPS和时间一致性在内的标准指标。所提出的不确定性感知可变形对齐（UDA）框架的定量性能在表1中进行了总结。该方法在Vimeo-90K数据集上的PSNR达到了39.73 dB，在REDS数据集上达到了30.26 dB，证明了其重建高质量图像的能力。

**结论**
在这项工作中，我们提出了一种轻量级的因果三帧视频超分辨率（VSR）框架，旨在有效应对在严重运动条件下的特征对齐挑战。所提出的网络集成了一种不确定性感知的可变形对齐模块，该模块同时预测不确定性映射，成功抑制了由遮挡、运动模糊和不准确运动估计引起的不可靠特征对应关系。此外，还采用了基于空间注意力的方法。

**作者贡献声明**
Bipasa Reang：撰写——原始草案、可视化、验证、软件、方法论、调查、形式分析、数据管理、概念化。
P. Stoila Cindy：撰写——审阅与编辑、验证。
Chandrajit Choudhury：撰写——审阅与编辑、验证、监督、软件、资源管理、项目行政管理、方法论、概念化。
Tripti Goel：撰写——审阅与编辑、验证、监督。

**资金**
该项目未获得任何资助机构的支持。

**利益冲突声明**
作者声明他们没有已知的可能会影响本文所报告工作的竞争性财务利益或个人关系。

Bipasa Reang | P. Stoila Cindy | Chandrajit Choudhury | Tripti Goel