DSTC-SRNet：一种基于深度时空协同的多帧超分辨率方法

《Expert Systems with Applications》：DSTC-SRNet: A Multi-Frame Super-Resolution Method Based on Deep Spatio-Temporal Collaboration

　　•一种用于多帧超分辨率处理的深度时空协同网络。•一种用于分离时间特征与空间特征的双流框架。•基于双向交叉注意力融合的隐式特征对齐机制。•用于精细化纹理重建的多级特征增强技术。与现有最先进方法相比，我们的方法能使PSNR值提高5.3%，LPIPS值降低21.9%。

引言
图像超分辨率是指从一张或几张低分辨率图像恢复高分辨率图像的任务。它在诸多计算机视觉领域发挥着重要作用，包括医学成像（Ji, Zou, Kui, Thureau, & Ruan, 2025）、遥感（Zhang et al., 2025）、安全监控（Huang, Miyazaki, Liu, & Omachi, 2025b）以及移动视觉应用（Ignatov et al., 2025）。近年来，超分辨率研究主要聚焦于单图像超分辨率处理，代表性方法有SANet（Li, Zhang, Yuan, & Gao, 2025a）、自适应令牌字典（ATD）（Zhang, Li, Zhou, Zhao, & Gu, 2024）、递归泛化变换器（RGT）（Chen, Zhang, Gu, Kong, & Yang, 2023b）以及全局相位与频谱引导的Mamba模型（GPSMamba）（Huang, Miyazaki, Liu, & Omachi, 2025a）。这些方法都旨在仅通过单张低分辨率图像来重建高分辨率图像。然而，它们由于难以从单张图像中推断出高频细节而存在固有局限，这往往会导致重建结果过于平滑，尤其是在高放大倍率下性能会明显下降，如图1所示。相比之下，多帧超分辨率处理可以利用多张低分辨率图像之间自然存在的亚像素位移信息，从而更有潜力重建出高质量的高分辨率图像（Honda, Sugimura, & Hamamoto, 2019），这对于那些需要高度细节还原的实际应用而言至关重要。

现有的多帧超分辨率处理方法可分为两类：传统优化类和深度学习类。传统优化类方法会构建明确的图像退化模型，然后利用最大后验概率等准则来解决这些模型。这类方法包括带有双边正则化的范数最小化算法（Farsiu, Robinson, Elad, & Milanfar, 2004）、对混合像素中的前景与背景进行建模的方法（Van Eekeren, Schutte, & Van Vliet, 2010）、利用不同尺度下的块冗余信息的方法（Glasner, Bagon, & Irani, 2009），以及结合差异曲率先验的空间加权总变分法（Yuan, Zhang, & Shen, 2011）。这类方法的优点在于有着坚实的理论基础，能够对相机抖动、噪声等图像退化现象进行明确建模。但它们在处理复杂的退化情况（如非均匀模糊、复杂运动场景）时表现不佳，而且对图像对齐误差较为敏感。

第二类方法是基于深度学习的端到端框架，这类方法利用神经网络来学习帧与帧之间的对齐关系并实现信息融合（Gao & Zhou, 2023），相关研究主要沿着三个方向发展。显式对齐技术会估计密集的运动信息（如光流或可变形卷积），从而将其他帧变形为与参考帧一致的状态。虽然这类方法具有可解释性，但当运动估计出现错误时，尤其是在纹理较少或动态变化较大的区域，就会积累误差。与之相反，隐式时间建模策略则不采用显式的运动补偿方式，而是借助循环架构在特征空间中直接整合时间动态信息。这种设计虽然能更好地应对不规则的运动情况，但由于纹理提取和时间聚合是在同一个循环流程中进行的，往往会影响空间细节的精确度。第三种更为轻量化的方法则是采用全局引导或基于亲和力的融合方式，完全避免进行密集的运动估计，转而依靠全局仿射变换或差异图来实现图像融合。尽管这类方法在计算成本上更具优势，但本质上难以处理局部和非刚性变形问题。

综上所述，现有的多帧超分辨率处理方法存在三大局限：过度依赖容易出错的像素级运动对齐机制，未能充分利用帧与帧之间的互补信息，以及对感知质量建模不足，这就导致尽管峰值信噪比很高，但重建出的图像纹理仍然过于平滑，细节也不够清晰。

为了解决上述问题，本文提出了一种深度时空协同多帧超分辨率处理方法（DSTC-SRNet）。其核心思路是以端到端的方式，系统地从多帧低分辨率图像序列中提取、对齐并融合互补信息。这项工作的关键创新在于构建了一个协同重建框架，该框架明确地将时间记忆、空间感知以及自适应融合功能分开，避免了简单的帧平均或级联处理方式。该框架采用了双流异构模块来分别处理时间动态信息和空间内容信息。多尺度时间记忆流通过改进型的卷积长短期记忆网络来捕捉帧与帧之间的长距离依赖关系和复杂运动轨迹，从而形成序列演变的连续记忆序列。动态感受野空间流则通过结合动态感受野设计与多尺度金字塔聚合机制，来适配性地提取每帧中与内容结构相关的纹理和细节特征。为了实现这两种不同类型特征的深度融合，我们引入了双向交叉注意力融合模块，该模块能够实现时空信息之间的非局部、基于内容的交互与互补。最后，经过融合后的高维特征会通过多级特征增强模块和渐进式解码模块被映射到高分辨率图像空间，从而实现真实图像纹理和高频细节的精准重建。这项工作的贡献可总结如下：
•我们提出了一种分离式的双流框架，即多尺度时间记忆流和动态感受野空间流，这两种流可以独立处理时间信息和空间信息，从而避免了联合时空建模中容易出现的特征混淆问题，也为后续的融合模块奠定了良好的基础。
•受跨模态学习理念的启发，BCAF模块通过双向交叉注意力机制和门控聚合方式来实现特征的隐式对齐，从而克服了简单特征拼接方法的局限性。
•我们设计了多级特征增强模块，该模块通过整合多尺度上下文信息和通道注意力机制来优化融合后的特征，进而消除模糊伪影，突出有用的特征信息。
•大量实验结果表明，DSTC-SRNet在失真度指标和感知质量指标方面，均显著优于现有的最先进的单图像超分辨率处理方法和多帧超分辨率处理方法。

本文的其余结构如下：第2节将回顾单图像超分辨率处理和多帧超分辨率处理领域的现有研究成果。第3节详细介绍所提出的深度时空协同网络，包括其整体框架以及各核心模块的设计思路。第4节将展示实验结果、与常见方法的对比分析以及各项消融实验的结果。第5节将探讨这项工作在理论和实践方面的意义。第6节将对全文进行总结，并指出未来的研究方向。

相关片段
单图像超分辨率处理
在单图像超分辨率处理领域，如何在保证模型计算效率的同时实现长距离依赖关系的建模，一直是一个核心挑战（Zhang et al., 2026）。卷积神经网络受到局部感受野的限制，而全局Transformer模型则会产生较高的计算开销。根据其核心设计理念，目前基于深度学习的单图像超分辨率处理方法可分为三类：基于注意力机制的方法、基于频率分析的方法以及基于状态空间模型的方法。

概述
为了有效利用时空相关性并提升时空超分辨率处理的性能，我们提出了DSTC-SRNet。这款模型是一种端到端的框架，采用分层、专业化且协同处理的架构设计。它的核心思想是将复杂的多帧超分辨率处理任务分解为多个子问题：特征表示、帧间关系建模、帧内细节提取，以及时空对齐与融合。每个子问题都有相应的解决方案。

实验设置
运行环境：所有实验都在配备NVIDIA GeForce RTX 4060 GPU的电脑上进行。我们的代码是基于PyTorch 2.0.0深度学习框架编写的，并使用了CUDA 12.6加速技术。
参数设置：采用Adam优化器，其参数β1=0.9，β2=0.999（Kingma & Ba, 2015）。初始学习率设置为8.0×10?5。同时采用了自适应学习率衰减策略：如果连续三个训练周期后验证集损失没有下降，就会调整学习率。

理论意义
我们的框架遵循“先专业化处理，再协同协作”的原则：通过将时间流和空间流分开，让它们在相互交互之前分别形成互补的特征表示。这种分工方式突破了以往多帧超分辨率处理方法中将运动估计和特征融合紧密结合的模式，表明在多源图像修复任务中，清晰的流程划分往往比单一的整体设计效果更好。尤为重要的是，通过摒弃显式的几何对齐方法（如光流、可变形卷积），我们的框架实现了更稳定的特征处理过程。

结论
我们提出了DSTC-SRNet，这是一种深度时空协同网络，它将时间建模和空间建模分开，通过双向交叉注意力机制实现特征的隐式对齐，并在逐步重建图像之前对特征进行优化处理。这种设计避免了传统方法中存在的脆弱显式对齐问题、特征混淆以及细节丢失的问题。在各种数据集上的实验表明，我们的方法在PSNR值和LPIPS值方面都大幅超越了现有的各类方法。未来的研究可以进一步探索更强大的语义先验信息。

CRediT作者贡献说明
王晓瑞：负责原文撰写、概念构思以及方法设计工作。
顾国华：负责文章审阅与编辑、概念构思以及方法设计工作。
钱伟贤：负责数据整理以及结果可视化工作。
孔晓芳：负责资源准备以及方法验证工作。
陈倩：负责资源准备以及形式化分析工作。
万敏杰：负责项目监督、概念构思、项目管理以及资金筹措工作。

利益冲突声明
作者们声明自己不存在任何可能影响本文研究结果的已知财务利益或个人关系。

王晓瑞|顾国华|钱伟贤|孔晓芳|陈倩|万敏杰