GETA：基于高斯专家模型的令牌聚合方法，用于轻量级Transformer的超分辨率技术

《Expert Systems with Applications》：GETA: Gaussian Expert Token Aggregation for Lightweight Transformer Super-Resolution

　　基于Transformer的图像超分辨率（SR）方法能够提供高质量的重建结果，但其注意力机制的空间分辨率复杂度呈二次方增长，这限制了其在边缘设备和移动设备上的应用。为了降低计算成本，一些方法将注意力限制在预定义的局部区域，但这种忽略内容差异的区域减弱了长距离依赖性的建模。相比之下，通过聚类进行的内容感知 token 聚合可以为注意力提供紧凑的全局先验；然而，现有的方法通常使用点中心来表示簇，忽略了簇内的变异性，导致 token 分配不准确且不稳定，从而全局先验也不可靠。为了解决这些限制，我们提出了 GETA-SR，这是一种基于高斯专家 Token 聚合（GETA）的轻量级 SR 框架，其中每个中心都被建模为一个具有可学习均值和方差的高斯分布，以实现基于不确定性的 token 到中心的分配和更可靠的全局先验。此外，为了捕捉每个簇内的子模式，我们将每个粗略的高斯中心细分为多个专家中心，并开发了两种互补的交互路径：（i）中心引导的全局注意力，通过考虑方差的 token 到中心注意力注入全局先验；（ii）专家引导的组内注意力，在每个专家组内促进相似 token 之间的信息交换。我们进一步引入了一个任务感知的中心校正机制，在训练过程中在 SR 监督下细化中心，而在推理时保持校正后的中心不变以保持效率。在五个基准数据集（Set5、Set14、B100、Urban100 和 Manga109）上的广泛实验表明，GETA-SR 在重建性能和计算成本之间实现了有竞争力的权衡。例如，在 Manga109 数据集上，在 ×3 的设置下，GETA-SR 的 PSNR 提高了 0.31 dB。这些结果表明 GETA-SR 是对现有基于点中心的轻量级 SR 方法的一个非常有用的补充。

**引言**
单图像超分辨率（SISR）长期以来一直是计算机视觉中的一个基本研究课题（Bellili et al. (2026); Glasner, Bagon, & Irani (2009); Liu et al. (2026); Tran, Fedeli, Pi?era García, Pelliccione, & Nguyen (2026)）。它的目标是从低分辨率（LR）输入中恢复高分辨率（HR）图像，通过增强细节纹理和结构特征，并已广泛应用于实际场景，如视频监控（Farooq, Dailey, Mahmood, Moonrinta, & Ekpanyapong (2021)）、医学成像（Lu et al. (2025)、卫星遥感（Jiang et al. (2025)）和自动驾驶（Wang & Qian (2025)）。近年来，由于深度学习的快速发展（Ate?, Eirgash, & Zhao (2026); Ate? & Eirgash (2025); Eirgash, Tiang, Ate?, Sharma, & Lim (2026)），基于深度学习的 SR 方法已成为主流。与传统的插值、稀疏表示和邻域回归方法相比，深度 SR 方法能够产生更加清晰和感知上更令人信服的纹理（Su, Li, Xu, Fu, & Liu (2025); Wang et al. (2026)）。
现有的深度 SR 方法可以大致分为基于 CNN 的方法、基于 GAN 的方法、基于 Transformer 的方法和基于扩散的方法。基于 CNN 的方法受到卷积局部性的限制，难以用紧凑的架构和低计算成本来建模全局依赖性，这可能会降低重建质量（Liu, Zhu, Li, & Ling (2025c); Tian et al. (2025)）。基于 GAN 的方法可以进一步提高重建质量；然而，引入判别器通常会增加模型复杂性，并且经常导致训练不稳定（Wang et al. (2018)）。基于扩散的方法进一步提高了重建质量，但其多步迭代生成导致显著更高的计算开销（Saharia et al. (2023)）。基于 Transformer 的方法利用自注意力有效捕捉长距离依赖性，从而以相对较小的参数规模提高重建质量。尽管如此，原始注意力对于空间分辨率的复杂度呈二次方增长，对于大分辨率输入来说计算成本较高（Chen et al. (2021)）。总体而言，尽管重建质量稳步提高，但许多深度 SR 方法仍然会产生大量的计算和内存开销，阻碍了资源受限的边缘设备和移动平台上的实际应用（Tang, Hu, & Bu (2025）。
为了应对这一挑战，轻量级 SR 最近受到了越来越多的关注（Zhang, Li, Hou, Zhu, & Eldar (2025b）。在基于 Transformer 的 SR 中，大多数轻量级设计专注于在保持重建性能的同时减少注意力的计算负担（Dong et al. (2022); Liang et al. (2021); Liu, Liu, Tang, & Wu (2025b); Zhang, Ren, Liu, & Cao (2023); Zhang, Li, Zhou, Zhao, & Gu (2024)）。SwinIR（Liang et al. (2021) 将图像划分为与内容无关的窗口并在每个窗口内执行注意力操作，这显著降低了计算成本，但限制了远距离区域之间相似 token 的长距离交互。Axial stripe 注意力（Dong et al. (2022）将注意力计算限制在十字形区域内，增强了全局依赖性建模；然而，这些条带经常包含许多不相关的 token，引入了不必要的干扰。上述方法在很大程度上是忽略内容差异的。最近，也探索了考虑内容的轻量级方法。SPIN（Zhang et al. (2023）采用 K-means 聚类来分组 token，并对中心 token 进行注意力操作，这改善了长距离建模并部分缓解了不相关的交互。然而，簇中心只提供了稀疏和粗略的表示，并且聚类必须在推理时执行，增加了运行时开销。ATD（Zhang et al. (2024）引入了一个可学习的 token 字典，在训练期间将关键 token 学习为全局代表，从而避免了测试时的聚类；作为交换，这种基于损失的字典学习增加了大量的训练成本并且产生的全局先验不够准确。CATANet（Liu et al. (2025b）设计了考虑聚类的模块来生成中心 token，实现了更好的性能-效率权衡。然而，它仍然主要基于 K-means，因为每个中心是通过平均其分配的 token 来表示的，这限制了中心作为全局先验的表达能力。总体而言，尽管考虑内容的轻量级 SR 方法在建模长距离依赖性方面很有前景，但一种常见做法是用点中心表示全局先验，这可能导致三个限制：（1）准确性有限：点中心仅表示簇的平均值，而忽略了簇内的变异性；因此，来自高度多样化簇的 token 可能被错误分配，导致全局先验不准确。（2）稳定性差：分配主要依赖于绝对距离，使得边界 token 对小扰动非常敏感，容易在中心之间突然切换，从而破坏了生成的全局先验的稳定性。（3）任务不对齐：中心在梯度传播中的参与度通常有限，且聚类过程基本上是固定的 K-means 风格的迭代，阻止了中心为 SR 目标进行完全优化。

为了应对这些限制，我们提出了 GETA-SR，作为对现有基于点中心的轻量级 SR 方法的一个非常有用的扩展，通过引入可学习的高斯专家中心来进行 token 聚合。我们的框架包括一个内容感知的高斯专家 token 聚合块（GETAB）、一个局部区域自注意力块，以及两个互补的注意力机制，用于粗粒度（中心级）和细粒度（专家级）的交互。具体来说，GETAB 将每个簇中心表示为一个高斯分布而不是一个点。这通过建模 token 簇允许的变化范围引入了额外的自由度，使得 token 的分配不仅取决于与中心的距离，还取决于簇的不确定性。因此，token 可以更准确和稳定地分配，产生更可靠的全局先验。此外，尽管高斯中心可以提高 token 推听的准确性和稳定性，但方差较大的簇可能仍然包含多种潜在子模式（例如，一个“纹理簇”可能混合了砖块、草和涟漪），使得单个高斯中心难以捕捉到如此细微的差异。为了解决这个问题，我们为每个高斯中心配备了多个专门的子专家，通过两阶段的内容感知分配方案（“粗略分组”后跟“精细分组”）将每个簇细分为几个专家子簇。基于这种设计，我们构建了两种互补的注意力交互路径。一方面，我们将粗略中心视为全局先验，并在它们和 LR 图像 token 之间执行注意力操作，以高效地增强带有全局上下文的 token 表示。另一方面，我们将 LR token 分配给不同的专家中心，并在每个专家组内计算注意力，从而加强相似 token 之间的信息互补性和一致性。最后，为了更好地将学习到的高斯中心与 SR 目标对齐，我们超越了纯粹固定的聚类式更新，而是使中心可学习，并在重建驱动的监督下对其进行细化，赋予它们任务感知能力。同时，方差项提供了一种原则性的方法来权重每个中心在注意力中的贡献，为更可靠的（低方差）中心分配更高的权重，进一步提高了长距离依赖性建模的准确性。与现有的基于点中心的方法相比，所提出的设计只引入了少量的额外计算开销，同时提高了 token 分配的准确性和稳定性，从而产生了更准确和稳定全局先验，并带来了更好的整体性能。我们方法与现有基于点中心的方法之间的差异如图 1 所示。此外，图 2 直观地比较了两种方法对同一 LR 输入图像生成的分配结果。如图所示，与现有的点中心相比，我们提出的高斯中心能够更准确地区分有云和无云的天空区域，表明我们的中心对图像中不同模式的建模能力更强，从而反映了我们的中心为该图像编码的全局先验信息更有效。

**我们的贡献总结如下：**
（1）我们提出了一个轻量级 SR 框架，它学习分层的高斯中心，并利用中心引导和专家组注意力来更好地建模长距离依赖性，在重建性能和计算成本之间实现了有竞争力的权衡。
（2）我们提出了一个内容感知的高斯专家 Token 聚合块（GETAB），它通过用高斯中心替换点中心并将它们分层组织为粗略中心和专家中心，为现有的基于点中心的方法提供了非常有用的扩展。粗略中心编码更可靠的全局先验，而专家中心捕获细粒度子模式，使得基于中心的注意力计算更加有效。
（3）我们设计了两种注意力交互：一种是在 LR token 和粗略中心之间，采用方差感知的加权将全局先验注入 LR token；另一种是在分配给同一专家中心的 LR token 之间，加强了相似 LR token 之间的互补信息交换。
（4）广泛的实验表明，我们的方法与最近的轻量级 SR 基线相比，在性能-效率方面实现了有竞争力的权衡。

**章节摘录**
早期的 SR 方法主要依赖于插值或由显式退化模型指导的重建（Baxley (2001)）。然而，这些传统方法在表示复杂纹理和高频细节方面的能力有限，经常产生模糊的边缘、锯齿状伪影或过度平滑的结果（Wang, Chen, & Hoi (2021)）。
近年来，由于深度神经网络强大的非线性建模能力（Ate?, Maurya, Eirgash, & Sharma (2026)），它们取得了显著的进步。

**方法**
本节介绍了我们基于高斯专家 token 聚合的轻量级 SR 框架 GETA-SR。GETA-SR 包含三个组成部分：（1）整体 SR 主干；（2）高斯专家 Token 聚合块（GETAB）；（3）局部区域自注意力（LRSA）模块。具体来说，GETAB 以内容感知的方式建模全局长距离依赖性，而 LRSA 通过捕获与内容无关的局部依赖性来补充它。

**实验设置**
我们仅在 DIV2K（Timofte et al. (2017)）训练集上训练我们的模型。DIV2K 是最广泛使用的用于 SISR 的高质量大规模基准之一，包含 800 张训练图像。对于评估，我们在五个常用的 SISR 测试集上进行了实验：Set5（Bevilacqua, Roumy, Guillemot, & Alberi Morel (2012)）、Set14（Zeyde, Elad, & Protter (2012)、B100（Martin, Fowlkes, Tal, & Malik (2001)）、Urban100（Huang, Singh, & Ahuja (2015）和 Manga109（Matsui et al.）。

**结论**
在本文中，我们提出了 GETA-SR，这是一个基于 Transformer 的轻量级 SR 框架，它将现有的基于点中心的 token 聚合扩展为任务感知的高斯专家公式。通过为每个中心参数化均值和方差，GETA-SR 实现了基于不确定性的 token 分配，并引入了基于方差的中心引导全局注意力，以注入可靠的全局先验。为了更好地捕捉簇内的子模式，我们进一步将每个粗略的高斯中心细分为多个专家中心。

**CRediT 作者贡献声明**
Xianshuai Li：概念化、方法论、软件、验证、形式分析、数据管理、初稿撰写、审稿与编辑、可视化、项目管理。
Shuqing Liang：审稿与编辑、项目管理。
Ze Tao：审稿与编辑、项目管理。
Jian Zhang：资源管理、审稿与编辑、监督、项目管理、资金获取。
Zailiang Chen：资源管理、项目管理。

**利益冲突声明**
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。