基于余弦积的视觉Transformer张量代数框架

《Neurocomputing》：Tensor-algebraic framework for vision transformers via cosine product

　　摘要：视觉变换器在众多计算机视觉任务中引起了广泛关注。本文我们提出了一种基于张量余弦积来构建视觉变换器的代数框架。变换器中的每个变换组件都被重新表示为余弦积代数形式，而非传统的矩阵代数，从而使每种运算都成为其标准对应运算的余弦积泛化形式。我们证明，由此产生的线性映射构成一个具有明确特征的算子类，这些算子可通过通道模式上的余弦变换进行块对角化，从而在限制跨频率交互的前提下实现参数数量减少，其中为通道数。该框架与具体架构无关，可统一应用于各类变换器变体。作为概念验证，我们在标准的视觉变换器（TCP-ViT）上应用了这一框架，并在分类和分割任务基准测试上进行了控制实验，包括高通道数的高光谱场景，以验证预测的参数减少效果在实践中确实存在，并分析这种张量化表达式的行为特性。

引言：视觉变换器[3]因其能够通过自注意力机制捕捉长距离依赖关系，近年来作为卷积神经网络的强大替代方案而备受关注。与基于局部感受域且共享权重的卷积架构不同，视觉变换器从网络最底层就开始实现整个图像的全局信息交换。这种全局建模能力使得视觉变换器在图像分类、目标检测以及语义分割等众多计算机视觉任务中取得了领先性能。尽管如此，传统的视觉变换器模型仍存在若干固有局限。首先，图像会被分割成多个块，然后被展平为向量并作为独立元素处理。这一向量化步骤破坏了图像数据固有的多维结构，同时也忽略了空间维度与通道维度之间的相关性。此外，自注意力机制的计算和内存复杂度随元素数量呈二次方增长，这使得在处理高分辨率图像时，视觉变换器的训练和部署成本很高。这些因素严重限制了其在资源有限环境中的可扩展性和实用性。为了解决这些问题，人们开展了大量研究，致力于开发高效的视觉变换器变体。提出的方法包括稀疏注意力机制、轴向注意力机制、低秩及基于核的注意力形式，以及结合卷积与变换器组件的混合架构[12][29][30]。虽然这些方法降低了计算开销，但它们通常仍采用向量化表示方式，未能充分利用视觉数据的多线性结构，因此重要的空间和光谱关系可能仍被忽视。近期，张量数值线性代数的发展为解决这些挑战提供了另一种具有数学原理性的方法。张量为多维数据提供了自然的表示方式，同时支持那些能在降低冗余的同时保留结构特性的算法[14][16][19]。尤其是基于正交变换（如傅里叶变换和余弦变换）的张量积，在大规模逆问题求解、病态系统正则化以及高维科学计算领域展现了出色的效能[1][7]。这些技术得益于坚实的理论基础以及快速变换算法所带来的高效实现方式。受这些进展的启发，我们基于张量余弦积提出了一种将视觉变换器张量化的理论框架。通过直接作用于张量值表示，并运用基于余弦变换的张量积，该方法既保留了空间结构，又可通过代数推导直接证明参数数量的减少。由于余弦变换具有强大的能量压缩特性以及良好的边界处理性能，它尤其适用于视觉应用[23]。张量余弦积提供了一种结构化的代数表达方式，使得视觉变换器架构中的各变换组件能够在多线性变换域内重新表述。这为将数值线性代数技术整合到现代深度学习架构中提供了坚实的代数基础[9]。本研究的主要贡献如下：•我们正式定义了张量余弦积，并明确了其基本的代数性质以及保持正交性的特性。•我们构建了一个理论框架，通过该框架，视觉变换器的各变换组件可借助张量余弦积重新表述，从而根据代数结构直接证明参数数量的减少。•我们在标准的视觉变换器（TCP-VIT）上实现了该框架，作为一种基于张量值块表示的概念验证架构。•我们给出了理论上的复杂度分析，并通过分类和分割任务基准测试进行了概念验证实验，以证实预测的参数减少效果在实践中确实存在。需要强调的是，余弦变换是该代数框架的固有组成部分，而非可调节的超参数：替换它只会得到不同的张量-张量积，而非另一种基下的余弦积。因此，本研究的贡献在于该代数框架本身，而实验则属于概念验证，无法证明其精度或性能优于传统密集型视觉变换器。本文的其余部分结构如下：第2节回顾了关于高效视觉变换器以及深度学习中张量方法的相关研究；第3节介绍了离散余弦变换以及具有代数特性的张量余弦积；第4节回顾了标准视觉变换器架构，并明确了全文使用的符号规范；第5节介绍了经过张量化的TCP-VIT架构；第6节进行了参数效率与计算复杂度的分析；第7节展示了数值实验结果；第8节对全文进行了总结。