仅凭“上下文一致性”就足够了吗？多层感知器（MLPs）在“上下文一致性”方面也同样具有通用性

《Neural Networks》：Is In-Context Universality Enough? MLPs are Also Universal In-Context

　　摘要
Transformer彻底改变了深度学习的现状，这引发了这样一个问题：是什么使得它们优于传统的架构，如多层感知器（MLP）？本文得出了一个否定的结果，从而限制了对Transformer经验优势的潜在解释。我们证明了带有修正激活函数的MLP是通用的上下文近似器，这意味着Transformer的上下文通用性（而非效率）并不提供独特的表达能力优势。我们进一步建立了一个规范化的简化模型：这里考虑的任何MLP都可以表示为一个多头Transformer，从而使我们的近似保证可以在两种模型之间转换。总的来说，这些结果表明，在我们的排列不变设置中，仅凭上下文通用性并不能区分这两种模型。它们并未排除在近似效率上的差异，这些差异仍然需要通过统计、优化和归纳偏置等视角来解释。我们通过限制在排列不变的上下文中进行公平比较，将这种上下文形式化为具有Wasserstein距离的实证概率测度子空间。

引言
Transformer的不可否认的成功归因于它们在上下文中的学习能力，这与传统的多层感知器（MLP）不同。这意味着Transformer可以处理符号序列并预测下一个相关的符号。当在大型、多样化的数据集上进行训练时，它们通常表现出上下文学习（ICL）能力。这意味着，给定来自特定任务的短序列输入-输出对（提示），模型可以在不更新参数的情况下对新示例进行预测。ICL可以从三个主要的角度进行研究：近似理论、统计和优化视角。我们关注前两个角度，通过对比Transformer与经典MLP模型的近似能力来进行研究。根据Bolcskei等人（2019年）、Hornik等人（1989年）、Kidger和Lyons（2020年）、Kratios和Papon（2022年）、Suzuki（2018年）、Yarotsky（2018年）以及Shen等人（2022年）等人的工作，现在已经非常清楚，MLP在经典的“离上下文”意义上是通用近似器；也就是说，任何从???到???的连续函数都可以通过足够多的神经元在紧凑集合上以任意精度被MLP均匀近似。这些经典的“离上下文”通用性保证也已经适用于Transformer模型（Fang, Ouyang, Zhou, & Cheng, Kim, Nakamaki, Suzuki, 2024; Petrov, Lamb, Paren, Torr, Bibi, 2025），并且具有匹配的最优速率，这意味着Transformer在表达能力上至少与“离上下文”的MLP相当。然而，我们注意到这些作者考虑的是非标准的Transformer架构。最近（Petrov等人，2025年）的研究表明，循环Transformer可以通过提示工程在上下文中近似任何函数。随后Furuya等人（2024年）的研究证实，Transformer在上下文中也是通用近似器，这意味着它们可以在紧凑集合上以任意精度均匀地将上下文和查询映射到预测结果；同样需要足够的神经元。这些结果表明，Transformer在表达能力上可能确实优于传统的MLP模型，这暗示了问题1可能会得到积极回答，因为目前尚不清楚后者在上下文中是否具有通用性。
我们的论文是从问题1的否定方向出发的。我们的主要结果（定理3.1）与Furuya等人（2024年）和Castin等人（2024年）在排列不变上下文（PICs）设置中的MLP模型的上下文通用性相匹配。我们得出结论，Transformer相对于MLP模型的优越经验性能不能仅由上下文通用性来解释。近似效率、统计属性、优化动态和归纳偏置仍然是观察到的差异的可能解释。我们的主要结果由推论3.2补充，它为Furuya等人（2024年）的通用性结果提供了一个定量对应物。它表明，对于任何目标上下文学习器、紧凑的PIC集合和规定的近似精度，存在一个每个块都带有多个注意力头部的Transformer，满足相应的近似保证。因此，在我们的设置中，上下文通用性并不能区分Transformer和MLP。我们的第二个主要结果（推论3.2）是从我们关于ReLU MLP的主要结果推导出来的，使用我们的Transformer化程序（命题4.6），该程序将任何MLP转换为多头Transformer，同时精确保留其深度和宽度，仅将其可训练（非零）参数的数量翻倍（因此具有相同数量的可训练参数），并且每个块都有固定数量的注意力头部。这种“转换”映射也在Petersen和Voigtlaender（2020年）的研究中用于证明卷积神经网络的定量通用性保证，在Singh等人（2023年）的研究中用于证明脉冲神经网络的通用性保证。
我们分析中的一个关键步骤表明，ReLU MLP可以在包含所有实证测度的广泛类别的有限概率测度上精确实现1-Wasserstein距离（命题D.8）。这一辅助结果可能对神经最优传输社区也有独立的价值，例如Korotin, Egiazarian, Asadulaev, Safin, & Burnaev, Korotin, Selikhanovych, Burnaev（2022年）和Gazdieva等人（2024年）的研究。

排列不变上下文及其几何特性
Transformer模型通常无法在没有使用位置编码的情况下内在地检测输入符号的顺序（Chu, Tian, Zhang, Wang, Shen, 2022年；Li, Si, Li, Hsieh, Bengio, 2021年；Vaswani, Shazeer, Parmar, Uszkoreit, Jones, Gomez, Kaiser, Polosukhin, 2017年）。这些编码捕获了符号出现的顺序，解决了Transformer对输入上下文矩阵中行排列的不变性问题。由于我们研究的是Transformer架构而不是特定的位置编码方案，因此我们将采用Furuya等人（2024年）和Castin等人（2024年）提出的排列不变上下文公式，而不是Akyürek等人（2022年）、Garg等人（2022年）、Zhang等人（2024a年）和Von Oswald等人（2023年）提出的顺序公式，后者无法捕捉Transformer的排列不变性。在本文中，我们使用了Furuya等人（2024年）引入的改进版的排列不变设置。他们的框架将上下文形式化为字典??????中符号空间的概率测度。其动机是，任何有限的符号集合??1,?,????∈??都可以表示为一个实证测度??=∑????=1???????????，其中0≤??1,?,????≤1（总和为1），反映了每个符号在排列不变上下文（PIC）μ中的相对频率，该频率不受这些符号索引的影响。虽然他们的排列不变设置非常适合现实世界的Transformer，但它忽略了这样一个事实：即使符号来自无限字典??，现实世界的上下文窗口（C）仍然会施加约束。我们的分析基于Furuya等人（2024年）假设的数学理想化的定量细化，在该假设中上下文可以是任意的大的，因为任何现实世界的LLM都具有有限的上下文窗口。相反，我们的分析是在现实的子空间????,???(??)上进行的（在第2.1节中详细说明），该子空间由形式为∑????=1???????????的概率测度组成，其中权重{????}????=1都是正的并且可以被上下文窗口C整除。因此，每个distinctly observed的符号xn不能被观察到的次数超过上下文窗口C允许的次数。即我们禁止了如1/√2这样的数学伪像。在这种现实限制下，我们可以在??∈????,???(???)中识别任何PIC，将其映射为??×(??+1)实矩阵??=??∑??=1????????????????的等价类Xμ=[(????,????)????=1]，这里[A]表示通过排列??×(??+1)矩阵A的行形成的矩阵的等价类。我们为????,???(???)配备了1-Wasserstein度量，当限制在实证测度空间??1,???(???)上时，被证明等同于相应的子空间上的自然商度量（见Bridson和Haefliger（1999年））。

近似保证
我们强调，对于Transformer来说，存在比Furuya等人（2023年）提出的更低级别的近似保证，其中一些考虑了上下文；例如Petrov等人（2025年），不涉及排列不变性；还有一些是上下文无关的；例如Fang等人（2022年）和Kim等人（2024年）。当与定理3.1对照时，结论仍然是相同的：上下文通用性不足以解释Transformer模型相对于经典MLP模型的优势。尽管与我们的发现没有直接关系，但也有一系列研究考察了Transformer作为形式系统应用于离散符号集时的表达能力（Chiang, Cholak, Pillay, 2023年；Merrill, & Sabharwal, Olsson, Elhage, Nanda, Joseph, DasSarma, Henighan, Mann, Askell, Bai, Chen等人，Strobl, Merrill, Weiss, Chiang, Angluin, 2024年）。另一条研究线索探讨了位置编码如何影响Transformer的表达能力（Luo等人，2022年）。尽管如此，Transformer相对于传统MLP模型的优势仍未被明确。我们还提到了解释Transformer表示特定结构的能力的结果，例如依赖于Nadaraya–Watson核密度估计器的Kalman滤波器更新（Goel和Bartlett，2024年）以及它满足某些约束的能力（Kratsios等人，2021年）。

统计保证
我们还提到了越来越多的关于上下文学习器（如Transformer）的统计保证。这些研究考察了具有线性注意力机制的Transformer的训练动态（Chen, Sheen, Wang, & Yang, Kim, Suzuki, 2024a；Lu, Letey, Zavatone-Veth, Maiti, & Pehlevan, Siyu, Heejune, Tianhao, Zhuoran, 2024；Zhang, Wu, & Bartlett）以及它们的非渐近单步变体Duraisamy（2024年），在上下文中预训练的Transformer的极小极大统计最优性（Kim等人，2024年），用非独立同分布时间序列数据训练的Transformer的保证（Limmer等人，2024年），Transformer的PAC-Bayesian保证（Mitarchuk等人，2024年），它们在NTK方式下的无限宽度极限（Jacot等人，2018年），使用Transformer进行上下文分类的统计保证（Reddy，2023年），以及其他研究上下文学习的统计基础的工作；例如Akyürek等人（2022年）；Li等人（2023年）和Bai等人（2024年）。我们还提到了最近研究Transformer在上下文中生成的思维序列效率的工作（Kim和Suzuki，2024b）。

初步介绍
本节包含了制定我们主要结果所需的背景知识。

主要结果
设定1
固定??,??,??,??,??∈?+，子集??????和??????，其中??是封闭的，以及一个紧凑的集合???????,???(??)×??。设?是??上的一个Borel概率测度。
我们的主要结果表明，类似于Transformer模型（Furuya等人，2024年），MLP模型也可以近似任何连续函数f，该函数将一个排列不变上下文??∈????,???(??)和任何查询??映射到一个新的排列不变上下文?????(??)，其中近似误差以1-Wasserstein距离来衡量。我们证明了对于每个ε?>?0，存在...

构建
我们现在解释我们的主要结果，即定理3.1。

结论
总之，我们的结果表明，经典的MLP在PICs上具有与Transformer相同的上下文通用性。因此，Transformer的成功不能仅归因于上下文通用性；近似效率、统计属性、优化动态和归纳偏置仍然是可能的解释。

作者贡献声明
Anastasis Kratsios：写作——审稿与编辑，写作——原始草稿，方法论，形式分析。
Takashi Furuya：写作——审稿与编辑，方法论，形式分析，概念化。

利益冲突声明
Anastasis Kratsios报告称获得了McMaster大学的财政支持。如果有其他作者，则他们声明没有已知的竞争性财务利益或个人关系可能影响本文所报告的工作。

致谢与资金支持
A. Kratsios感谢NSERC Discovery Grant No. RGPIN-2023-04482和No. DGECR-2023-00230的财政支持。A. Kratsios还指出，准备这项研究所需的资源部分由安大略省政府、加拿大政府通过CIFAR以及赞助Vector Institute的公司提供。
T. Furuya得到了JSPS KAKENHI Grant Number JP24K16949, 25H01453, JST CREST JPMJCR24Q5, JST的支持。