紧致-开拓扑上通过超循环性实现的基于轨道的通用逼近

《Neural Networks》：Orbit-based universal approximation via hypercyclicity on compact–open topology

　　

**摘要**

我们建立了由仿射复合算子的超循环轨道驱动的紧致-开拓扑一致万能逼近框架。在一维情况下，对于合适的连续激活函数，我们证明了某个固定的加权平移算子在紧致-开拓扑下、单层神经网络所表示函数类的闭包上是超循环的。因此，该闭包中存在一个单一的种子函数，其迭代在紧集上一致地逼近每一个目标函数。我们还证明了周期点的稠密性，从而证明了该算子的混沌性。在更深层次、更高维度网络类的相应紧致-开稠密假设下，同样的轨道逼近机制可以推广到任意深度和维度。因此，逼近是通过在单一固定算子下沿着一个固定种子的轨道移动来实现的，而非为每个目标重新优化参数。

**引言**

经典的万能逼近定理，如Cybenko（1989）、Hornik、Stinchcombe和White（1989）、Hornik（1991）以及Funahashi和Nakamura（1993）所给出的结果，表明具有合适激活函数的浅层前馈网络可以在紧集上一致地逼近连续目标函数。对于连续非多项式激活函数，标准刻画由Leshno等人（1993）给出。现有的大多数理论聚焦于通过激活函数的静态线性组合进行逼近，这需要对每个目标函数使用一组新的参数。

通常，逼近每个新的目标函数涉及从头开始重新训练网络参数，这一过程既可能在计算上代价高昂，又在理论上具有重复性。此外，许多经典结果依赖于输入集的紧性（Barron, 1991; Cybenko, 1989; Hornik, 1991; Hornik et al., 1989; Leshno et al., 1993; Long et al., 2007）。大多数结果针对的是定义在紧空间上的连续函数。此外，van Nuland Teun和Nuland（2024）证明了针对连续、非多项式且渐近线性的激活函数的非紧致万能逼近定理，在无穷远处消失的空间C?(??)中建立了稠密度。他的分析关键性地利用了激活函数φ在无穷远处的线性增长，确保网络输出不会爆炸。

尽管如此，这些结果缺乏一种函数逼近机制，在该机制中表示保持不变，而适应性来源于某种变换的作用。因此，我们关注紧致-开拓扑下的万能逼近，受以下问题的启发：

我们提出是否可以构造一个种子函数，使其位于神经网络类的紧致-开闭包中，使得在不改变底层网络参数的情况下，该函数在一个固定变换下的轨道可以在紧集上逼近许多目标函数。

我们的工作填补了这一空白，提出了一个框架，其中万能逼近来源于单一函数在算子复合下稠密轨道的作用，我们证明该算子是超循环的。因此，这减少了反复重新训练网络参数的需求。鉴于此，我们的发现阐明了连续函数的逼近如何由属于相关网络闭包的单一函数的轨道生成。在实践中，这可能降低计算成本，因为无需探索整个空间，我们可以在可数稠密轨道内工作，从而逼近归结为选择算子的单一迭代索引。我们将积分方程族和微分方程族的一些可能应用留待未来工作。

在以下各节中，我们将在连续函数空间的若干种拓扑下工作。我们在域?上工作，令? = {1, 2, …}。对于n ∈ ?，令C(??)表示所有连续函数f: ?? → ?的空间。我们用C_b(??)表示有界连续函数，C?(??)表示在无穷远处消失的连续函数（即lim_{‖x‖→∞} f(x) = 0），C_c(??)表示紧支连续函数。明确地，

C?(??) := {f ∈ C(??) : ?ε > 0, ?R > 0, 使得当‖x‖ ≥ R时，|f(x)| < ε}。

对于紧集K ? ??，定义半范数为

p_K(f) := sup_{x∈K} |f(x)|。

C(??)上的紧致-开拓扑是由族{p_K : K ? ?? 紧}生成的局部凸拓扑。序列{f_m}在该拓扑下收敛于f，当且仅当对于每个紧集K，p_K(f_m ? f) → 0，等价地，当且仅当f_m在每一个紧集上一致收敛于f。

由于??是σ-紧的，紧致-开拓扑是距离化的。例如，若K_m := [?m, m]?，则

d_{co}(f, g) := Σ_{m=1}^∞ 2^{?m} min{1, p_{K_m}(f ? g)}

诱导出C(??)上的紧致-开拓扑。因子min{1, ·}使每个求和项有界于2^{?m}，从而保证级数收敛，同时保留相同的紧致一致收敛概念。我们用co表示紧致-开闭包。

对于子集S ? C(??)，我们将其紧致-开拓扑下的闭包记为S?_{co}。给定A, B ? ??，我们还使用

dist(A, B) := inf{‖x ? y‖ : x ∈ A, y ∈ B}

表示??的子集间的欧氏距离。

直观上，可以想象紧致-开拓扑会忽略远离给定紧集处发生的事情，而这种灵活性正是我们能够为加权平移构造超循环轨道的原因，而在C?(??)上一致范数下超循环性是不可能的。

经典的截断论证表明C_c(??)在紧致-开拓扑下稠密于C(??)，因此在某种意义上C?(??)稠密于C(??)。稍后我们将利用这一稠密度以及紧致-开拓扑较弱的特性，来构造位于C?(??)中的超循环向量，其轨道在下文所定义的相应网络类的紧致-开闭包中是稠密的。

算子的超循环性及其超循环向量长期以来被作为动力系统领域的一种普适性形式进行研究。这表明在某个线性算子下存在具有稠密轨道的向量，这在动力系统中被作为普适性的一种形式加以研究。专著Bayart和étienne Matheron（2009）；Grosse-Erdmann等人（2011）举例说明了序列空间上的某些加权移位算子是超循环的。这暗示了神经网络万能逼近的动力学类比：与其在不同任务间改变神经网络参数，不如迭代一个固定算子来扫过一个稠密的函数集。

我们回顾Grosse-Erdmann等人（2011）中如下将在后文用到的定义。

**定义1.1** 设X为可分拓扑向量空间，T: X → X为连续线性算子。若存在x ∈ X，其在T下的轨道{T?x : n ≥ 0}在X中稠密，则称算子T: X → X为超循环的。此时，x称为T的超循环向量。

若对某个整数p ≥ 1有T^p x = x，则称点x ∈ X为T的周期点。

**定义1.2** 称X上的线性算子T为混沌的，若它是超循环的且具有稠密的周期点集。

本文中主要的动力学算子是加权平移算子。设λ ∈ ??{0}为非零标量（权重），β ∈ ?。加权平移算子T_{λ,β}定义为：

(T_{λ,β}f)(x) = λf(x + β), f ∈ C(?)。

迭代该算子T_{λ,β}产生一个作用在函数空间上的半群{T_{λ,β}^k}。可以推导出：

(T_{λ,β}^k f)(x) = λ^k f(x + kβ), k ∈ ?。

该算子的核心作用在于平移f的自变量，我们利用它来研究函数在反复施加T_{λ,β}下的轨道行为。我们将环境函数空间上的恒等算子记为Id。f在T_{λ,β}下的轨道是集合{T_{λ,β}^k f : k ≥ 0}，其中T_{λ,β}^0 = Id。特别地，我们关注的是轨道{T_{λ,β}^k f}在相关网络类的紧致-开闭包中是否稠密。换言之，我们在检验定义1.1中所定义的超循环性。在以下各节中，我们将运用Bayart和étienne Matheron（2009）中关于超循环算子的方法来构造神经网络函数类的紧致-开闭包内的万能逼近器。

函数f的支集记为supp f。设φ为?上非多项式的连续激活函数。

我们将具有n个输入节点和一个输出节点的单层前馈神经网络的空间定义为C(??)的如下子空间：

N_φ^1(??) := span{x ? φ(a·x + b) : a ∈ ??, b ∈ ?}，

其中对于a, x ∈ ??，我们用a·x := Σ_{j=1}^n a_j x_j表示欧氏内积。等价地，N_φ^1(??)可以写为：

N_φ^1(??) := {Σ_{i=1}^m c_i φ(a_i·x + b_i) : m ∈ ?, a_i ∈ ??, b_i, c_i ∈ ?}。

深度为?（? ≥ 2）的网络空间，即具有?个隐藏层，可以通过递归定义（见图1）：

N_φ^?(??) := span{x ? φ(f(x) + b) : f ∈ N_φ^{??1}(??), b ∈ ?}。

我们定义：

X_1 := N?_φ^1(R)_{co}，

其中上标co表示闭包在紧致-开拓扑下取。

我们回顾，对于紧集K ? ??，用C(K)表示具有范数‖f‖_{C(K)} = max_{x∈K} |f(x)|的所有连续函数集合。

**引理1.3** 设F ? C(??)。假设对于每个紧集K ? ??，限制集F|_K := {f|_K : f ∈ F}在‖·‖_{C(K)}下稠密于C(K)。则F?_{co} = C(??)。特别地，C?(??) ? F?_{co}。

**证明** 设g ∈ C(??)，U为g在紧致-开拓扑下的一个基本邻域。则U具有如下形式：

U = ?_{i=1}^m {h ∈ C(??) : ‖h ? g‖_{C(K_i)} < ε_i}，

其中K_i为紧集且ε_i > 0。令K := ?_{i=1}^m K_i（仍为紧集），ε := min_i ε_i。由假设，选取f ∈ F使得‖f ? g‖_{C(K)} < ε。则对每个i，‖f ? g‖_{C(K_i)} ≤ ‖f ? g‖_{C(K)} < ε ≤ ε_i，故f ∈ U。因此g的每个邻域都与F相交，即g ∈ F?_{co}。

利用最后一个引理，只需证明对于每个紧集K ? ??，限制类N_φ^?(??)|_K稠密于C(K)。当? = 1时，这是Leshno等人（1993）的经典定理。当? ≥ 2时，我们对?进行归纳论证。

假设N_φ^{??1}(??)|_K稠密于C(K)对所有紧集K ? ??成立。设g ∈ C(K)，ε > 0。由? = 1的情形，选取

G(x) = Σ_{r=1}^m c_r φ(a_r·x + b_r) ∈ N_φ^1(??)

使得‖g ? G‖_{C(K)} < ε/2。由于每个仿射映射x ? a_r·x在K上连续，且φ在紧区间上一致连续，存在δ > 0使得每当

‖h_r ? (a_r·x)‖_{C(K)} < δ (r = 1, …, m)

时，有

‖Σ_{r=1}^m c_r φ(h_r + b_r) ? Σ_{r=1}^m c_r φ(a_r·x + b_r)‖_{C(K)} < ε/2。

由归纳假设，对每个r存在h_r ∈ N_φ^{??1}(??)使得‖h_r ? (a_r·x)‖_{C(K)} < δ。故

H(x) := Σ_{r=1}^m c_r φ(h_r(x) + b_r) ∈ N_φ^?(??)，

且

‖H ? g‖_{C(K)} ≤ ‖H ? G‖_{C(K)} + ‖G ? g‖_{C(K)} < ε。

因此N_φ^?(??)|_K稠密于C(K)对所有? ∈ ?成立。从而，由引理1.3，

N_φ^?(??)?_{co} = C(??)，C?(??) ? N?_φ^?(??)_{co}。

我们将证明在紧致-开闭包N?_φ^1(R)_{co}中存在单一的超循环函数F。其在反复施加T_{λ,β}下的轨道在X_1中稠密，且由于C?(R) ? X_1，C?(R)中的每个目标都可以由该轨道的适当迭代在紧集上逼近。该函数本身不必是单一有限网络，而是位于有限网络类的紧致-开闭包中，因此一旦选定逼近元，即可在每个紧集上由参数固定的有限神经网络逼近。同样的机制将用于证明它对更深层闭包的成立性。

一旦构造了关于T_{λ,β}的超循环函数F ∈ N?_φ^1_{co}，它即可通过迭代施加于F的算子T_{λ,β}来逼近任意目标函数g ∈ C?(R)，而非重新训练其参数。因此，对于任意g ∈ C?(R)，任意紧集K ? R，以及任意容差ε > 0，存在整数k ∈ ?使得

‖T_{λ,β}^k F ? g‖_{C(K)} < ε。

等价地，轨道{T_{λ,β}^n F : n ≥ 0}在X_1 := N?_φ^1(R)_{co}中关于紧致-开拓扑是稠密的。由于C?(R) ? X_1，C?(R)中的每个目标都可以通过选取适当的迭代在紧集上一致逼近。这表明基于轨道的万能逼近是通过沿稠密轨道导航来实现的，而非通过重新优化网络参数。

在本小节中，"表达能力"指的是由给定神经网络架构所生成的函数类的大小和逼近能力。一个互补的研究方向研究如何通过增加网络深度来扩大该可实现类。深度分离结果表明，存在可以高效地由深度网络表示的函数，但若用更浅的网络表示或以可比精度逼近，则需要显著更大的宽度（Hanin和Rolnick, 2019; Hanin和Sellke, 2017; Montúfar等人, 2014; Raghu等人, 2017; Telgarsky, 2016; Yarotsky, 2017）。更精确地说，"指数级更大的宽度"意味着，对于某些目标函数，降低深度迫使每层神经元数量以e^{cm}或等价地2^{cm}（关于相关复杂度参数m）的方式增长，而更深网络仅以多项式甚至线性宽度即可表示或逼近同一函数。与此并行，深度ReLU网络在Sobolev型函数类上已获得了精确的逼近速率（Yarotsky, 2017）。进一步的改进强调目标函数中的层次结构或组合结构可以被深度架构利用以实现更高效逼近（Lin等人, 2017; Petersen和Voigtlaender, 2018）。关于深度表达优势和浅层架构局限性的额外视角可参见Eldan和Shamir（2016）；Liang和Srikant（2016）；Lu等人（2017）。

逼近论的根源可以追溯到经典的稠密性结果，如Weierstrass定理，该定理指出每个定义在紧区间上的连续函数都可以由多项式一致逼近（Weierstrass, 1885）。随后由Stone定理推广，该定理给出了在紧空间K上子代数稠密于C(K)的条件（Stone, 1948）。另一个重要的经典结果是Kolmogorov叠加定理，该定理表明连续多元函数可以通过有限个一元函数的叠加来表示（Kolmogorov, 1957）。

在另一个方向上，算子论概念如超环性和超级环性也已在非阿基米德空间上得到研究 Mukhamedov and Khakimov (2018); Mukhamedov et al. (2022)。从经典逼近理论到神经网络的转变标志着通用逼近定理的出现，这些定理表明具有合适激活函数的神经网络可以逼近广泛的目标函数类别。这些定性逼近结果后来被细化为描述逼近速率和复杂度的定量理论。特别是，傅里叶分析方法导致了 Barron 范数以及对于某些 Sigmoid 网络与维度无关的逼近估计 Barron (2002)。与此同时，下界结果揭示了宽度受限架构的内在局限性 Maiorov and Pinkus (1999)。这些发展构成了神经网络更广泛的容量理论的一部分 Pinkus (1999)。

相关的一系列工作研究了架构限制下的逼近问题。例如，固定权重构造在合适的情况下仍可实现近乎最优的误差界 Guliyev and Ismailov (2018)。其他工作比较了逼近方案中基函数的贪心选择和随机选择 Gorban et al. (2016)。相关的高维现象也在神经网络设置之外得到了研究。例如，用分数准范数替换欧几里得范数可以减轻某些重尾环境中的距离集中问题，但这种改进并不具有普遍性 Tyukin et al. (2025)。这些结果表明，如果没有额外的结构假设，仅靠随机化或度量变换并不能提供表达能力的通用保证。

另一个概念上不同的方向涉及类量子认知模型及其与神经元动力学的可能耦合。在该文献中，缩写 GPT 代表广义概率论（generalized probabilistic theory），而不是生成式预训练 Transformer（generative pre-trained transformer）。广义概率论是一个抽象的操作框架，其中状态构成有序实向量空间的凸子集。顺序通常由正锥决定，它指定了哪些状态和效果在物理上或概率上是允许的。概率然后通过状态与效果的配对获得。因此，有序状态空间 GPT 模型提供了一个常见的数学框架，其中包含经典概率模型和量子概率模型作为特殊情况。这类模型已被用于描述认知中的非经典行为现象，包括情境性、干涉效应以及偏离经典全概率定律的现象。最近的研究探讨了这些有序状态空间模型如何与神经网络耦合，旨在将行为层面的类量子效应与神经层面的状态表示和基于退相干的决策动力学联系起来 Asano et al. (2011); Khrennikov, Basieva, Pothos, Yamato, 2018, Khrennikov, Ozawa, Benninger, Shor, 2025。

几乎每个通用逼近定理，无论是在紧集还是非紧集上，都依赖于针对目标函数定制权重。因此，每当任务发生变化时，网络必须重新训练或微调。超环算子理论 Bayart and étienne Matheron (2009); Grosse-Erdmann et al. (2011) 提出了一种替代方案，即保持网络固定，并通过合适的加权平移算子逼近新目标。

这自然引发了一些问题：能否找到一个函数网络，其轨道在重复复合下在预定的函数空间中稠密，并且这样的轨道具有什么附加结构？

本文回答了这些问题并确立了几个结果。
• 我们证明了一个函数 F∈Nφ1￣co 的存在性，使得在算子 Tλ,β 作用下，序列 {Tλ,βnF:n≥0} 在 β≠0 时，在 C0(R) 的紧开拓扑下稠密。这提供了非紧通用逼近在标准神经网络类中的第一个超环轨道实现。
• 我们证明复合算子 Tλ,β 是超环且混沌的。由于混沌性质，这意味着加权平移算子允许一个网络，其迭代能够命中紧集上的任何目标。此外，诱导算子的周期点在紧开拓扑闭包 X1 中稠密，但附近的种子在迭代后可能发散。
• 对于每个深度 ?∈N，我们构造了一个超环向量 F?。因此，基于超环轨道的逼近在任意深度下都存在。
• 任意目标函数 g∈C0(R) 都可以通过选择算子 Tλ,β 应用于固定种子函数 F 的合适迭代 n，在紧子集上得到逼近。
• 基于轨道的逼近使用超环性证明了神经网络中的表达能力可以来自输入轨道的几何结构，而不是权重的重复优化。

本文的组织结构如下。第 1 节回顾了逼近理论和神经网络表达能力中的几个里程碑。我们强调了从经典密度定理到现代深度分离结果和替代构造的进展。我们提供了本文设置所需的预备信息，并概述了我们结果的动机和概述。第 2 节概述了 R 上基于轨道的逼近的主要结果。第 3 节确立了任意深度及 Rn 上基于轨道的逼近及其类似结果。在第 4 节中，我们讨论了我们结果的含义，回顾了一些开放问题，并从理论和实践的角度为从业者指出了进一步的方向，因为这项工作开辟了广阔的未探索领域。我们强调，在所考虑的设置中，所提出的方法是新颖的。

章节片段
R 上基于轨道的逼近
引理 2.1 设 φ∈C(R) 并设 X1:=Nφ1(R)￣co。对于 λ∈R?{0} 和 β∈R 定义，
(Tλ,βf)(x):=λf(x+β).
则 Tλ,β(Nφ1(R))?Nφ1(R)，因此 Tλ,β(X1)?X1。此外，Tλ,β: X1→X1 对于紧开拓拓扑是线性和连续的。
证明 对于 f(x)=cφ(ax+b)，我们有
(Tλ,βf)(x)=λcφ(a(x+β)+b)=λcφ(ax+(aβ+b))∈Nφ1(R).
由于有限和得以保持，Tλ,β(Nφ1(R))?Nφ1(R)。线性性直接由定义得出。
对于具有紧开拓扑的 C(R) 上的连续性，对于每个紧集 K?R，
supx∈K|(Tλ,βf)(x)?(Tλ,βg)(x)|=|λ|supx∈K|f(x+β)?

任意深度及 Rn 上的超环性
在本节中，设 φ∈C(R) 为非多项式。让我们回顾必要的定义。
定义 3.1 设 φ:R→R 为激活函数，设 n∈N。对于 x,a∈Rn，写
a·x:=∑i=1naixi
表示欧几里得内积。
Rn 上单隐藏层 φ-网络的类定义为
Nφ1(Rn)={∑j=1mcjφ(aj·x+bj):m∈N,cj,bj∈R,aj∈Rn}.
对于 ?≥2，深度-? φ-网络的类递归定义为
Nφ?(Rn)={∑j=1mcjφ(gj(x)+bj):m∈N,cj,bj∈R,gj∈Nφ??1(Rn)}.
这里 span 始终表示所有有限实线性

讨论
本研究表明，紧开拓扑下的通用逼近可以通过作用于单个固定种子的加权平移算子的动力学来实现。更具体地说，对于合适的激活函数，我们提供了函数 F∈X1:=Nφ1(R)￣co 的存在性，使得其在算子
(Tλ,βf)(x)=λf(x+β),λ≠0,β≠0,
下的轨道在 X1 中对于紧开拓拓扑是稠密的。由于，在紧通用逼近假设下（当 φ 为非多项式时），我们有 X1=C(R)

数据可用性声明
本研究未使用任何数据。
利益冲突
作者声明无利益冲突。
伦理批准
本研究属于理论研究，不涉及人类参与者、动物主体或生物材料。因此，无需伦理批准。
CRediT 作者贡献声明
Farzona Mukhamedova: 写作 – 审阅与编辑，写作 – 原稿撰写，验证，资源，项目管理，方法，调查，数据整理，概念化。Ivan Tyukin: 写作 – 原稿撰写，监督，方法，概念化。Farrukh Mukhamedov: 写作 – 审阅与编辑，监督，方法，调查，概念化。
竞争利益声明
作者声明他们没有已知的竞争财务利益或个人关系，这些关系可能会影响本文中报告的工作。
致谢
作者感谢审稿人提出的建设性和宝贵建议，这些建议有助于改善论文的呈现。
Farzona Mukhamedova|Ivan Tyukin|Farrukh Mukhamedov