用于通用逼近的动态系统最小控制族

《IEEE Transactions on Automatic Control》：A Minimal Control Family of Dynamical Systems for Universal Approximation

本文将通用逼近属性（UAP）扩展至含控制动力系统场景，证明由仿射映射和非线性ReLU组成的控制族F1能近似任意紧集上的保向流形映射，且该族仅含一个非线性函数，故为最小控制族，并建立仿射不变性等条件。

　　

摘要：

通用逼近性质（UAP）在深度学习中占据着基础性地位，因为它为神经网络的表达能力提供了理论基础。人们普遍认为，线性函数和非线性函数（如修正线性单元（ReLU）激活函数）的组合可以在紧凑域上逼近连续函数。在本文中，我们将这种有效性扩展到包含控制系统的动态系统场景。我们证明了控制族（包含所有仿射映射和非线性ReLU映射）足以生成能够在任何紧凑域上逼近保持方向的微分同胚的流图。由于仅包含一个非线性函数，并且如果我们移除这个非线性函数，UAP就不成立，因此我们将称为UAP的最小控制族。在此基础上，我们为该控制族建立了一些温和的充分条件（如仿射不变性）并进行了讨论。我们的结果揭示了神经网络的逼近能力与控制系统之间的内在联系，可能为研究基于流的模型的逼近能力提供理论指导。

引言

神经网络的通用逼近性质（UAP）在深度学习领域起着关键作用。这一性质意味着，给定足够的参数，神经网络可以以任意精度逼近任何连续函数[14]、[23]、[24]、[29]。尽管多项式和单隐藏层网络也具有UAP，但在实际的深度学习应用中更倾向于使用深度网络结构，这是因为深度网络具有更优越的性能和表达能力。一些研究表明，深度神经网络比浅层神经网络具有更强的表达能力[15]、[36]，但这远未完全理解复合函数的性质。