神经网络的非平衡热力学框架：一种原理性的对应关系与参数动力学

《Neural Networks》：A Non-equilibrium Thermodynamic Framework for Neural Networks: A Principled Correspondence and Parameter Dynamics

　　Maimaitiniyazi Maimaitiabudula|石明军|浦静文|谢坤摘要深度学习的训练过程具有高度复杂性，目前尚无统一的理论来解释参数变化及其泛化能力的本质。现有的基于物理原理的方法往往忽视能量转换和熵增等核心热力学问题，从而加剧了这一难题。为建立缺失的定量关联，本文提出在朗之万近似和准平衡诠释下，训练过程可类比为非平衡热力学系统。据此，我们构建了一个统一的理论框架——神经网络热力学框架（NNTF），将该框架中的网络参数视为有效粒子，并通过定义三个关键状态函数将系统置于玻尔兹曼热力学体系中：代表泛化潜力的内能、衡量参数无序程度的熵，以及量化参数探索强度的温度。该框架为深度学习提出了三大基本原理：1）原理一：神经内能守恒，用于量化数据处理与计算成本之间的权衡，为寻求最小计算工作量提供指导；2）原理二：神经网络训练中的熵产生，将熵产生与自由能曲率联系起来，用于诊断仅基于训练过程的不稳定性；3）原理三：理想泛化的不可达性，将性能上限的推理与仅基于训练过程的收益递减停止准则相衔接。在CIFAR-10/100数据集上的实验表明，仅基于训练过程的不稳定性诊断存在不同的时间间隔，且存在节约成本的收益递减现象；而采用AdamW算法训练的视觉Transformer模型测试则显示出在各向异性、基于注意力机制的系统中对极小值点排斥信号的敏感性。这项工作从热力学角度为深度学习理论提供了新的视角，提升了模型的可解释性，同时也为设计高效能的训练方案奠定了基础。

引言深度学习的训练过程通常被视为不透明现象，尽管已有众多理论研究，但至今仍缺乏能够统一解释其内在动态的框架。由于缺乏对算法迭代过程及参数变化的一般性物理描述，现有理论显得零散，学界的研究重点也更多集中在应用层面而非基础理论层面。跨学科研究为这一领域提供了新的发展路径，它将参数优化视为系统演化问题，借助量子力学和热力学等物理理论，为深度学习提供结构化且定量的分析视角（Bahri, Kadmon, Pennington, Schoenholz, Sohl-Dickstein, Ganguli, 2020; Mei, Montanari, Nguyen, 2018; Roberts, Yaida, Hanin, 2022; Zdeborová, Krzakala, 2016）。其中，Wang和Maimaitiabudula（2025）将机器学习的迭代过程建模为量子演化过程，并建立了相应的量子动力学方程，证明了物理建模的价值——当为机器学习过程赋予明确的物理意义后，其动态行为便可被定量分析和描述。从热力学角度出发，Ray等人（2023）将神经元视为受温度调控的热力学单元，并通过损失函数景观的类比来分析大型语言模型。这些研究虽提供了有益的见解，但仍有一些核心的热力学问题尚未得到解答，比如能量守恒、训练过程中的熵增代价以及泛化极限等问题。同样，Damek等人（2021）也将随机梯度下降法的动态过程与热力学系统联系起来，指出其稳态遵循吉布斯分布。近年来，关于学习和随机梯度下降法的热力学及非平衡视角研究日益增多（Adhikari, Kabakcioglu, Strang, Yuret, & Hinczewski; Azizian, Iutzeler, Malick, & Mertikopoulos; Kozyrev, Lopatin, & Pechen; Parsi, Sadrtdinov, Klimov, Lobacheva, & Vetrov; Seroussi, Alemi, Helias, & Ringel; Ziyin, Xu, & Chuang）。然而，现有的基于物理原理或信息论的方法（Tishby等人，2000）往往忽视能量转换、有序化成本以及训练过程中的物理能量代价等重要方面，而统计力学方法则主要局限于平衡态分析（Mei等人，2018）。因此，当前的任务并非进一步寻找类比，而是构建一套统一的原理体系，将能量、熵和泛化极限之间建立定量关联。这些尝试共同表明，作为描述多体系统宏观演化理论的热力学，与神经网络的训练动态有着天然的契合性。我们认为，随机初始化的参数可被视为无序粒子系统，而训练过程则相当于向该系统注入能量，从而改变系统的熵值并推动其走向有序状态（Feynman, Leighton, Sands, 2011; Li, Wang, Kwong, 2020）。在这一过程中，模型的泛化能力似乎受到某种固有极限的约束，这一现象与核心热力学原理十分相似（Seung等人，1992）。因此，这些见解不仅提供了类比依据，更为建立正式的映射关系奠定了基础。在此基础上，我们旨在构建一种更通用且具有物理依据的映射关系，将神经网络与热力学定律联系起来，并将其转化为可用于分析训练动态的统一且实用的框架。为构建这样的物理叙事，本文以玻尔兹曼的经典理论为基础，借鉴已有的热力学范式（Feynman等人，2011）。我们提出了一个科学问题：能否将神经网络视为非平衡热力学系统，其训练动态符合三大热力学原理？这一假设的提出是基于两个领域之间的相似性——例如，损失函数降低与计算成本之间的权衡关系、参数有序化过程所伴随的熵增代价，以及存在的泛化边界，这些都与核心热力学概念相呼应，从而为训练动态的热力学建模提供了依据（Parrondo, Horowitz, Sagawa, 2015; Tsormpatzoglou, Sabo, & Todri-Sanial）。为此，本文将整个神经网络训练过程建模为非平衡热力学系统。我们提出一个核心假设：神经网络参数的变化与其底层动力学层面的多粒子系统热运动之间存在原理上的对应关系。基于这一假设，我们构建了神经网络热力学框架（NNTF）这一统一理论框架，该框架通过定义关键状态函数——即代表模型潜能的神经内能、衡量参数无序程度的神经熵，以及量化探索强度的神经温度——将深度学习与热力学建立了定量联系。该框架旨在证明，训练过程不仅在概念上类似于热力学系统，其能量转换、有序化成本以及性能极限也都与我们所定义的神经热力学框架原理相一致。图1展示了这一完整理论框架的概要结构。与那些通常侧重于以下某一方面的现有基于物理原理的研究相比：i. 如随机梯度下降法与朗之万方程之间的分布/稳态对应关系，ii. 静态损失函数结构，或者iii. 信息论层面的压缩方法，NNTF则将训练动态整合为一个闭环热力学框架，通过状态函数和自由能共同解释性能提升、有序化成本以及波动规模等问题。此外，该框架还将这些原理转化为可验证的原理性结论以及具体、可复现的分析工具，包括基于假设的条件最小工作量界限、仅基于训练过程的自由能不稳定性诊断方法，以及相应的停止准则。本文的主要贡献如下：•明确了神经网络训练过程与过阻尼热力学系统之间的明确、基于假设的动态对应关系（随机梯度下降法→具有准平衡诠释的朗之万近似），并给出了可验证的定量映射关系；•定义了神经热力学状态函数，包括内能、熵、温度以及自由能，同时还给出了可通过标准训练日志计算出的操作性估算方法，从而实现了对这些量值的可复现评估；•提出了NNTF的三大原理，即原理一至原理三，并将其转化为可复现的分析工具，包括基于假设的条件最小工作量界限、仅基于训练过程的自由能不稳定性诊断方法，以及热力学意义上的停止准则。

神经网络训练的基本要素神经网络训练的核心是通过优化算法调整参数，从而在广义目标函数的约束下引导系统向最优状态演化。这一过程由三个基本要素构成：参数空间、损失函数以及优化器，三者共同构成了一个自洽的迭代系统。首先，神经网络中的所有可学习参数，如权重和偏置值，共同构成了……

对应关系的基础神经网络训练是一个在参数空间内不断寻求最优解的动态过程。这一过程可以与热力学系统中粒子在势场中运动的物理场景相类比。现有理论表明，优化过程可以通过含时偏微分方程来描述，这为建立神经网络与热力学系统之间的对应关系提供了理论基础（Jacot, Gabriel, Hongler, 2018；《神经热力学框架原理》）。虽然前面的定义明确了系统的静态结构，但本节将阐述支配其运行的动态原理。我们将详细说明支配NNTF的三大原理性表述。这些原理为神经内能、神经熵以及神经温度赋予了动态含义，从物理过程的角度解释了能量流动、有序度的演化以及学习过程中的性能限制。

在NNTF框架下实验研究与诊断评估为了检验所提出的NNTF框架的实证表现及其诊断功能，我们对实际观察到的训练动态与可通过日志计算的熱力学量进行了对比研究。我们以CIFAR-100数据集为研究对象，选择了两种具有代表性的架构——基于残差连接的ResNet-50和常规的VGG-16，以此分析架构差异如何体现在诊断用状态函数的变化轨迹中。

结论本文提出了一种名为NNTF的统一理论框架，该框架基于热力学原理与神经网络动态之间的对应关系，通过在随机梯度下降法→朗之万近似及准平衡诠释的框架下建立定量映射关系。通过定义核心状态函数——即神经内能、神经熵和神经温度——我们提出了并分析了三大对应原理：神经能量守恒原理……

未引用参考文献缺失引用，见图C.12。

Credit作者贡献说明Maimaitiniyazi Maimaitiabudula：撰写——初稿、方法论、概念设计。石明军：撰写——审稿与编辑、验证、资源整理。浦静文：监督、形式化分析。谢坤：监督、方法论、形式化分析、概念设计。

利益冲突声明作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。