通过吸引子动力学提升神经常微分方程的鲁棒性

《Neurocomputing》：Enhancing robustness of neural ODEs via attractor dynamics

　　

摘要

神经常微分方程为神经网络提供了一种连续深度框架，具有结构连续性和内存效率等优势。尽管具备这些优点，神经常微分方程仍易受对抗性扰动的影响，从而限制了其在安全关键应用中的使用。现有的鲁棒性策略通常依赖于局部敏感度降低或流正则化，但这些方法只能为长期稳定性提供有限保障。为解决这一难题，我们提出了吸引子动态网络ADN，这是一种轻量级模块，利用吸引子机制提升分类的鲁棒性。ADN通过结合可学习的吸引子锚点，将每个常微分方程的输出映射到目标吸引子，从而使模型能够学习到对输入噪声具有抗性的稳定潜在表示。我们设计了相应的训练目标，在优化原始任务损失的同时，迫使模型在有限时间内收敛到吸引子。在图像分类基准测试上的大量实验表明，通过ADN将吸引子动态引入神经常微分方程，不仅能降低模型对输入扰动的敏感度，还能使特征分布更加有序。此外，ADN可轻松集成到各种神经常微分方程变体中，为提升分类鲁棒性提供了有效途径。

引言

神经常微分方程作为一种连续深度建模的强大框架，其隐藏状态的动态由微分方程描述。与传统深度网络相比，神经常微分方程具有自适应计算成本、恒定内存规模和参数高效等优势[1]。这些优点使得它们在图像分类[2]、[3]、[4]、时间序列预测[5]、[6]、[7]以及生成建模[8]、[9]、[10]等多个领域得到广泛应用。

尽管如此，神经常微分方程仍易受对抗性扰动的影响。早期研究认为其连续时间形式可能具有一定鲁棒性[11]，但后续研究表明，精心设计的攻击仍会导致预测性能大幅下降[12]。这种脆弱性在医疗诊断、自动驾驶和金融预测等安全关键应用中尤为令人担忧。为解决这些问题，人们研究了多种鲁棒性方法，如时不变策略[11]、收缩率正则化[13]、[14]、利普希茨约束形式[15]、随机微分扩展[16]、基于容忍度的机制[17]以及稳定平衡设计[18]。虽然这些方法取得了一定进展，但大多数研究主要集中在局部敏感度降低或流正则化方面（如通过雅可比罚项[13]、[14]或输入平衡约束[18]），而针对全局和长期系统稳定性的研究相对较少。

在动力系统理论中，吸引子被定义为系统轨迹最终趋近的一组状态，它决定了系统的长期行为[19]。每个吸引子都对应一个吸引域，即系统轨迹会趋近于该吸引子的初始输入集合[20]。因此，当输入发生扰动但仍在同一吸引域内时，对应的轨迹仍会趋近于原来的吸引子[21]。这一特性提供了天然的稳定机制，能够抵消输入扰动[22]、[23]、[24]、[25]，从而确保动力层面的长期稳定性。近期研究[26]、[27]、[28]也将与吸引子相关的机制引入神经常微分方程模型中。例如，Zhang提出了nmODE，这是一种基于记忆的神经常微分方程框架，其记忆机制与吸引子动态相关[26]。Luo等人进一步研究了nmODE的稳定映射，并展示了其具备与鲁棒性相关的防御能力[27]。这些研究证明了吸引子动态对于构建鲁棒的神经常微分方程模型的价值，但它们主要聚焦于nmODE架构及其稳定映射。

受这些研究的启发，我们提出了另一种利用吸引子动态提升神经常微分方程鲁棒性的方法。为此，我们引入了吸引子动态网络ADN，这是一种轻量级模块，用于模拟神经常微分方程及其变体的吸引子动态，以提升模型鲁棒性。ADN通过一组可学习的吸引子锚点，将常微分方程的输出映射到目标吸引子，从而使吸引子的位置和分布能够根据不同数据集进行调整，并通过基于梯度的训练进行优化。为有效学习这类动态行为，我们设计了相应的训练目标，在优化下游任务损失的同时，迫使模型在有限时间内收敛到吸引子。图1展示了可视化结果，其中ADN使轨迹趋近于稳定平衡点，而基线模型中的轨迹则更为分散。

我们的贡献如下：

1）我们提出了一种通过模拟吸引子动态来提升神经常微分方程鲁棒性的新方法，该方法引导并训练常微分方程的轨迹趋近于指定的吸引子，从而有助于在动力层面学习到长期稳定的表示。

2）我们提出了吸引子动态网络ADN，这是一种轻量级模块，可使吸引子具备可学习性和数据适应性。通过动态组合锚点，ADN能够让吸引子分布与下游任务共同优化，从而形成结构化的稳定表示空间。

3）我们通过实验证明，通过ADN引入吸引子动态不仅能显著降低模型对输入扰动的敏感度，从而提升神经常微分方程的鲁棒性，而且是一种通用策略，可轻松集成到各种神经常微分方程变体中，进一步提升其鲁棒性。

本文结构如下：第2节介绍相关研究；第3节阐述神经常微分方程和吸引子动态的基本概念；第4节重点介绍ADN在模拟神经常微分方程中吸引子动态的应用，以及用于量化吸引子分布的优化方法，并给出了所学吸引子动态的可视化示例；第5节讨论实验结果；最后第6节对全文进行总结。

章节摘录

相关研究

鲁棒神经常微分方程：神经常微分方程作为神经网络的连续时间形式，具有内存效率和高结构连续性等优势。正是由于这些优势，人们越来越关注这类方程的鲁棒性。Hanshu等人的全面研究[11]表明，基于常微分方程的模型比卷积网络更具鲁棒性。基于此，他们提出了TisODE，该模型利用时不变理论

神经常微分方程与吸引子动态

神经常微分方程[1]建立了微分方程与神经网络之间的本质联系。它们通过微分方程描述隐藏状态的连续演化过程，该方程规定了输出随时间的变化方式：$$其中$$代表连续的隐藏状态，而$$是由$$参数化的通用平滑函数，用于控制常微分方程的动态行为。该常微分方程以$$作为初始条件，在时间区间$$内控制状态的连续演化。在本研究中，我们采用

模型架构

本研究的模型架构如图3所示，其中$$代表输入，$$代表输出。函数$$充当特征提取器，而$$则是全连接分类器。在二者之间，有一个神经常微分方程模块$$，用于持续变换提取出的特征。为稳定常微分方程的输出，我们引入了吸引子动态网络ADN，用于调控常微分方程的轨迹。

ADN分为两个步骤运行。首先，它构建一个动态且可学习的吸引子分布。

实验设置

数据集：我们在两个标准的图像分类基准数据集上进行了实验：MNIST[43]和CIFAR10[44]。MNIST包含60,000张手写数字的灰度图像（28×28像素），共分为10个类别，其中50,000张用于训练，10,000张用于测试。CIFAR10则包含60,000张彩色图像（32×32像素），同样分为10个类别，训练集和测试集的比例相同。

训练细节：我们使用PyTorch的ODE求解器torchdiffeq库[1]来实现模型。我们的代码实现基于

结论

在本研究中，我们提出了一种通过ADN模拟神经常微分方程的吸引子动态，从而提升其鲁棒性的有效方法。我们构建了一个优化问题，引导常微分方程的输出趋近于指定的吸引子，进而获得稳定的表示结果。实验表明，引入吸引子动态不仅能显著降低模型对输入扰动（包括噪声和对抗性攻击）的敏感度，还能使特征分布更加有序且紧凑

CRediT作者贡献说明

周超：写作——初稿撰写、可视化、验证、软件工具、资源准备、方法设计、研究实施、形式分析、数据整理、概念构思。张启石：写作——审稿与编辑、项目管理、方法设计、资金筹集。程军：写作——审稿与编辑、指导监督、资源协调、项目管理、形式分析、概念构思。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究成果的已知财务利益或个人关系。

致谢

本研究部分得到了中国国家自然科学基金的资助，项目编号分别为U21A20487和U1913202，还有部分资金来自中国国家自然科学基金项目编号为62376261的资助。

周超于2014年在中国西安的西安科技大学获得学士学位，随后于2017年和2023年分别在中国长沙的湖南大学获得硕士和博士学位。他目前在中国科学院深圳先进技术研究院担任博士后研究员。他的研究兴趣包括非线性动力系统、神经常微分方程以及机器智能领域。

周超|张启石|程军