低秩替代建模与随机零阶优化在具有黑盒层的神经网络训练中的应用

《Neurocomputing》:Low-rank surrogate modeling and stochastic zero-order optimization for training of neural networks with black-box layers

【字体: 大 中 小 】 时间:2026年05月03日 来源:Neurocomputing 6.5

编辑推荐:

  安德烈·切尔特科夫(Andrei Chertkov)| 阿尔捷姆·巴沙林(Artem Basharin)| 米哈伊尔·萨金(Mikhail Saygin)| 叶夫根尼·弗罗洛夫(Evgeny Frolov)| 斯塔尼斯拉夫·斯特劳佩(Stanislav Straupe)| 伊万·

  安德烈·切尔特科夫(Andrei Chertkov)| 阿尔捷姆·巴沙林(Artem Basharin)| 米哈伊尔·萨金(Mikhail Saygin)| 叶夫根尼·弗罗洛夫(Evgeny Frolov)| 斯塔尼斯拉夫·斯特劳佩(Stanislav Straupe)| 伊万·奥塞莱德茨(Ivan Oseledets)

摘要
随着对能效高、性能优异的AI系统需求的不断增长,人们开始更加关注替代计算平台(例如光子计算、神经形态计算),因为这些平台具有加速学习和推理的潜力。然而,将这些物理组件集成到深度学习流程中仍然具有挑战性,因为物理设备的表达能力通常有限,且其不可微的性质使得设备上的反向传播变得困难或不可行。这促使人们开发出混合架构,将数字神经网络与可重构的物理层结合在一起,这些物理层实际上表现为“黑盒”。在这项工作中,我们提出了一个端到端训练此类混合网络的框架。该框架结合了随机零阶优化方法来更新物理层的内部参数,并使用动态低秩替代模型来实现通过物理层的梯度传播。我们方法的关键组成部分是隐式投影器分割积分器算法,该算法在每次前向传播后都能以最少的硬件查询次数更新轻量级替代模型,从而避免了昂贵的全矩阵重建。我们在多种深度学习任务中验证了我们的方法,包括:计算机视觉(在CIFAR-10数据集上的深度卷积网络)、音频分类(在UrbanSound8K数据集上的ECAPA-TDNN模型)和语言建模(在FineWeb语料库上的仅解码器Transformer模型)。值得注意的是,在所有这些任务中,所提出的方法都达到了接近数字基线的准确率,并且能够有效地端到端训练包含各种不可微物理组件的混合模型(如空间光调制器、微环谐振器和马赫-曾德尔干涉仪)。这项工作架起了硬件感知深度学习和无梯度优化的桥梁,为将不可微物理组件集成到可扩展的、端到端可训练的AI系统中提供了实用途径。

引言
现代深度学习系统的计算和能源需求正在迅速超越传统数字硬件的能力[1]。这加剧了人们对能够提供更快、更节能的机器学习的替代非冯·诺伊曼计算范式的兴趣。其中,光子系统在实现高吞吐量、低延迟和节能操作方面展现出特别有前景的前景[2]。尽管光子系统在加速推理方面展现了巨大潜力[3][4][5],但在训练过程中利用它们仍然是一个未解决的挑战[6][7][8]。目前,能够进行高速矩阵-向量乘法(MVM)的线性光子系统[9][10]比非线性光子系统[11][12]更为成熟和实用,后者往往效率低下且难以扩展。然而,即使将这些线性组件集成到深度学习流程中也会引入一系列非平凡的问题。最显著的是,光子硬件本质上是不可微的,通常缺乏精确的可编程性,并且可能会出现噪声、漂移或控制分辨率有限等问题。这些因素使得标准反向传播方法无法应用,从而限制了端到端训练这些系统的能力。此外,线性光子模型的表达能力有限,进一步增加了将其直接作为完全数字层的插件替代品的难度。综上所述,这些挑战凸显了开发能够有效结合物理层原始速度和数字深度学习框架灵活性的混合训练流程的迫切需求。这构成了本工作的核心研究问题:当关键组件是黑盒时,我们如何实现高效的端到端训练混合数字-物理神经网络,而无法访问它们的内部梯度或预校准的数字孪生模型?

在这项工作中,我们引入了一种名为astralora(自适应替代训练与低秩,Adaptive Surrogate TRAining with LOw RAnk)的新方法,用于训练包含线性光子层的深度神经网络。该层被视为一个不可微的矩阵-向量乘法“预言器”:其中矩阵(代表线性操作)以复杂且非显式的方式依赖于物理层的参数。为了解决端到端训练的挑战,我们提出了一个两部分解决方案,如图1所示:一个动态细化的低秩替代模型,它在计算上高效,并能够实现通过上游层的梯度流动;以及一个随机零阶优化方案,用于在无法获得关于该矩阵的梯度的情况下更新内部不可微参数。我们的方法采用了一种参数解耦的替代模型,该模型使用改进的(隐式)投影器分割积分器(PSI)算法在线进行训练[13]。这种替代模型在计算上高效,并且在训练过程中可以轻松更新,即使系统中包含了光子模块也能实现高效的大规模优化。

我们通过广泛的实验评估了我们的方法,使用了深度卷积模型进行机器视觉和语音识别任务。此外,我们还进行了一个更复杂的实验,使用类似GPT-2的架构进行下一个标记预测任务,其中前馈模块被替换为黑盒光子层。尽管依赖于近似替代模型和零阶更新,我们的方法在各种不可微物理层(如空间光调制器、微环谐振器和马赫-曾德尔干涉仪)上展示了与完全可微基线相当的性能。这一关键发现表明,在此类混合系统中,准确的反向传播并不是成功进行端到端训练的严格必要条件。我们工作的主要贡献可以总结如下:
- 我们提出了隐式投影器分割积分器(I-PSI)方案,它能够在对不可微(黑盒)物理层进行最少查询的情况下实现高效的在线重新训练。
- 我们开发了astralora框架,通过随机零阶优化和动态更新的替代模型的协同作用,成功地将不可微物理层集成到深度学习架构中。
- 我们在三个领域(图像分类、音频分类和大规模语言建模)对我们的方法进行了全面的实验验证,证明了其在多种物理层类型下的持续有效性。

方法
在我们的问题表述中(见图1),我们考虑用一个黑盒(BB)替换深度神经网络(NN)的第t层,该黑盒作为一个函数:
其中x_t是来自前t层的输入向量,y_t是传递到下一层的输出向量,P_BB是BB的参数集,A_BB是对应于BB线性操作的矩阵。现代深度NN从根本上依赖于自动...

相关工作
具有不可微黑盒层的神经网络的端到端训练存在固有的挑战[17][18],主要是因为传统的反向传播方法无法通过这些组件传播梯度。本节回顾了与我们方法相关的重要先验工作。首先,我们讨论了无梯度优化方法,这些方法虽然可以在没有显式梯度的情况下进行优化,但在大规模应用时通常效率低下。接下来,我们讨论了低秩...

模拟物理层
本节描述了构成我们混合建模框架中黑盒(BB)层的物理光子设备。我们研究了五种不同的架构:通用可编程矩阵-向量乘法器(MVM);用于动态波前塑造的空间光调制器(SLM);用于波长选择性操作的微环谐振器(MRR)组;基于Monarch矩阵和SLM块的结构化矩阵层,以及马赫-曾德尔干涉仪(MZI)。
每层都进行了特征描述...

数值实验
为了证明我们的混合训练框架astralora的实际效用,我们进行了全面的实验,这些实验集成了上一节描述的光子层的数字仿真。这些基于软件的模型准确复制了输入-输出行为,并且关键的是,它们复制了其物理对应物的黑盒参数到矩阵的映射(例如MRR、SLM、MZI网格)。这种方法允许在没有额外硬件的情况下,对框架进行可控且可扩展的验证...

结论
在这项工作中,我们提出了astralora,这是一个通用框架,用于训练包含不可微物理组件(如光子层)的混合神经网络。通过将随机零阶优化用于硬件参数更新与动态细化的低秩替代模型用于梯度传播相结合,astralora实现了高效的端到端优化,无需依赖特定于任务的启发式方法或限制性的架构修改。

作者贡献声明
安德烈·切尔特科夫(Andrei Chertkov):撰写——审稿与编辑、原始草稿撰写、验证、软件开发、方法论研究、概念化。
阿尔捷姆·巴沙林(Artem Basharin):撰写——审稿与编辑、原始草稿撰写、验证、概念化。
米哈伊尔·萨金(Mikhail Saygin):撰写——审稿与编辑、原始草稿撰写、可视化。
叶夫根尼·弗罗洛夫(Evgeny Frolov):概念化。
斯坦尼斯拉夫·斯特劳佩(Stanislav Straupe):概念化。
伊万·奥塞莱德茨(Ivan Oseledets):监督、概念化。

利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。

安德烈·切尔特科夫博士来自斯科尔科沃科学技术研究院(Skoltech),目前是人工智能研究所(AIRI)的研究科学家,从事高效的高维计算方法研究,应用于优化、机器学习、人工智能和物理学领域。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号