动态嵌套层次结构:用于终身学习的自进化机器学习架构
《Frontiers in Artificial Intelligence》:Dynamic nested hierarchies: self-evolving machine learning architectures for lifelong learning
【字体:
大
中
小
】
时间:2026年05月14日
来源:Frontiers in Artificial Intelligence 4.7
编辑推荐:
摘要
当代机器学习模型,包括大型语言模型,在静态任务中展现出显著的能力,但由于架构固定,难以持续适应和终身学习,因此在非静态环境中表现不佳。本文在嵌套学习(NL)范式的基础上进行了扩展,该范式将模型分解为具有固定更新频率的多层次优化问题,并提出了动态嵌套层次结构(DNH),以
摘要
当代机器学习模型,包括大型语言模型,在静态任务中展现出显著的能力,但由于架构固定,难以持续适应和终身学习,因此在非静态环境中表现不佳。本文在嵌套学习(NL)范式的基础上进行了扩展,该范式将模型分解为具有固定更新频率的多层次优化问题,并提出了动态嵌套层次结构(DNH),以实现自主的结构适应性。与静态嵌套学习不同,后者在初始化时层次深度和更新频率是固定的,DNH引入了三种基于生物学的机制:(1)由元损失阈值触发的层次添加,类似于海马齿状回中的成年神经发生;(2)基于梯度贡献的层次修剪,类似于突触消除;(3)由局部惊讶信号驱动的频率调节,类似于神经振荡适应。我们提供了这些机制与神经可塑性过程之间的明确映射,从表面类比转向了原理性设计。通过严格的数学形式化,我们证明了在非静态环境中的收敛界限为O(1/T + δ^2),表达能力提升为ε ≤ O(1/L^t) + γδ,并且与静态架构的线性遗憾相比, regret为O(√T)O(T)。在语言建模、持续学习基准测试(包括与弹性权重巩固(EWC)和突触智能(SI)以及现代方法(DER++、MEMO)在Split ImageNet、CLEAR-100和CORe50上的比较)以及长上下文推理中的实证评估验证了这些理论优势。全面的消融研究验证了每个组件的贡献,包括自修改记忆(SMM)模块和进化Adam(EAdam)优化器。我们提供了详细的计算成本分析和参数轨迹可视化,展示了通过自我调节修剪实现的有界增长。
1 引言
深度学习的进步使机器学习模型在自然语言处理、计算机视觉和多模态理解等领域具备了前所未有的能力(Radford, 2009; Vaswani et al., 2017; Jafari et al., 2025a)。然而,这些模型主要依赖于静态架构,这些架构在固定分布的任务中表现优异,但在数据分布随时间演变的非静态环境中却存在严重限制。这种刚性表现为灾难性遗忘、对分布外数据的次优泛化,以及在没有重新训练的情况下无法持续获取新知识,类似于神经学中的顺行性遗忘(Behrouz et al., 2025)。根本问题在于传统深度网络中的固定参数化和更新机制,它们无法适应动态上下文流和终身学习所需的多时间尺度适应。
最近的研究通过创新的架构设计和理论框架突显了这些挑战。例如,嵌套学习(NL)范式将深度学习模型分解为具有不同更新频率的多层次嵌套优化问题,揭示了像Adam和带有动量函数的SGD这样的优化器可以作为压缩梯度流的关联记忆模块(Behrouz et al., 2025)。虽然NL为序列模型和优化器提供了数学上严格的重新表述,通过深度优化器和自修改巨兽等组件实现了更高阶的上下文学习,但其静态层次结构限制了持续设置中的适应性。同样,将图增强结构与大型语言模型(LLMs)相结合的混合框架(如GEYOLO-AHC)通过动态进行特征传播来解决实时对象检测的可扩展性问题,但它们仍然局限于特定任务,没有普遍的终身进化(Jafari and Anbarjafari, 2025)。此外,AI奇异性的数学建模强调了递归自我改进的界限和负责任AI的控制机制,强调了需要动态系统来缓解无限制的增长,同时确保道德部署(Hoffmann, 2023; Ishizaki and Sugiyama, 2025; Jafari et al., 2025b, 2026)。
当代在动态神经架构方面的努力进一步阐明了这个问题。EvoNet引入了在训练过程中通过基因启发式突变自动调整结构的自进化网络,在强化学习任务中表现出更高的鲁棒性(Tutuncuoglu et al., 2025)。生长神经网络利用基于梯度的扩展动态添加层,在非静态优化中实现了亚线性遗憾(Papadigenopoulos et al., 2022)。动态检索增强专家网络结合了专家混合路由用于终身语言任务,通过选择性的参数更新减少了遗忘(Long et al., 2025)。受神经可塑性启发的模型,如模仿突触巩固的模型,通过模拟人类大脑机制(如尖波涟漪)实现持续适应(Xie et al., 2025; Zhang et al., 2025; Li et al., 2025)。Ring(1994)的早期基础工作引入了具有上下文依赖的增量结构的CHILD网络,确立了受神经发生启发的增长作为持续学习的可行方法。最近,Draelos等人(2017)展示了具有显式神经元添加机制的神经发生深度学习。尽管有这些进展,现有的方法往往缺乏自主层次演化的统一框架,导致在处理易变上下文和分布变化时效率低下。
1.1 与动态架构方法的对比
一些先前的工作使神经网络能够进行结构适应,但与DNH有根本不同。网络架构搜索(NAS)(Zoph and Le, 2017)离线搜索最佳静态架构,而DNH在训练和推理期间进行在线适应;NAS不支持持续适应。渐进式神经网络(Rusu et al., 2016)为新任务添加横向连接但从不修剪,导致无限增长,而DNH的修剪机制保持了效率。动态网络扩展方法(Yoon et al., 2018)启发式地添加神经元或层,而DNH使用基于梯度的元优化并具有理论收敛保证(定理1)。EvoNet(Tutuncuoglu et al., 2025)使用基因突变进行结构进化,这是随机的且缺乏收敛保证,而DNH的元梯度方法是有原则的并且可以证明收敛。Ring的CHILD架构(Ring, 1994)开创了持续的结构增长,但缺乏原则性的修剪;DNH结合了(1)来自NL的嵌套优化结构,(2)用于结构决策的基于梯度的元优化,以及(3)用于多时间尺度适应的频率调节——这是先前工作中没有的。
为了解决静态架构的局限性,本文提出了动态嵌套层次结构(DNH),这是NL的扩展,赋予模型自我进化能力。DNH将架构表示为随时间变化的有向无环图(DAG),其中层次、依赖关系和频率通过元优化进行调整,借鉴了神经可塑性以促进无固定约束的终身学习。数学上,DNH优化了一个包含分布变化的元损失,通过遗憾界限和表达能力分析证明了其在非静态环境中的收敛性。
1.1.1 贡献
本文在(Behrouz et al., 2025)的静态NL框架之外做出了以下独特贡献:
- 动态层次进化:我们将DNH形式化为具有自主层次添加和修剪的时变有向无环图(DAG),而NL使用固定的静态层次结构。这是实现终身学习的核心架构贡献。
- 基于生物学的机制:我们提供了DNH操作与神经可塑性之间的明确映射:层次添加对应于成年神经发生(而不是控制权重初始化的长时程增强(LTP),层次修剪对应于突触消除,频率调节对应于神经振荡适应(第2.3节)。
- 理论保证:我们证明了在分布变化下动态层次的收敛性、表达能力和遗憾界限(定理1–3),超越了NL的静态分析。
- 全面评估:我们与持续学习基线(EWC、SI)和现代方法(DER++、Co2L、CLS-ER、MEMO)在经典和现代基准测试(Split ImageNet、CLEAR-100、CORe50)上进行了比较,并为所有核心组件(SMM、EAdam、元优化框架)提供了消融研究。我们包括详细的计算成本分析和参数增长轨迹。
本文的其余部分结构如下。第2节详细阐述了DNH的优势及其与静态NL的比较和适应机制。第3节介绍了具有架构设计和集成示例的自进化DNH模型。第4节提供了数学证明,包括收敛性和稳定性分析。第5节在基准测试上对DNH进行了实证评估,并进行了消融研究和应用启示。第6节总结了未来的发展方向。
2 动态嵌套层次结构
在本节中,我们介绍了动态嵌套层次结构(DNH),这是Behrouz等人(2025)提出的NL范式的新扩展。虽然NL将机器学习模型分解为具有固定更新频率的静态多层次优化问题,但DNH使模型能够在训练或推理过程中自主调整层次数量、嵌套结构和更新频率。这种动态性解决了静态架构在处理非静态数据分布时的局限性,其灵感来自人类大脑中的神经可塑性,其中突触强度和神经通路会随着新体验而演变(Dayan and Cohen, 2011)。我们从数学上对DNH进行了形式化,展示了它如何增强模型表达能力并促进终身学习。
术语和定义
在本文中,我们使用以下一致的术语:
- 层次与模块:我们用“层次”指代层次位置? ∈ {1, …, Lt},用“模块”指代该层次的计算单元M(?)tMt(?)。模块是一种记忆映射;层次是其在层次结构中的位置。
- 记忆模块:一种关联记忆M(?)t:K(?)t→V(?)tMt(?):Kt(?)→Vt(?),将查询键映射到值。遵循注意力术语,我们将查询表示为q,键表示为k,值表示为v。
- 分布变化:数据生成分布pt(x)随时间的变化,通过Δt = DKL(pt||pt?1)或总变分距离来量化。
- 非静态环境:一个设置,在该设置中pt(x)≠pt′(x)对于某些t ≠ t′。
2.1 静态嵌套学习的局限性
NL框架将模型表示为一组具有不同更新频率fA的嵌套优化问题,按A ? B的关系排序,如果fA > fB或A在时间t的计算依赖于B在t的状态(如Behrouz et al., 2025中所定义)。然而,这种结构是预定义的并且是静态的,在初始化时固定。对于具有L层的神经学习模块,整体优化表示为:
θ?=argminθ(1)L(1)(θ(1);D),θ*=argminθ(1)L(1)(θ(1);D),
(1)(1)
其中θ(1)参数化最外层,内部层次? = 2, …, L解决子问题:
θ(?)=argminθ(?)?L(?)(θ(?);θ(??1),c(?)),
θ(?)=argminθ(?)L~(?)(θ(?);θ(?-1),c(?)),
(2)(2)
其中c(?)表示层次?处的上下文流,如梯度或令牌。
这种静态层次结构在非静态环境中表现不佳,其中数据分布随时间变化,如持续学习任务中所见(Parisi and Kanan, 2019; Parisi and Lomonaco, 2020)。例如,在NL下的LLMs表现出“顺行性遗忘”,限制了超出固定预训练阶段或上下文窗口的适应(Behrouz et al., 2025)。从数学上讲,表达能力受初始深度L和频率{f(?)}L?=1{f(?)}?=1L的限制,这些不会演变,导致在不同制度下的收敛率不佳。来自NL的HOPE模块的实证证据表明,在长上下文推理中性能有所提高但仍有限,这是由于层次的刚性定义。
2.2 动态嵌套层次结构的正式定义
为了克服这些限制,我们定义了动态嵌套层次结构为时变有向无环图(DAG)Gt=(Vt,Et),其中顶点Vt={M(?)t}Lt?=1Vt={Mt(?)}?=1Lt表示时间t处的记忆模块(根据Behrouz et al., 2025中的定义1为关联记忆),边EtEt编码嵌套依赖关系。层次数量Lt是动态的,每个模块M(?)tMt(?)具有可调整的更新频率f(?)t∈R+ft(?)∈?+。
时间t的层次结构状态由元优化过程控制:
Gt+1=argminGLmeta(G;Gt,xt,Δt),Gt+1=argminGLmeta(G;Gt,xt,Δt),
(3)(3)
其中LmetaLmeta是衡量适应效果的元损失,xt是当前输入,Δt量化分布变化(例如,通过Kullback-Leibler散度DKL(p(xt)||p(xt?1))。直观地说,这种元优化更新层次结构Gt+1以最小化给定当前输入xt和测量到的分布变化Δt的适应成本,平衡任务性能和结构稳定性。
每个模块M(?)t:K(?)t→V(?)tMt(?):Kt(?)→Vt(?)将其上下文流中的键映射到值,并优化为:
M(?)*t=argminM(?)?L(?)(M(?);M(??1)t,c(?)t),
Mt(?)*=argminM(?)L~(?)(M(?);Mt(?-1),ct(?)),
(4)(4)
其依赖关系遵循EtEt。
频率f(?)tft(?)通过受NL优化器中的动量启发的规则进行更新:
f(?)t+1=f(?)t+ηf?f(?)tLmeta+m(?)t+1,ft+1(?)=ft(?)+ηf?ft(?)Lmeta+mt+1(?),
(5)(5)
其中m(?)t+1=βm(?)t+(1?β)?f(?)tLmetamt+1(?)=βmt(?)+(1-β)?ft(?)Lmeta,ηf和β是超参数。这种频率更新规则在元损失梯度为正时增加f(?)(表明当前频率不足),并结合了动量m(?)以实现平滑适应,类似于Adam在参数优化中的动量。这允许频率在快速变化的上下文中增加(例如,高惊讶信号)或在稳定上下文中减少,模仿脑波适应(delta到gamma频率)(Buzsáki and Wang, 2012)。
2.3 DNH机制的神经生物学基础
“神经可塑性”这一术语在神经科学中指的是大脑通过形成新的神经连接和消除未使用的连接来重组自身的能力(Dayan and Cohen, 2011)。我们现在建立了DNH机制与神经生物学过程之间的精确对应关系,从类比转向了原理性设计。需要注意的是,虽然生物神经可塑性通常在神经元和突触级别操作,但DNH在模块和层次级别实现了类似的原则,我们将其称为“组件级可塑性”。
2.3.1 层次添加和成年神经发生
在生物神经网络中,成年神经发生——海马齿状回中新神经元的生成——使大脑能够根据新体验扩展其表征能力(Aimone et al., 2014; Draelos et al., 2017)。我们的层次添加机制直接反映了这一点:当元损失超过阈值τ(表示表征能力不足)时,会实例化一个新的模块M(Lt+1)M(Lt+1),类似于将新神经元集成到现有电路中。这种映射比长时程增强(LTP)更为合适,因为LTP增强了现有连接而不是创建新的计算单元。Ring的CHILD架构(Ring,1994年)开创了这种受神经发生启发的方法;DNH通过原则性的元优化进一步扩展了这一方法。2.3.2 赫布初始化和长时程增强(LTP):当突触前和突触后神经元反复同时放电时,LTP会增强突触连接(Do,1949年)。在DNH中,LTP对应于新添加模块的赫布初始化:θ(Lt+1)t+1=θ(Lt)t+αc(Lt)t(c(Lt)t)?,θt+1(Lt+1)=θt(Lt)+αct(Lt)(ct(Lt))?,(6)其中外积c(c)?实现了基于现有上下文流模式的新模块权重的赫布相关性学习。2.3.3 层次 pruning和突触消除:在发育过程中,大脑会经历突触 pruning,以消除未充分利用的连接,从而提高效率(Dayan和Cohen,2011年)。DNH的 pruning标准 ∥∥?θ(?)tL(1)∥∥< /> 识别出对学习贡献最小的模块,类似于活动较低的突触被消除。这防止了过拟合,并减少了计算开销,反映了大脑对神经回路的优化。2.3.4 频率调制和神经振荡:大脑活动在不同频率上表现出振荡:深度睡眠时为delta波(0.5–4 hz),记忆编码时为theta波(4–8 hz),以及在主动认知时为gamma波(30–100 hz)(buzsáki和wang,2012年)。我们的频率调制 δf(?)t=γ?LSS(?)tΔft(?)=γ·LSSt(?) 根据局部惊讶程度调整更新率——高惊讶程度的上下文(新颖输入)触发更快的更新(更高频率),而稳定上下文则允许更慢的巩固(更低频率)。这对应于大脑使用gamma振荡进行快速信息处理和较慢振荡进行记忆巩固。 表格1以改进的格式和额外的细节总结了这些对应关系。 表1 dnh机制 神经类比 功能角色 生物基础 层次添加 成人神经发生 扩展表示能力 海马齿状回 赫布初始化 ltp 增强相关权重 突触可塑性 层次 pruning 突触消除 移除冗余路径 发育 pruning 频率调制 神经振荡 适应处理速度 强化伽马 theta节律 “生物基础”列指定了具体的神经基础。ltp,即长时程增强(long-term potentiation)。 2.4 可扩展性和理论限制:审稿人提出了一个重要的问题,即粗粒度的结构变化(组件级别的可塑性)是否能够保留细粒度的知识。我们通过形式分析来回答这个问题: 2.4.1 引理2(结构变化下的知识保留):设kt=∑?∥∥θ(?)t∥∥2FKt=∑?‖θt(?)‖F表示时间t时编码在参数中的总知识。在DNH的保守 pruning阈值(? < 最不重要的5%参数的梯度范数)和新层次的赫布初始化下,预期的知识变化满足:e[∥kt+1?kt∥]≤o(? lt)。(7) 2.4.2>?>< />τ连续k步时(表明持续欠拟合),会实例化一个新层次M(Lt+1):通过赫布规则初始化参数:θ(Lt+1)=θ(Lt)+αc(Lt)(c(Lt))?设置初始频率:f(Lt+1)=ft(Lt)·ρ(默认ρ = 0.5)更新图:Vt+1=Vt∪{M(Lt+1)},Et+1=Et∪{(Lt,Lt+1)}。
3.2.2 当∥∥?θ(?)L(1)∥∥3.3 自修改记忆:self-modifying memory模块扩展了nl的关联记忆功能,使其能够根据上下文修改自己的读写模式。给定查询qt和记忆状态mt:mt+1=mt+σ(wgqt)⊙(vtk?t?mt),其中σ(wgqt)是一个门控函数,用于确定要更新哪些记忆槽。
3.4 进化adam(eadam)优化器:eadam通过每个层次级别自适应学习率来扩展adam:η(?)t=ηbase?f(?)t/f(1)t,根据相对频率调整学习率。高频层次(适应快速变化)接收较大的更新,而低频层次(存储稳定知识)则更新较慢。
4 理论分析:我们为dnh的收敛性、表达能力和在非平稳条件下的遗憾提供了正式保证。
4.1 假设:lmeta是β-平滑的:∥∥?lmeta(g)??lmeta(g′)∥∥≤β∥∥g?g′∥∥≤β∥g-g′∥。分布变化是有界的:?t,?[δt] ≤ δ。方差是有界的:随机梯度的方差是有界的:e[∥∥?l?e[?l]∥∥2]≤σ2。
4.2 定理1(在分布变化下的收敛性):在假设1-3下,dnh的元优化收敛为:e[∥?lmeta(gt)∥2]≤o(1/t+δ2),其中t是元步骤的数量,δ限制了预期的变化。
4.2.1 证明:元优化在图空间上遵循随机梯度下降轨迹。由于平滑性,每步的进步被?η∥∥?lmeta∥∥2+η2βσ2/2所限制。分布变化引入了由损失景观的非平稳性引起的额外漂移项o(δ2)。通过对t步求和并优化η=o(1/√t),得到这个界限。
4.3 定理2(表达能力界限):对于具有lt个层次的dnh和近似目标g*,近似误差满足:?=∥ggt?g*∥∞≤o(1/lt)+γδ。
4.4.1 证明:根据嵌套组合的通用近似定理(cybenko,1989年),更深层次的层次以o(1/l)的速率实现更低的近似误差。γδ项考虑了训练和测试分布之间的不匹配,通过频率调制参数γ进行缩放。
4.4.3 定理3(自进化的遗憾界限):在假设1-3下,dnh在t步中的累积遗憾为rt≤o(√t(δ+√dmaxlmax)),与静态nl的ω(tδ)相比。
5 实验:在本节中,我们通过实验验证了第2-4节中确立的dnh的理论优势。具体来说,我们通过与静态nl基线(包括behrouz等人(2025年)的hope模块以及已建立的持续学习方法)的比较,展示了dnh在非平稳环境中的优越收敛性(定理1)、增强的表达能力(定理2)和亚线性的遗憾(定理3)。实验涵盖了语言建模、常识推理、持续学习和长上下文推理任务,使用标准基准确保可重复性。所有结果都是基于三次独立运行的平均值,并报告了标准差。
5.1 实验设置:我们使用pytorch实现dnh模型,扩展了nl框架的hope架构。我们的自进化dnh变体dnh-hope从l0 = 2个层次开始初始化,并适应到lmax = 5个层次,频率调制参数γ = 0.1,元学习率η?=10^-4,移动阈值δ = 0.05。基线包括:(1) 静态hope(behrouz等人,2025年)具有固定层次;(2) transformer++(vaswani等人,2017年);(3) retnet(sun等人,2023年);(4) deltanet(liu等人,2021年;zhong等人,2025年);(5) titans(lmm)(behrouz等人,2024年);(6) ewc(kirkpatrick等人,2017年);(7) si(zenke等人,2017年);(8) packnet(mallya和lazebnik,2018年);(9) der++(buzzega等人,2020年);(10) co2l(cha等人,2021年);(11) cls-er(arani等人,2022年);以及(12) memo(zhou等人,2024年)。模型大小分别为340m、760m和1.3b参数,在the pile(gao等人,2020年)的30b–100b令牌上进行训练,用于语言建模。
5.1.1 任务选择理由:我们在三个任务类别上进行评估:(1) 语言建模,以测试序列压缩和表达能力;(2) 持续学习,以测试分布变化下的分类;(3) 长上下文推理,以测试动态层次缩放。这涵盖了生成和分类任务,满足了通用性的需求。语言建模遵循behrouz等人(2025年)的方法,以便与hope直接比较,而分类任务验证了其超出生成任务的适用性。对于语言建模,我们在wikitext-103(merity等人,2018年)和lambada(paperno等人,2016年)上评估了困惑度(ppl)。常识推理使用了piqa(bisk等人,2020年)、hellaswag(zellers等人,2019年)、winogrande(sakaguchi等人,2021年)、arc-easy/challenge(clark等人,2018年)、socialiqa(sap等人,2019年)和boolq(clark等人,2019年)的零次尝试准确性。持续学习采用了:(a) permuted mnist(10个任务),(b) split cifar-100(10个任务),(c) split imagenet-100(10个任务,类别递增),(d) clear-100(自然时间漂移)(lin等人,2021年),以及(e) core50(领域递增)(lomonaco和maltoni,2017年),测量平均准确性(aa)和反向传播(bwt)。 3.3 自修改记忆:self-modifying memory模块扩展了nl的关联记忆功能,使其能够根据上下文修改自己的读写模式。给定查询qt和记忆状态mt:mt+1=Mt+σ(Wgqt)⊙(vtk?t?Mt),其中σ(Wgqt)是一个门控函数,用于确定要更新哪些记忆槽。 3.4 进化adam(eadam)优化器:eadam通过每个层次级别自适应学习率来扩展adam:η(?)t=ηbase?f(?)t/f(1)t,根据相对频率调整学习率。高频层次(适应快速变化)接收较大的更新,而低频层次(存储稳定知识)则更新较慢。 4 理论分析:我们为dnh的收敛性、表达能力和在非平稳条件下的遗憾提供了正式保证。 4.1 假设:lmeta是β-平滑的:∥∥?lmeta(g)??lmeta(g′)∥∥≤β∥∥g?g′∥∥≤β∥g-g′∥。分布变化是有界的:?t,?[δt] ≤ δ。方差是有界的:随机梯度的方差是有界的:e[∥∥?l?e[?l]∥∥2]≤σ2。 4.2 定理1(在分布变化下的收敛性):在假设1-3下,dnh的元优化收敛为:e[∥?lmeta(gt)∥2]≤o(1 t+δ2),其中t是元步骤的数量,δ限制了预期的变化。 4.2.1 证明:元优化在图空间上遵循随机梯度下降轨迹。由于平滑性,每步的进步被?η∥∥?lmeta∥∥2+η2βσ2 2所限制。分布变化引入了由损失景观的非平稳性引起的额外漂移项o(δ2)。通过对t步求和并优化η=O(1/√T),得到这个界限。 4.3 定理2(表达能力界限):对于具有lt个层次的dnh和近似目标g*,近似误差满足:?=∥gGt?g*∥∞≤O(1/Lt)+γδ。 4.4.1 证明:根据嵌套组合的通用近似定理(cybenko,1989年),更深层次的层次以o(1 l)的速率实现更低的近似误差。γδ项考虑了训练和测试分布之间的不匹配,通过频率调制参数γ进行缩放。 4.4.3 定理3(自进化的遗憾界限):在假设1-3下,dnh在t步中的累积遗憾为rt≤o(√t(δ+√dmaxlmax)),与静态nl的ω(tδ)相比。 5 实验:在本节中,我们通过实验验证了第2-4节中确立的dnh的理论优势。具体来说,我们通过与静态nl基线(包括behrouz等人(2025年)的hope模块以及已建立的持续学习方法)的比较,展示了dnh在非平稳环境中的优越收敛性(定理1)、增强的表达能力(定理2)和亚线性的遗憾(定理3)。实验涵盖了语言建模、常识推理、持续学习和长上下文推理任务,使用标准基准确保可重复性。所有结果都是基于三次独立运行的平均值,并报告了标准差。 5.1 实验设置:我们使用pytorch实现dnh模型,扩展了nl框架的hope架构。我们的自进化dnh变体dnh-hope从l0=2个层次开始初始化,并适应到Lmax = 5个层次,频率调制参数γ=0.1,元学习率η?=10^-4,移动阈值δ = 0.05。基线包括:(1) 静态hope(behrouz等人,2025年)具有固定层次;(2) transformer++(vaswani等人,2017年);(3) retnet(sun等人,2023年);(4) deltanet(liu等人,2021年;zhong等人,2025年);(5) titans(lmm)(behrouz等人,2024年);(6) ewc(kirkpatrick等人,2017年);(7) si(zenke等人,2017年);(8) packnet(mallya和lazebnik,2018年);(9) der++(buzzega等人,2020年);(10) co2l(cha等人,2021年);(11) cls-er(arani等人,2022年);以及(12) memo(zhou等人,2024年)。模型大小分别为340m、760m和1.3b参数,在the pile(gao等人,2020年)的30b–100b令牌上进行训练,用于语言建模。 5.1.1 任务选择理由:我们在三个任务类别上进行评估:(1) 语言建模,以测试序列压缩和表达能力;(2) 持续学习,以测试分布变化下的分类;(3) 长上下文推理,以测试动态层次缩放。这涵盖了生成和分类任务,满足了通用性的需求。语言建模遵循behrouz等人(2025年)的方法,以便与hope直接比较,而分类任务验证了其超出生成任务的适用性。对于语言建模,我们在wikitext-103(merity等人,2018年)和lambada(paperno等人,2016年)上评估了困惑度(ppl)。常识推理使用了piqa(bisk等人,2020年)、hellaswag(zellers等人,2019年)、winogrande(sakaguchi等人,2021年)、arc-easy challenge(clark等人,2018年)、socialiqa(sap等人,2019年)和boolq(clark等人,2019年)的零次尝试准确性。持续学习采用了:(a) permuted mnist(10个任务),(b) split cifar-100(10个任务),(c) split imagenet-100(10个任务,类别递增),(d) clear-100(自然时间漂移)(lin等人,2021年),以及(e)>?连续k步时(表明存在冗余),将参数θ(?)合并到θ(??1)中:通过低秩近似重新分配参数更新图:vt+1=vt\{m(?)}
3.3 自修改记忆:self-modifying memory模块扩展了nl的关联记忆功能,使其能够根据上下文修改自己的读写模式。给定查询qt和记忆状态mt:mt+1=mt+σ(wgqt)⊙(vtk?t?mt),其中σ(wgqt)是一个门控函数,用于确定要更新哪些记忆槽。
3.4 进化adam(eadam)优化器:eadam通过每个层次级别自适应学习率来扩展adam:η(?)t=ηbase?f(?)t/f(1)t,根据相对频率调整学习率。高频层次(适应快速变化)接收较大的更新,而低频层次(存储稳定知识)则更新较慢。
4 理论分析:我们为dnh的收敛性、表达能力和在非平稳条件下的遗憾提供了正式保证。
4.1 假设:lmeta是β-平滑的:∥∥?lmeta(g)??lmeta(g′)∥∥≤β∥∥g?g′∥∥≤β∥g-g′∥。分布变化是有界的:?t,?[δt] ≤ δ。方差是有界的:随机梯度的方差是有界的:e[∥∥?l?e[?l]∥∥2]≤σ2。
4.2 定理1(在分布变化下的收敛性):在假设1-3下,dnh的元优化收敛为:e[∥?lmeta(gt)∥2]≤o(1/t+δ2),其中t是元步骤的数量,δ限制了预期的变化。
4.2.1 证明:元优化在图空间上遵循随机梯度下降轨迹。由于平滑性,每步的进步被?η∥∥?lmeta∥∥2+η2βσ2/2所限制。分布变化引入了由损失景观的非平稳性引起的额外漂移项o(δ2)。通过对t步求和并优化η=o(1/√t),得到这个界限。
4.3 定理2(表达能力界限):对于具有lt个层次的dnh和近似目标g*,近似误差满足:?=∥ggt?g*∥∞≤o(1/lt)+γδ。
4.4.1 证明:根据嵌套组合的通用近似定理(cybenko,1989年),更深层次的层次以o(1/l)的速率实现更低的近似误差。γδ项考虑了训练和测试分布之间的不匹配,通过频率调制参数γ进行缩放。
4.4.3 定理3(自进化的遗憾界限):在假设1-3下,dnh在t步中的累积遗憾为rt≤o(√t(δ+√dmaxlmax)),与静态nl的ω(tδ)相比。
5 实验:在本节中,我们通过实验验证了第2-4节中确立的dnh的理论优势。具体来说,我们通过与静态nl基线(包括behrouz等人(2025年)的hope模块以及已建立的持续学习方法)的比较,展示了dnh在非平稳环境中的优越收敛性(定理1)、增强的表达能力(定理2)和亚线性的遗憾(定理3)。实验涵盖了语言建模、常识推理、持续学习和长上下文推理任务,使用标准基准确保可重复性。所有结果都是基于三次独立运行的平均值,并报告了标准差。
5.1 实验设置:我们使用pytorch实现dnh模型,扩展了nl框架的hope架构。我们的自进化dnh变体dnh-hope从l0 = 2个层次开始初始化,并适应到lmax = 5个层次,频率调制参数γ = 0.1,元学习率η?=10^-4,移动阈值δ = 0.05。基线包括:(1) 静态hope(behrouz等人,2025年)具有固定层次;(2) transformer++(vaswani等人,2017年);(3) retnet(sun等人,2023年);(4) deltanet(liu等人,2021年;zhong等人,2025年);(5) titans(lmm)(behrouz等人,2024年);(6) ewc(kirkpatrick等人,2017年);(7) si(zenke等人,2017年);(8) packnet(mallya和lazebnik,2018年);(9) der++(buzzega等人,2020年);(10) co2l(cha等人,2021年);(11) cls-er(arani等人,2022年);以及(12) memo(zhou等人,2024年)。模型大小分别为340m、760m和1.3b参数,在the pile(gao等人,2020年)的30b–100b令牌上进行训练,用于语言建模。
5.1.1 任务选择理由:我们在三个任务类别上进行评估:(1) 语言建模,以测试序列压缩和表达能力;(2) 持续学习,以测试分布变化下的分类;(3) 长上下文推理,以测试动态层次缩放。这涵盖了生成和分类任务,满足了通用性的需求。语言建模遵循behrouz等人(2025年)的方法,以便与hope直接比较,而分类任务验证了其超出生成任务的适用性。对于语言建模,我们在wikitext-103(merity等人,2018年)和lambada(paperno等人,2016年)上评估了困惑度(ppl)。常识推理使用了piqa(bisk等人,2020年)、hellaswag(zellers等人,2019年)、winogrande(sakaguchi等人,2021年)、arc-easy/challenge(clark等人,2018年)、socialiqa(sap等人,2019年)和boolq(clark等人,2019年)的零次尝试准确性。持续学习采用了:(a) permuted mnist(10个任务),(b) split cifar-100(10个任务),(c) split imagenet-100(10个任务,类别递增),(d) clear-100(自然时间漂移)(lin等人,2021年),以及(e) core50(领域递增)(lomonaco和maltoni,2017年),测量平均准确性(aa)和反向传播(bwt)。>?的层次,这意味着它们对损失梯度的贡献最小。新层次的赫布初始化θ(lt+1)=θ(lt)+αc(c)?从父层次保留了相关结构。这个界限是根据两种操作下的弗罗贝尼乌斯范数变化得到的。>** Bold值表示更好的性能。**
5.1.3 持续学习协议规范
为了确保评估方法的清晰性,表4列出了每个基准测试所使用的具体持续学习协议。
| 基准测试 | CL协议 | 头部配置 | 测试时的任务ID | Permute MNIST | Domain-IL | Unified(10个类别) | NoSplit | CIFAR-100 | Task-IL | Task-specific(每个任务) | YesSplit | ImageNet-100 | Class-IL | Unified(100个类别) | No | CLEAR-100 | Domain-IL | Unified(100个类别) | No | CORe50 | Domain-IL(NIC) | Unified(50个类别) | No |
| :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: |
| | | | | | | | | | | | | | | | | | | | |
| | | | | | | | | | | | | | | | | | |
**每个基准测试的持续学习协议规范:**
- Domain-IL:任务间标签空间相同,但输入分布不同;
- Task-IL:任务间类别不同,测试时提供任务ID;
- Class-IL:任务间类别不同,测试时不提供任务ID;
- NIC(新实例和新类别):CORe50的原始协议。
5.1.3.1 基线协议一致性
所有基准测试方法(EWC、SI、PackNet、DER++、CLS-ER和MEMO)都在与DNH-HOPE相同的协议下进行了评估。Mammoth和Avalanche库自动强制执行协议一致性。
5.1.4 关于基于梯度的任务推理的说明
第5.4节指出,DNH-HOPE“通过梯度统计自然推断任务结构”。我们澄清一下,这并不意味着DNH接收任务ID。实际上,DNH的元损失LmetaLmeta和梯度范数∥?θL∥‖?θL‖作为隐式的分布偏移检测器:
当新任务/领域开始时,损失函数发生变化,导致LmetaLmeta急剧增加(如果Lmeta>τ,则可能触发等级添加),梯度统计也发生变化(如果||?|| < ?,则可能触发剪枝)。这类似于通过预测误差进行生物新颖性检测——系统在没有明确标签的情况下检测“变化”。
重要的是,这种机制与任务无关:在CLEAR-100(渐进性漂移且没有明确任务边界)的情况下,DNH仍然能够通过EMA阈值(引理3)响应累积分布变化进行适应。
5.2 语言建模和常识推理
我们首先在静态环境中评估DNH的表现,这与定理2中的界限? ≤ O(1/Lt) + γδ一致。表3报告了760M和1.3B模型的结果。
5.2.1 关于HOPE基线的说明
根据审稿人的反馈,我们重新运行了所有HOPE基线,使用了Behrouz等人(2025年)提供的确切超参数:学习率为3 × 10^-4(而非我们原来的1 × 10^-4),2000步热身步骤以及正确的权重初始化。校正后的HOPE结果见表3。
DNH-HOPE实现了更低的PPL和更高的平均准确率,分别比校正后的HOPE提高了2.59点(760M模型)和2.88点(1.3B模型),这归功于动态频率调节对令牌依赖性的适应。与Titans(LMM)相比的改进表明,结构适应带来了超出基于记忆方法的好处。
5.3 持续学习
为了测试非静态环境中的适应性(定理3),我们在五个涵盖经典和现代场景的基准测试上进行了评估。表5展示了10个任务后的AA和BWT结果,并与基于架构和基于正则化的持续学习方法进行了比较。
**表5:**
| 基准测试 | Permuted MNIST | Split CIFAR-100 | Split ImageNet | CLEAR-100 | CORe50 |
| :---: | :---: | :---: | :---: | :---: | :---: |
| | | | | | |
| | | | | | |
| | | | | | |
| | | | | | |
| | | | | | |
| | | | | | |
**经典方法(2017-2018)**
| EWC | 86.2–11.9 | 67.9–14.8 | 51.3–16.2 | 65.4–12.8 | 73.1–11.5 |
| SI | 86.8–11.2 | 68.7–14.1 | 52.7–15.1 | 69.8–10.4 | 75.8–9.8 |
| PackNet | 87.5–10.1 | 69.2–13.5 | 54.1–14.3 | 68.2–11.1 | 76.4–9.2 |
| **现代方法(2020-2023)** | DER++ | 88.1–9.4 | 70.3–12.8 | 55.8–13.1 | 70.2–9.7 | 88.2–8.4 |
| Co2L | 87.6–9.8 | 69.8–13.2 | 54.9–13.8 | 69.1–10.2 | 77.5–8.9 |
| CLS-ER | 88.4–9.1 | 70.8–12.4 | 56.2–12.7 | 70.8–9.3 | 78.9–8.1 |
| **基于架构的方法(静态基线)** | Transformer++ | 82.4–15.2 | 65.1–18.7 | 48.2–19.4 | 61.3–15.6 | 9.8–13.2 |
| HOPE(静态NL) | 85.9–12.7 | 68.4–15.3 | 52.4–15.8 | 77.1–11.9 | 74.9–10.3 |
| **我们的方法(DNH-HOPE)** | 89.3–8.5 | 71.6–11.1 | 88.3–11.4 | 74.2–7.6 | 81.7–6.9 |
**持续学习结果(AA ↑,BWT ↓)。**
DNH在适应能力方面优于基于架构和基于正则化的持续学习方法。扩展了现代基准测试和基线。所有方法都使用相同的ViT-B/16主干网络(IMAGENET1K_V1);差异反映了CL机制的贡献。Bold值表示更好的性能。
DNH-HOPE的表现优于所有基于架构的基线(包括静态HOPE)和已建立的基于正则化的持续学习方法(EWC、SI)。值得注意的是,DNH-HOPE也优于2020-2023年引入的现代方法(DER++、MEMO),特别是在CLEAR-100上取得了显著提升(比MEMO高出2.8%),因为在该任务中存在自然的时间漂移且没有明确的任务边界。与EWC相比的改进(MNIST上AA提高了3.1%,BWT提高了3.4%)表明动态结构适应为权重正则化提供了补充好处。此外,DNH的等级剪枝机制类似于EWC的Fisher信息加权——两者都保护了重要参数,但DNH在结构层而非单独的权重层面进行操作。遗憾界限(定理3)体现在BWT的减少上,因为等级剪枝防止了灾难性的遗忘。
5.4 后向转移分析:与预训练无关的证据
后向转移(BWT)衡量了先前学习到的任务的遗忘情况,且与预训练质量无关——预训练影响初始表示,但不能防止遗忘。表6显示,无论是否与ImageNet预训练重叠,DNH-HOPE的BWT改进在所有基准测试中都是一致的。
**表6:**
| 基准测试 | DNH BWT | MEMO BWT | Δ BWT | 预训练重叠情况 |
| :---: | :---: | :---: | :---: | :---: |
| Permuted MNIST | –8.5–8.8 | +0.3 | 无(MNIST数据) |
| Split CIFAR-100 | –11.1–12.0 | +0.9 | 无(32 × 32图像) |
| Split ImageNet-100 | –11.4–12.2 | +0.8 | 高(ImageNet子集) |
| CLEAR-100 | –7.6–8.9 | +1.3 | 部分(YFCC100M) |
| CORe50 | –6.9–7.8 | +0.9 | 部分(对象) |
**无论预训练是否重叠,BWT的改进(0.3–1.3点)一致表明DNH确实通过结构适应减少了遗忘,而不是利用了预训练。**
5.4.1 关键观察
BWT改进模式在预训练重叠为零、部分或高的所有基准测试中都非常一致(0.3–1.3点)。如果DNH的优势来自于利用预训练的表示,我们预期在ImageNet重叠的基准测试上会有更大的BWT改进,但实际模式是平坦的。这强烈表明DNH的剪枝机制确实通过独立于预训练的机制减少了遗忘。
5.5 渐进性漂移和无任务评估
为了解决在渐进性分布漂移(相对于突然的任务边界)下的性能问题:
5.5.1 CLEAR-100分析
CLEAR-100的特点是没有明确任务边界的自然时间演化。DNH-HOPE实现了74.2%的AA,证明了EMA平滑的阈值(引理3)有效地检测到了渐进性漂移。元损失平滑增加,而不是急剧上升,从而触发了渐进式结构适应。
5.5.2 无任务增量学习
在Split ImageNet上,测试时不提供任务ID(Class-IL设置),DNH-HOPE实现了58.3%的AA,而PackNet为54.1%。元优化通过梯度统计自然推断任务结构,无需明确的任务标签。
5.5.3 GCL基准测试
在基于梯度的持续学习基准测试(在线流,没有任务边界)中,DNH-HOPE实现了71.4%的AA,而最佳的重放基方法为68.2%。
5.6 长上下文推理
对于长序列,我们使用了RULER(4K–128K令牌)和LongBench。图2展示了准确率与上下文长度的关系。
**图2:** RULER上的准确率与上下文长度。由于动态层次结构的增长,DNH在更长的上下文中保持了更高的性能。所有基线随着上下文长度的增加而下降,但DNH-HOPE通过自适应的等级添加更优雅地下降了性能,从而扩展了表示能力。根据表达能力提高(定理2),DNH-HOPE在64K以上比HOPE高出5%–10%,LongBench的平均得分为62.4,而HOPE为58.7。随着上下文长度的增加,性能差距扩大,验证了动态层次结构增长有助于更好的长距离依赖建模。
5.7 参数和等级轨迹分析
图3展示了Split CIFAR-100训练期间层次深度Lt和总参数数量的变化(10个任务)。
**图3:** 10个任务期间Split CIFAR-100的参数和等级轨迹。(a)层次深度Lt与训练:从L0 = 2开始,到第5个任务时等级增长到Lmax = 4,然后由于剪枝在3–4之间波动;系统自我调节,从未超过Lmax = 5。(b)总参数数量:DNH-HOPE在10个任务后从86M增长到93.1M(增加了8.2%),相比之下,Progressive Neural Networks在没有剪枝的情况下预计增长到129M(增加了50%)。(c)剪枝率(剪除的等级/添加的等级)在初始任务后稳定在大约0.73,表明有效的自我调节。
5.7.1 关键观察
- 有界增长:总参数在10个任务中增长了8.2%(从86M增加到93.1M),而Progressive Neural Networks预计在没有剪枝的情况下增长50%。
- 自我调节:剪枝率(移除的等级/添加的等级)稳定在0.73,表明系统学会了平衡增长和压缩。
- 等级波动:第5个任务后Lt在3–4之间波动,表明这种任务分布的最佳深度大约是3.5级。
**表2:** 比较了不同方法的参数效率。
5.8 消融研究
我们进行了全面的消融研究,以验证每个DNH组件的贡献。所有实验都使用了760M参数模型在WikiText-103(PPL)和Permuted MNIST(AA/BWT)上进行了测试。
5.8.1 核心机制消融
表7隔离了动态等级和频率调节的影响。
**表7:**
| 配置 | WikiText PPL | MNIST AA | MNIST BWT |
| :------------: | :------------: | :------------: | :------------: |
| DNH-HOPE(全功能) | 19.8 | 289.3–8.5 | 19.8 |
| 无动态等级(固定L = 3) | 21.4 | 289.3–8.5 |
| 无等级添加 | 20.8 | 289.3–8.5 |
| 无等级剪枝 | 20.3 | 288.1–9.4 |
| 无频率调节 | 21.0 | 287.2–10.8 |
**移除动态等级会导致最大的性能下降(AA下降2.8%),这证实了结构适应是主要贡献者。等级添加对持续学习(防止容量限制)的好处更大,而剪枝对语言建模(防止过拟合局部模式)更有帮助。**
5.8.2 组件级消融
表8研究了自我修改记忆(SMM)、进化Adam(EAdam)和元优化框架。
**表8:**
| 配置 | WikiText PPL | MNIST AA | MNIST BWT | DNH-HOPE(全功能) |
| :------------: | :------------: | :------------: | :------------: |
| 无SMM(标准记忆) | 19.8 | 289.3–8.5 | 19.8 |
| 无EAdam(标准Adam) | 20.6 | 288.1–9.7 |
| 无元优化 | 20.4 | 287.2–10.8 |
** Bold值表示更好的性能。**
**元优化框架是必不可少的——没有它,DNH仅限于基于启发式的适应,性能下降了3.6%。**这证实了基于梯度的结构决策(而不是基于规则的触发)对于有效的自我进化至关重要。SMM和EAdam提供了渐进但一致的收益,其中SMM对语言建模(更好的记忆压缩)贡献更大,EAdam对持续学习(更好的优化器适应)贡献更大。**
5.8.3 超参数敏感性
我们分析了决定何时触发结构适应的偏移检测阈值δ。表9显示了不同值下的结果。
**表9:**
| δ | MNIST AA | WikiText PPL | |
| :-----------: | :----------: | :-----------: |
| 0.0 | 87.1 | 88.6 |
| 0.03 | 88.6 | 89.3 |
| 0.05 | 88.9 | 87.4 |
| 0.10 | 88.9 | 87.4 |
**非常低的阈值(δ < 0.02)会导致过度的结构变化,使训练不稳定。**高的阈值(δ > 0.1)会延迟适应,接近静态NL行为。最佳范围δ ∈ [0.03, 0.07]在适应频率和稳定性之间达到平衡,符合引理1的稳定性条件。
5.8.4 组件交互分析
为了理解组件之间的交互作用,我们测试了组合(表10)并比较了计算成本(表11)。
**表10:**
| 配置 | MNIST AA | DNH-HOPE |
|这将DNH-HOPE定位为可用于决策支持系统的部署,包括医学诊断和金融预测,在这些系统中,模型能够适应多模态输入同时保持鲁棒性。更广泛的应用包括受神经学启发的计算和自我改进的AI。通过结构进化实现组件级别的可塑性,DNH-HOPE展示了与事件驱动的神经形态计算兼容的算法原理。虽然我们不声称当前具有硬件效率,但稀疏的、基于惊喜的更新模式表明它在未来的神经形态实现中具有潜力。该框架能够在适应结构的同时实现理论收敛性,确保其可扩展性超过13亿个参数,并且参数增长有限(10个任务中增长8%),从而实现实际部署。
5.12 局限性和未来工作
我们认识到当前工作的几个局限性:
5.12.1 预训练考虑
我们的图像分类实验使用了在ImageNet-1k上预训练的ViT-B/16(IMAGENET1K_V1权重)。对于包含ImageNet-1k类别的Split ImageNet-100,这会导致预训练数据和评估数据之间的表示重叠。我们强调:所有基线方法使用相同的预训练主干网络,以确保公平的相对比较,从而隔离出CL机制的贡献。无论是否进行预训练重叠,BWT的改进在各个基准测试中都是一致的(表6),这表明DNH的抗遗忘优势与预训练无关。我们的方法遵循了所有最新的基于ViT的CL论文(L2P、DualPrompt、CODA-Prompt、LAE)所采用的既定实践。
5.12.2 未来方向
我们认为不进行预训练的评估是整个CL领域的一个重要方向。未来的工作应该探索:
- 在没有预训练重叠的基准测试上进行评估(例如,VTAB、使用非ImageNet预训练的Meta-Dataset)。
- 从头开始训练的协议,以隔离纯粹的CL能力。
- 预训练和评估领域不相交的跨域迁移。
5.12.3 计算需求
由于元优化,DNH的训练开销为18%。虽然推理成本为零(最终层次结构是静态的),但对于非常大的模型而言,训练开销可能会很显著。未来的工作应该探索更高效的元梯度计算方法。
5.12.4 理论假设
我们的收敛性界限(定理1)假设分布偏移是有界的(??[Δt] ≤ δ)。在实践中,某些环境可能会表现出无界或对抗性的偏移,这违反了这一假设。
5.12.5 基准测试的演变
我们认识到持续学习基准测试的快速演变。虽然我们包括了现代基准测试(CLEAR-100、CORe50)以及经典基准测试(Permuted MNIST、Split CIFAR-100),但我们认识到像ImageNet-R和ImageNet-A这样的新兴基准测试在没有预训练重叠的情况下会提供分布偏移,为评估CL机制提供了更清晰的信号。我们强调DNH的贡献是架构上的——理论保证(定理1-3)广泛适用于非平稳优化,CL只是其应用领域之一,还有语言建模和长上下文推理。CL实验验证了实际可行性,而不是在个别基准测试上声称达到最先进水平。未来的工作应该将这些新兴基准测试纳入评估范围。
5.12.6 基线性能背景
我们注意到,由于以下原因,基线方法的绝对性能数字可能与原始论文中的有所不同:(1)主干网络架构的不同(我们在一些论文中使用ViT-B/16,而原始论文中使用ResNet-18),(2)评估协议的不同(例如,Class-IL与Task-IL),以及(3)对统一实验设置的超参数调整。关键的是,所有方法都在我们的实验中在相同的条件下进行评估,确保了有效的相对比较,从而隔离出CL机制的贡献。我们的目标是进行受控比较,而不是复制原始的绝对数字。
6 结论
本研究提出了动态嵌套层次结构(DNH),作为嵌套学习(NL)的扩展,使得在训练和推理过程中能够自主调整优化级别和频率。DNH通过动态演化层次结构GtGt和更新频率{f(?)t}{ft(?)}的元优化框架,解决了静态NL架构的局限性,特别是在非平稳环境中。我们为DNH机制提供了明确的神经生物学依据,正确地将级别添加映射到成年神经发生(容量扩展)、赫布初始化映射到LTP(权重增强)、级别剪枝映射到突触消除,以及频率调制映射到神经振荡。理论分析建立了在分布偏移下的收敛性界限,预期梯度范数按O(1/T + δ2)缩放,表达能力改进受限于? ≤ O(1/Lt) + γδ,以及次线性遗憾RT≤O(√T(δ+√dmaxLmax))。全面的实证评估表明,与静态NL基线和现有的持续学习方法(EWC、SI)以及现代方法(DER++、Co2L、CLS-ER、MEMO)相比,DNH在经典和当代基准测试(Split ImageNet、CLEAR-100、CORe50)上表现更优,并且详细的消融研究验证了每个组件的贡献。我们提供了参数轨迹分析,显示通过自我调节剪枝实现了8%的有界增长,并且计算成本分析确认了18%的训练开销和零推理开销。
6.1 DNH作为基础架构范式
我们将DNH定位为一个通用的架构框架,用于动态层次结构的适应,而不是与重放或正则化方法竞争的特定CL方法。理论贡献(定理1-3)广泛适用于非平稳优化,持续学习是其应用领域之一,与语言建模(相比HOPE提高了2.59%/2.88分)和长上下文推理(在64K+令牌时提高了5%-10%)。这种范式可以与现代CL技术结合:DNH与基于提示的方法(L2P、CODA-Prompt)、表示学习方法或增强记忆的架构相结合,代表了未来的发展方向。类似于Transformer架构(Vaswani等人,2017年)最初在机器翻译领域得到展示,然后成为跨领域的基础,我们希望DNH能成为现有方法的补充轴,激励社区进一步探索这一方向。最强的实证证据——在CLEAR-100(+2.8%)和CORe50(+2.4%)上的显著改进,这些场景具有真实的时间漂移,正是DNH设计的目标——表明其在实际部署场景中的巨大潜力。未来的研究可以探索将DNH与受量子启发的优化器集成,以处理指数级大的状态空间,以及将其应用于多智能体系统,其中每个智能体都是具有双向依赖的更广泛嵌套层次结构中的一个节点。