利用课程引导的自适应递归加速微型递归模型的训练速度

《Neural Networks》：Accelerating Training Speed of Tiny Recursive Models with Curriculum Guided Adaptive Recursion

　　

## 摘要

递归推理模型通过迭代优化来解决复杂的推理任务，使小模型能够媲美大得多的语言模型。然而，其训练仍然非常昂贵：此前的工作报道，Sudoku-Extreme 任务的训练需要 36 GPU 小时。我们提出了一种名为 CGAR 的训练方法，将课程学习应用于架构深度而非数据顺序。CGAR 结合了渐进深度课程（PDC），在训练过程中将递归深度从浅层配置逐步调整到深层配置；以及分层监督加权（HSW），通过指数衰减的重要性对监督步骤进行加权，使损失加权与观察到的梯度幅值衰减一致。在 Sudoku-Extreme（423,168 个测试谜题）上，CGAR 实现了 1.71× 的训练加速（从 10.93 小时降至 6.38 小时，成本降低 42%），同时准确率仅下降 0.63%（从 86.65% 降至 86.02%），并有效防止了使基线性能退化的晚期过拟合（基线降至 86.31%）。消融实验表明，仅使用 PDC 即可实现 2.26× 的加速，准确率为 85.47%，同时提升了训练效率和准确率。该加速效果在 Maze-Hard 和 ARC-AGI-1 上均可复现（三项任务的加速范围为 1.25–1.71×），而固定深度的基线在相同预算下无法学会 ARC-AGI-1。CGAR 训练的模型展现了近乎完美的停止准确率（完整 CGAR 为 99.5%，仅 PDC 配置为 100%），且推理步骤减少 6%。在架构深度上实施课程学习，使得递归推理器能够在适度硬件上高效训练。代码：https://github.com/Kaleemullahqasim/CGAR

## 引言

近年来，拥有数千亿参数的大型语言模型（LLMs）的兴起已展示了其在多样化任务上的强大能力（Brown, Mann, Ryder, Subbiah, Kaplan, Dhariwal, Neelakantan, Shyam, Sastry, Askell, et al., 2020; Chowdhery, Narang, Devlin, Bosma, Mishra, Roberts, Barham, Chung, Sutton, Gehrmann, et al., 2023）。然而，这种通过扩大模型规模的方法在训练和推理阶段都产生了难以承受的计算成本，限制了其可及性和可部署性。通过推理时计算扩展（Koishekenov, Lipani, & Cancedda, Snell, Lee, Xu, Kumar, 2025），一种替代方案已经涌现，其中较小的模型通过多步推理迭代地优化其输出，以推理周期换取模型参数。

基于这一原则，最近提出的分层推理模型（HRM）（Wang et al., 2025）及其简化变体 Tiny Recursive Model（TRM）（Jolicoeur-Martineau, 2025）表明，仅有 700 万参数的网络在 Sudoku、迷宫求解和 ARC-AGI（Chollet, 2019）等专业推理基准上能够匹敌规模大得多的 LLMs。其关键洞见是递归推理：一个小型网络通过嵌套的递归周期和深度监督（Lee et al., 2015）迭代地优化解决方案，有效地模拟了深层架构，同时保持了参数效率。通过自适应计算时间（Graves, 2016），TRM 仅使用 700 万参数就在推理基准上取得了强劲性能。然而，这些模型的训练仍然计算昂贵，原始 TRM 论文报告 Sudoku Extreme 数据集需要约 36 GPU 小时，限制了更广泛的采用和快速实验。

尽管具有架构优雅性和强劲性能，递归推理模型仍存在训练低效的问题。TRM 在所有训练轮次中使用固定的递归深度，并在所有推理步骤中使用均匀的监督加权。这种策略导致了两种根本性低效。第一，从初始轮次就应用完整的架构深度，在模型参数远未优化时会引发早期训练过拟合。第二，后期的监督步骤贡献的梯度呈指数级递减，然而 TRM 对每步平等加权，导致参数更新次优。

我们提出了 CGAR（课程引导的自适应递归），一种将递归深度视为课程来处理的训练方法。与所有此前的课程学习方法关注数据排序（Bengio, Louradour, Collobert, Weston, 2009; Hacohen, Weinshall, 2019; Soviany, Ionescu, Rota, Sebe, 2022）、样本加权或参数缩减（Hu et al., 2022）不同，CGAR 首次将课程学习引入架构递归深度本身。这种方法认识到，递归架构的有效计算深度 D_eff(n, T) 是一个可学习的训练超参数，应随着优化进度进行自适应调整，而非在整个训练过程中保持固定。CGAR 提出了两项贡献。第一，渐进深度课程（PDC）根据归一化训练进度 ρ = e/E 动态调度递归参数 (n, T)，实施三阶段课程，从浅层 (2,1) 过渡到中等 (4,2) 再到完整深度 (6,3) 配置，实现 41.4% 的 FLOPs 降低，同时防止早期过拟合。第二，分层监督加权（HSW）对监督步骤应用有原则的指数衰减 w_t = λ^{t-1}/Z_λ，该衰减来源于对递归架构梯度幅值衰减的经验观察，将每次更新集中在早期推理步骤以加速收敛，而在每次迭代的计算量不变的前提下。

在相同硬件上的受控条件下，CGAR 在降低训练时间的同时实现了可比精度，将训练时间从 10.93 小时缩短至 6.38 小时，实现 1.71× 加速，同时防止了使基线性能退化的过拟合。系统的消融研究表明，渐进深度课程通过计算节省贡献了 2.26× 加速，分层监督加权通过将监督集中在早期推理步骤提供了 1.61× 加速，二者结合实现了 1.71× 的整体效率提升，同时保持了具有竞争力的准确率。我们的工作为递归推理模型的高效训练做出了以下贡献：

我们提出了渐进深度课程，这是首次将课程学习应用于架构深度而非数据排序，在训练过程中动态调整递归参数，从浅层（6 层）经过中等（20 层）到完整深度（42 层）；单独使用时，它实现了 2.26× 的训练加速，同时略微提升了准确率（85.47%，而基线为 85.14%），在不过度牺牲后期推理能力的情况下防止早期过拟合。我们提出了分层监督加权，一种递归感知方案，对监督步骤应用指数衰减，将每次更新集中在信息含量最高的早期推理步骤，在每次迭代计算量不变的前提下实现了 1.61× 的训练加速。我们展示了在 Sudoku-Extreme 上实现 1.71× 的训练加速，准确率达到接近基线峰值的水平（86.02%，而基线峰值为 86.65%），同时防止了使基线退化的晚期过拟合。该机制在三个结构上截然不同的任务（Sudoku-Extreme、Maze-Hard、ARC-AGI-1）上均可迁移，加速范围为 1.25–1.71×，而固定深度的基线在相同预算下无法学会 ARC-AGI-1。CGAR 的训练收益在部署中也能体现：近乎完美的停止准确率（完整 CGAR 为 99.5%，消融中仅 PDC 配置为 100%），且推理步骤比基线减少 6%。

评估围绕四个研究问题展开，在第 4 节中完整阐述，并在第 5 节的各个子节中逐一回答：

**CGAR 是否能在不牺牲准确率的情况下减少训练时间？** CGAR 实现了 1.71× 的训练加速，相对于基线峰值仅降低 0.63 个百分点的准确率，且相同准确率下的加速范围为 1.48× 至 2.16×（第 5.1 节）。

**PDC 和 HSW 各自有何贡献？** PDC 是主要组件，实现了 2.26× 加速，同时略微提升了准确率（85.47%，而基线为 85.14%）；HSW 在每次迭代计算量不变的前提下实现了 1.61× 加速（第 5.2 节）。在短训练预算下，仅使用 PDC 更为优越，而在完整 50K epoch 计划下，完整 CGAR 达到了更高的最终准确率。

**训练过程中变化递归深度是否会损害泛化能力？** 在完整深度检查点上，训练-测试差距始终保持在约 1.3%（第 5.3 节）。

**HSW 对衰减参数 λ 有多敏感？** 在训练集上，λ=0.7 实现了最高的完全匹配准确率（87.3%），λ=0.8 与之保持在 4.2 个百分点以内（第 5.4 节）。

本文其余部分组织如下：第 2 节回顾相关工作。第 3 节介绍 CGAR 框架。第 4 节描述实验设置。第 5 节报告结果与消融实验。第 6 节在另外两个任务（Maze-Hard 和 ARC-AGI-1）上验证该机制。第 7 节讨论研究的局限性和未来工作方向，第 8 节总结全文。

## 相关工作

课程学习（Bengio et al., 2009）通过在逐渐困难的示例上训练神经网络，在不同领域提升了收敛性和泛化能力（Graves, Bellemare, Menick, Munos, Kavukcuoglu, 2017; Soviany, Ionescu, Rota, Sebe, 2022）。对于 Transformer，示例难度通常通过训练文本的属性来定义：CL-LRC 在从头预训练 BERT 和 RoBERTa 时，通过长度、稀有性和可理解性对示例进行排序（Ranaldi et al., 2023），

## 方法论

我们加速 Tiny Recursive Model（TRM）（Jolicoeur-Martineau, 2025）的训练，该模型由于在所有轮次中采用固定深度训练而存在训练低效问题（原始 TRM 论文报告在其硬件上每个数据集需要约 36 GPU 小时）。我们提出了 CGAR（课程引导的自适应递归），一种通过两种互补技术实现 1.71× 加速的训练方法：渐进深度课程（PDC）和分层监督加权（HSW），二者均已在

## 实验

我们在 Sudoku-Extreme 上评估 CGAR，以展示在保持竞争性准确率的同时提升训练效率。该任务涉及求解 9×9 的 Sudoku 谜题，需要在相互依赖的行、列和块约束之间进行逻辑推演。每个谜题 (x, y*) ∈ D 表示为按行优先顺序排列的 L=81 个 token 的序列，词表大小为 V=10，其中 x ∈ {0,…,9}^{81} 编码输入（0 表示空格），y* ∈ {1,…,9}^{81} 为解。训练和测试谜题来自互不重叠的

## 结果

我们在 Sudoku-Extreme 上评估 CGAR，包含 423,168 个测试谜题，以回答第 4 节提出的四个研究问题。所有实验使用相同的超参数（学习率 10??、批大小 768、AdamW、权重衰减 0.01）和硬件（A100 80GB GPU）。我们报告完全匹配准确率（完全求解的谜题比例）和 token 准确率（正确单元格的比例）。

## 跨任务验证

在通过 RQ1–RQ4 对 Sudoku-Extreme 上的 CGAR 进行表征后，我们通过将受控对比复制到另外两个任务（Maze-Hard，Jolicoeur-Martineau, 2025；ARC-AGI-1，Chollet, 2019）来检验其训练效率机制是否能超越 Sudoku-Extreme 进行推广。在这两项跨任务实验中，两个实验组都在逐字节相同的超参数下从头训练相同的 TRM，唯一的实验变量是 CGAR 的渐进深度调度和分层监督加权。这两项跨任务实验

## 局限与未来工作

我们在三个结构上截然不同的推理任务（Sudoku-Extreme、Maze-Hard、ARC-AGI-1）上验证了 CGAR，其中一项（ARC-AGI-1）固定深度基线在相同预算下无法学会。仍然有两个范围上的局限性。第一，这三个任务共享单一的递归骨干（TRM）；深度课程是否可迁移至其他递归或迭代推理架构尚未测试。第二，ARC-AGI-1 的对比有意采用了缩减的、速度匹配的预算，而非

## 结论

我们提出了 CGAR（课程引导的自适应递归），一种将课程学习应用于架构递归深度而非数据顺序的训练方法，结合了渐进深度课程（PDC），在训练过程中将递归参数 (n, T) 从浅层提升到深层；以及分层监督加权（HSW），按 w_t = λ^{t-1} 对监督步骤加权，以匹配递归架构的梯度幅值衰减。在 Sudoku-Extreme 上，它实现了 1.71× 的训练

## 利益冲突声明

作者没有声明与本文内容相关的利益冲突。

## CRediT 作者贡献声明

Kaleem Ullah Qasim：撰写 – 初稿、可视化、验证、资源、方法论、调查、形式分析、数据整理、概念构思。Jiashu Zhang：指导、资金获取。Razan Alharith：撰写 – 审阅与编辑、方法论、调查。Muhammad Kafeel Shaheen：可视化、形式分析。

## 利益冲突声明

作者声明不存在已知的竞争性经济利益或个人关系，这些可能影响本文所述工作。

## 致谢

作者感谢中国国家自然科学基金（项目编号：62471411）。

Kaleem Ullah Qasim | Jiashu Zhang | Razan Alharith | Muhammad Kafeel Shaheen