CODER：通过难度感知核心集实现数据高效的数学推理激活

《Neural Networks》：CODER: Data-Efficient Activation of Mathematical Reasoning via Difficulty-Aware Core-Set

　　• 我们整理出 Math-Core-700，一个包含 700 个样本的思维链数据集，其构建基于明确的难度金字塔，覆盖小学算术、高考压轴题、竞赛证明题以及大学层次的抽象概念。这一渐进式课程旨在引导模型从表层模式匹配走向结构化的多步推理。• 为应对低资源数学推理中的优化悖论（表达能力不足与过拟合风险并存），我们将 DoRA 的幅度–方向解耦与 NEFTune 的噪声注入相结合。DoRA 提供了高精度的参数搜索，而 NEFTune 的流形平滑促使模型向更平坦的最优点收敛。这种几何与随机性的协同效应可能在稀疏数据条件下扩展泛化能力。• 我们实现了较强的数据效率与跨域泛化能力：使用 Qwen2.5-Math-7B（Base）和 Llama-3.1-8B，CODER 在仅使用 700 个训练样本的情况下，可达到或超越使用远远更大语料（7,500 个 MATH 样本和 5,000 个 TAL-SCQ5K 样本）在各自标准配方下训练的标准 LoRA 基线。此外，在 AMC 23 和 Hard-CN 上表现出稳健的分布外（OOD）泛化能力，表明一个紧凑且高质量的核心集可有效激发潜在的推理能力。• 我们进一步针对微调长上下文思维链（CoT）模型中的两个实际瓶颈进行了处理：所需的参数更新次数以及可用的显存预算。基于难度感知的核心集在约为 MATH-LoRA 基线十分之一的优化步数下达到更高准确率；DoRA–NEFTune 组合在最大序列长度为 4096 token、且不截断任何实例的前提下，可在 24GB 消费级显存预算内将完整课程训练至收敛，在 Qwen2.5-Math-7B 和 Llama-3.1-8B 上，其梯度信噪比分别比 LoRA 基线高出 97% 和 140%。引言近年来，基于 Transformer 架构的大语言模型（LLMs）在自然语言处理领域取得了标志性进展。从 GPT-4（OpenAI, 2023）到 Llama-3（Dubey et al., 2024）和 Qwen-3（Yang et al., 2025）等开源社区模型，这些系统在文本生成、代码编写和多轮对话方面展现出令人瞩目的"涌现"能力。然而，尽管它们通用任务表现优异，LLMs 在处理需要严格逻辑推导的数学推理任务时仍面临重大挑战。数学推理要求多步因果推断能力，而基于概率预测的自回归模型极易产生逻辑幻觉或计算错误（Dziri et al., 2023）。为提升模型的数学能力，主流学术范式遵循缩放定律（Kaplan et al., 2020），通过持续增加模型参数量（例如数百亿参数）与训练数据规模（例如由万亿 token 构成的数学语料）来获取性能提升。Google 的 Minerva（Lewkowycz et al., 2022）和 DeepSeek-Math（Shao et al., 2024）等开创性工作已展示了该方案的有效性。然而，这种资源密集型范式对学术界和小型研究机构构成了重大门槛。全量微调不仅要求昂贵的计算集群，而且在数据稀疏的领域中，经常导致训练样本上过拟合以及通用能力的灾难性遗忘（Kirkpatrick et al., 2017）。为应对这些挑战，现有方案主要聚焦于两个维度：参数高效微调（PEFT）与数据工程。然而，显著局限依然存在：在算法层面，Hu 等人提出的 LoRA（低秩适应）（Hu et al., 2022）大幅降低了显存开销，但其随机初始化的低秩矩阵在参数更新耦合的约束下，处理复杂逻辑任务时往往面临学习能力不足的问题。Liu 等人 2024 年提出的 DoRA（权重分解 LoRA）（Liu et al., 2024）通过解耦权重的幅度与方向提升了性能，但其在超小样本下的收敛稳定性仍有待验证。此外，为应对少样本微调中的过拟合问题，Jain 等人提出的 NEFTune（Jain et al., 2023）通过噪声注入实现正则化，但其在高难度逻辑–数学任务上的应用机制研究仍显不足。在数据层面，Zhou 等人提出的 LIMA（少即是多用于对齐）（Zhou et al., 2023）表明少量高质量数据即可实现模型能力对齐。然而，现有开源数学数据集（如 GSM8K 和 MATH）大多缺乏细粒度的难度分级，且其推理过程（思维链，CoT）（Wei et al., 2022）质量参差不齐。直接使用这些存在认知断层的数据集进行微调，模型难以在有限样本内建立起从基础运算到抽象推理的完整认知链：• 我们整理出 Math-Core-700，一个包含 700 个样本的思维链数据集，其构建基于明确的难度金字塔，覆盖小学算术、高考压轴题、竞赛证明题以及大学层次的抽象概念。这一渐进式课程旨在引导模型从表层模式匹配走向结构化的多步推理。• 为应对低资源数学推理中的优化悖论（表达能力不足与过拟合风险并存），我们将 DoRA 的幅度–方向解耦与 NEFTune 的噪声注入相结合。DoRA 提供了高精度的参数搜索，而 NEFTune 的流形平滑促使模型向更平坦的最优点收敛。这种几何与随机性的协同效应可能在稀疏数据条件下扩展泛化能力。• 我们实现了较强的数据效率与跨域泛化能力：使用 Qwen2.5-Math-7B（Base）和 Llama-3.1-8B，CODER 在仅使用 700 个训练样本的情况下，可达到或超越使用远远更大语料（7,500 个 MATH 样本和 5,000 个 TAL-SCQ5K 样本）在各自标准配方下训练的标准 LoRA 基线。此外，在 AMC 23 和 Hard-CN 上表现出稳健的分布外（OOD）泛化能力，表明一个紧凑且高质量的核心集可有效激发潜在的推理能力。• 我们进一步针对微调长上下文思维链（CoT）模型中的两个实际瓶颈进行了处理：所需的参数更新次数以及可用的显存预算。基于难度感知的核心集在约为 MATH-LoRA 基线十分之一的优化步数下达到更高准确率；DoRA–NEFTune 组合在最大序列长度为 4096 token、且不截断任何实例的前提下，可在 24GB 消费级显存预算内将完整课程训练至收敛，在 Qwen2.5-Math-7B 和 Llama-3.1-8B 上，其梯度信噪比分别比 LoRA 基线高出 97% 和 140%。章节摘录相关工作**数学推理的范式转变**：从思维链到过程奖励大语言模型（LLMs）在数学推理任务中经历了范式转变，从结果导向转向过程导向。早期的思维链（CoT）提示方法（Kojima, et al., 2022, Wei, et al., 2022）通过显式生成推理步骤有效激活了模型的逻辑潜能。此后，研究焦点逐渐转向优化方法论本章介绍 CODER 方法并详细说明其综合实施路径。如图 1 所示，该框架由两部分组成：一个基于难度梯度构建的核心数据集（Math-Core-700）以及一种基于解耦与噪声的协同微调策略。实验本章旨在通过多维度的实证评估，验证 CODER 框架在低资源约束下激活大语言模型数学推理能力的有效性。我们设计了一套综合评估体系，涵盖通用基准、领域专用基准和分布外基准。通过将我们的方法依赖大量数据的传统微调范式进行对比，我们旨在突出结论与未来方向本研究通过引入 **CODER** 框架，应对在资源受限环境下激活高级数学推理能力的挑战。通过实证化的、按难度分层的 *Math-Core-700* 课程与结合 DoRA 和 NEFTune 的协同正则化策略，我们证明在单张消费级 GPU 上、仅使用小部分数据量，即可在 Gaokao-Bench 和 AMC 23 等基准上取得具有竞争力的性能。资助**项目名称**：生态环境智慧管理智能体研究与应用**项目编号**：2025ZD1206201**重点计划**：京津冀区域生态环境综合治理国家重点科技计划CRediT 作者贡献声明**Lei Wang**：验证、监督、方法、形式化分析、数据整理、概念化。**GuoAo Liu**：软件、方法、形式化分析、数据整理、概念化。**XiaoYong Zhao**：监督。利益冲突声明作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：GuoAo Liu 报告其资助来自生态环境部信息中心。GuoAo Liu 报告与生态环境部信息中心的关系包括：资助拨款。如有其他作者，则声明其无已知的财务利益冲突或个人关系可能影响Lei Wang|GuoAo Liu|XiaoYong Zhao