编辑推荐：
摘要：从稠密模型架构向稀疏模型架构的转变已成为大语言模型（LLM）领域的关键趋势。采用混合专家（MoE）等方法，语言模型可以通过依赖稀疏参数激活来扩展其表示能力，而不会过度增加计算负担。本文介绍了模块化专家路径（MoEP），作为一种在保持总参数数量固定的同时引
摘要：从稠密模型架构向稀疏模型架构的转变已成为大语言模型（LLM）领域的关键趋势。采用混合专家（MoE）等方法，语言模型可以通过依赖稀疏参数激活来扩展其表示能力，而不会过度增加计算负担。本文介绍了模块化专家路径（MoEP），作为一种在保持总参数数量固定的同时引入稀疏性的解决方案。MoEP将模型并行性与MoE风格的线性投影相结合，以实现选择性令牌激活，从而加速模型学习并提高样本效率。具体而言，MoEP是专为BabyLM挑战赛开发的独特模型，以GPT-2作为其架构基线。研究人员进一步扩展了这一思路，证明MoEP可以作为通用框架，将任何稠密语言模型转换为稀疏模型。为验证这一点，研究人员将MoEP结构应用于GPT-2、Llama和Gemma三种基线架构，每种模型均使用相同的模块化路由设计转换为稀疏变体。混合专家（MoE）方法可以通过仅为每个输入令牌激活参数子集来增强模型的条件表示能力。然而，这种稀疏性的实际效率取决于路由设计和硬件实现。本文介绍了模块化专家路径（MoEP），一种层级路由架构，旨在固定且可比较的参数预算下研究稀疏性。MoEP将仅解码器Transformer块与MoE风格的线性投影并行化，以在降维路径上实现选择性令牌依赖路由。MoEP最初是在BabyLM设置下以GPT-2为架构基线开发的。研究人员通过将相同的MoEP路由和整体设计应用于其他小型仅解码器基线架构来扩展这项研究。为进一步检验架构可迁移性，研究人员将MoEP结构应用于GPT-2风格、LLaMA风格和Gemma风格的基于相同协议训练的小型基线模型。每个基线模型均使用相同的模块化路由设计转换为MoEP变体，从而能够在不同架构间进行受控比较。所有模型均在官方BabyLM strict-small协议下训练和评估，以确保可比性。结果显示，平均增益较小，但特定任务上的改进更为显著，同时也存在任务相关的性能下降，这表明MoEP的优势依赖于架构和规模。使用Pythia-1B模型作为基线的大规模比较进一步表明，当前层级MoEP设计可能无法继承标准FFN级MoE的扩展性和效率优势，这是因为MoEP路由的是完整的注意力-FFN块，而非仅路由前馈专家。
MoEP：模块化专家路径——在固定参数预算下实现紧凑稀疏性的架构探索
一、研究背景与问题
近年来，大语言模型（Large Language Models, LLMs）领域呈现出从稠密架构向稀疏架构转型的显著趋势。以混合专家（Mixture-of-Experts, MoE）为代表的稀疏方法允许模型通过稀疏参数激活来扩展表示能力，而无需等比例增加计算开销。诸如GPT-OSS、Llama 4、DeepSeek和Mixtral等前沿模型均体现了这一趋势：每个令牌仅激活参数子集，而非像稠密模型那样对所有参数进行全量计算。
然而，现有MoE方法存在若干关键问题。第一，大多数可扩展MoE语言模型仅在FFN层应用路由，注意力机制仍由所有令牌共享，这种设计虽然简化了稀疏激活，但限制了路由的灵活性。第二，传统MoE方法通常以增加总参数量为代价来换取稀疏性，这在计算资源受限的场景下并不理想。第三，现有稀疏方法多聚焦于大规模模型，在低资源预训练条件下（如BabyLM框架所定义的小规模数据与参数预算）的稀疏专家路由研究尚属空白。第四，层级MoE（即对整个Transformer块而非FFN子层进行路由）这一方向研究甚少，仅有MoLE等少数工作在冻结预训练模型上进行了初步探索。
基于上述问题，本研究旨在提出一种在固定参数预算下实现稀疏性的新架构，探索层级路由的可行性，并系统评估该架构在不同基线模型间的可迁移性。
二、研究内容与核心方法
研究人员提出了模块化专家路径（Modular Expert Paths, MoEP），一种层级路由架构，通过将模型并行性与MoE风格线性投影相结合，在保持总参数数量不变的前提下实现选择性令牌激活。该架构最初在BabyLM挑战赛中以GPT-2为基线开发，随后被推广为通用框架，应用于GPT-2、Llama和Gemma三种基线架构，形成MoEP-GPT-2、MoEP-Llama和MoEP-Gemma变体。所有模型均在BabyLM strict-small协议下从零训练和评估，以确保可比性。
研究采用的主要关键技术方法包括：其一，层级并行路由设计，MoEP架构以"全尺寸层→MoE收缩投影→N个并行层（top-k门控）→MoE扩展投影→全尺寸层"的模式交替排列，在完整Transformer块层面进行条件路由；其二，MoE收缩与扩展投影机制，通过E个专家和top-k门控实现隐藏维度在d_L与d_P之间的平滑过渡，避免信息瓶颈；其三，轻量线性投影专家，MoE块中的专家采用简单线性投影而非复杂非线性变换，在降低计算复杂度的同时保持路由灵活性；其四，辅助损失函数，训练过程中引入辅助损失以最大化专家网络利用率并增强训练稳定性。所有MoEP变体均使用多头注意力（MHA）而非分组查询注意力等轻量机制，因为后者主要惠及更大规模模型。
三、研究结果
BabyLM strict-small评估结果：在官方BabyLM评估协议下，MoEP-GPT-2在所有BabyLM strict-small基线模型中表现最优，超越了GPT-2和GPT-BERT两个官方基线，证明了层级路由在小规模数据条件下的有效性。
跨架构可迁移性结果：将MoEP结构应用于GPT-2、Llama和Gemma三种基线后，所有MoEP变体在特定规模下均呈现小幅平均改进，但改进幅度存在显著的任务依赖性变化，部分任务甚至出现性能下降，表明MoEP的优势依赖于具体架构和模型规模。
路由行为分析结果：研究人员对专家和层级路由行为进行了详细分析，发现路由平衡性在不同架构和任务间存在显著差异，这为理解MoEP性能的架构依赖性提供了微观层面的解释。
大规模扩展性结果：以Pythia-1B模型为基线的大规模比较表明，当前层级MoEP设计未能提升稠密基线的评估分数。研究人员分析认为，这是因为MoEP路由的是完整的注意力-FFN块而非仅路由FFN专家，导致即使激活参数减少，注意力计算和路由开销仍可能限制实际的墙钟时间和内存收益。
四、讨论与结论
讨论部分指出，MoEP不应被自动视为优于简单压缩方法的方案，其优势取决于条件层级路由是否能提供足够收益以证明额外架构复杂性的合理性。MoE效率不能仅以激活参数数量衡量，激活值、内存使用和通信开销均可能成为主要瓶颈，这对MoEP尤为重要，因为其稀疏性应用于完整层块而非仅FFN专家层。
研究结论可概括为：MoEP作为一种层级稀疏架构，在BabyLM strict-small条件下成功超越了所有官方基线模型，证明了在固定参数预算下通过层级路由引入稀疏性的可行性；然而，其优势具有架构和规模依赖性，在大规模场景下未能继承标准FFN级MoE的扩展性优势。未来研究可探索更精细的路由粒度、优化注意力计算开销以及针对不同规模模型的自适应设计策略。
