综述：大型语言模型的训练方法：当前方法与挑战

《Technologies》：Training Methods for Large Language Models: Current Approaches and Challenges Dimitris Karydas, Dimosthenis Margaritis and Helen C. Leligou

　　

大型语言模型（Large Language Models, LLMs）已成为自然语言处理中的主导范式，在广泛的生成和推理任务中展现出强大性能。这些系统依赖于多阶段训练流水线，集成了大规模自监督预训练、监督微调和对齐技术。本文对当代LLM训练方法进行了一项系统性映射研究，重点强调了基于Transformer的架构、优化目标和数据整理策略，以及新兴的稀疏架构（如混合专家模型（Mixture-of-Experts, MoE））。研究人员分析了参数高效微调方法、检索增强生成框架和多模态训练技术，并将它们组织成一个统一的比较分类法。研究人员讨论了关键技术挑战，如可扩展性约束、幻觉、偏差放大和对齐-能力权衡，然后识别了新兴研究方向，如以推理为中心的训练。本文为从事可扩展和可靠语言模型训练的研究人员和从业者提供了一份简洁的技术参考。

本文通过系统性映射研究，梳理了大型语言模型（Large Language Models, LLMs）训练方法从预训练到后对齐的全过程。**1. 引言**：LLMs（如GPT、BERT、LLaMA）基于Transformer架构和大规模数据，在自然语言处理中取得突破。训练方法涉及多阶段流水线，包括自监督预训练、监督微调和对齐。现有文献常孤立讨论各阶段，而近期发展（如参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）、检索增强生成（Retrieval-Augmented Generation, RAG）和稀疏混合专家模型（Mixture-of-Experts, MoE））表明应统一看待。本文贡献包括系统性方法论综合、统一分析分类法以及定量前沿比较。**2. 调查方法**：遵循结构化协议，在Scopus、Google Scholar等数据库搜索2017-2025年文献，初始约1500篇，经筛选后保留58篇核心研究，后在修订中纳入10篇前沿预印本（基于引用量≥100或近12月≥50等规则），最终共68篇。研究问题围绕预训练策略、PEFT与对齐方法的效率-质量平衡、稀疏MoE与密集模型的权衡。**3. 大型语言模型预训练基础**：预训练阶段通过自监督学习（如因果语言建模（Causal Language Modeling, CLM）和掩码语言建模（Masked Language Modeling, MLM））构建语言理解。数据来源包括Common Crawl（需去重清洗）、Wikipedia、书籍语料和编程数据（如The Stack）。数据清洗包括去重、质量过滤和安全过滤。Transformer架构分为解码器专用（如GPT、LLaMA，使用CLM）、编码器专用（如BERT，使用MLM）和编码器-解码器（如T5，使用跨度破坏目标）。缩放定律显示模型性能随参数、数据和计算预算提升而提高。训练需GPU/TPU集群、分布式训练（如ZeRO、FSDP）和混合精度（FP16/BF16）。分词常用字节对编码（Byte-Pair Encoding, BPE）或SentencePiece。**4. 大型语言模型微调策略：监督与指令微调**：监督微调（Supervised Fine-Tuning, SFT）使用标注数据（如Alpaca、OpenAssistant）使模型适应特定任务。指令微调通过多样化自然语言指令（如FLAN、Self-Instruct）提升零样本和少样本泛化。两者为后续对齐方法（如基于人类反馈的强化学习（Reinforcement Learning from Human Feedback, RLHF））提供监督基线。**5. 高级微调、对齐与参数高效适应**：5.1节介绍新兴方法如FLAME（减少幻觉）、反思微调（Reflection-Tuning）和AGRO（结合强化学习与搜索）。RLHF通过奖励模型和近端策略优化（Proximal Policy Optimization, PPO）或直接偏好优化（Direct Preference Optimization, DPO）对齐人类偏好，提升安全性和事实性。5.3节强调事实感知对齐和推理中心方法。5.4节列出参数高效微调（PEFT）方法，如低秩适应（Low-Rank Adaptation, LoRA）和量化低秩适应（Quantized Low-Rank Adaptation, QLoRA），可更新不到0.1%参数，实现类似全微调的性能，且VRAM需求大幅降低。**6. 从多模态和检索增强模型到推理中心训练：稀疏MoE案例研究（如DeepSeek）**：多模态LLMs（如GPT-4）处理文本、图像等模态。检索增强生成（RAG）通过动态外部知识提升事实性。稀疏MoE架构（如DeepSeek）仅激活每token的专家子集，降低计算成本。定量比较显示，DeepSeek MoE模型总参数量大但激活参数与较小密集模型相当，在MMLU等基准上表现强劲。训练流水线包括大规模自监督预训练（CLM目标）和后训练混合对齐（SFT+强化学习），强调可验证奖励信号（如RLVR）驱动的推理中心对齐。稀疏和长上下文注意力机制用于处理长序列。**7. 大型语言模型的评估与近期进展**：标准基准包括GLUE、SuperGLUE、MMLU、BIG-bench和HumanEval。评估分为结果导向（最终任务正确性）和过程导向（中间推理步骤可靠性）。数据污染（基准泄露）是2025-2026年重点问题。SFT主要提升任务导向性能，而RLHF和DPO改善以人为中心的指标（有用性、安全性），但可能引入“对齐税”（alignment tax），即过度约束损害泛化能力。表7总结了预训练、SFT、指令微调、RLHF/DPO对齐和PEFT的比较。**8. 分析分类法：训练效率与对齐和推理质量**：提出统一分类法，以训练效率（计算/参数成本）和对齐与推理质量为两轴。密集缩放（如GPT、LLaMA）通过参数缩放推进能力，而稀疏MoE（如DeepSeek）通过稀疏激活提高效率。对齐优化如RLHF可导致对齐税，源于偏好优化与客观正确性的不匹配。可验证奖励方法（RLVR）尝试缓解。表8将主要训练范式映射到该分类法。**9. 讨论**：LLMs面临计算资源限制、幻觉、偏差和可解释性问题。PEFT和稀疏架构提供效率路径，但稀疏专家激活增加可解释性难度。需要训练感知的评估框架（如LLM2Vec嵌入分析）来揭示内部表示差异。**10. 未来方向**：未来将迭代集成预训练、指令微调和对齐。提高模型可解释性和统一评估框架（融入人类价值观对齐、偏差缓解和鲁棒性）至关重要。**11. 局限性**：领域快速演进（2017-2025年快照），搜索可能遗漏区域会议和技术报告，前沿工作多为预印本。**12. 结论**：现代LLM开发是多阶段过程，训练策略和评估实践需耦合。对齐税是核心权衡，而效率驱动和推理中心范式（如PEFT、MoE、RLVR）代表新方向。未来需解决统一评估标准、透明度、计算壁垒和泛化推理验证等挑战。