VietLegalLM：通过与合成理解和强化学习相结合的方式，逐步提升法律专业水平

《ACM Transactions on Asian and Low-Resource Language Information Processing》：VietLegalLM: Progressive Legal Expertise Through Synthetic Comprehension and Reinforcement Learning

　　**AI摘要**
要查看此由AI生成的摘要，您必须具有高级访问权限。了解更多信息请登录。

**摘要**
法律AI系统需要准确性和可验证的推理能力，然而资源匮乏的语言缺乏满足这些标准所需的专用模型。这一挑战在以成文法为基础的民事法律体系中尤为突出，例如越南的法律体系，其中的核心任务是解释和适用成文法规，而不是匹配法律先例。我们通过引入一个全面的框架来解决这一资源限制下的法律AI开发问题。首先，我们提出了vilaw-bench，这是一个为越南基于成文法的法律推理量身定制的评估基准，它可以评估从基本知识检索到复杂法律解释的各种认知能力。其次，我们提出了一个多阶段训练框架，该框架通过四个阶段逐步建立法律专业知识：针对核心法律文本的专注基础学习、使用大规模合成问答数据进行强化理解练习、通过监督微调进行针对性技能 acquisition，以及使用群体相对策略优化（GRPO）来提升响应质量。我们利用这个框架开发了VietLegalLM，并在Qwen3-1.7B-Base和Qwen3-4B-Base模型上进行训练。我们的系统评估表明，合成理解练习在单一阶段内对法律推理能力的提升最为显著，而GRPO则能够在最少的训练步骤下有效优化推理结构。与基准模型相比，这种完整的顺序训练方法在vilaw-bench上取得了显著的性能提升。我们的消融研究表明，从业者可以在全面训练和计算效率之间做出明智的权衡：在资源有限的情况下，直接在预训练后应用GRPO是一个可行的替代方案。我们将vilaw-bench、VietLegalLM以及我们的训练框架作为开源资源发布，为其他资源匮乏的基于成文法的法律体系开发法律AI提供了可复制的路线图。

**AI生成的摘要（实验性）**
此摘要是使用自动化工具生成的，并非由文章作者撰写或审核。它旨在帮助发现、评估相关性，并协助相关研究领域的读者理解工作内容。它旨在补充作者提供的摘要，后者仍是论文的官方摘要。完整文章仍为权威版本。点击此处了解更多信息。点击此处评论此摘要的准确性、清晰度和实用性。您的反馈将有助于改进未来的版本。要查看此由AI生成的通俗语言摘要，您必须具有高级访问权限。

**1 引言**
大型语言模型（LLMs）为自然语言处理带来了一个新的时代[17]。尽管增加模型规模和训练数据通常能提高性能[12]，但最近的小型语言模型（SLMs），如Phi系列[26]，展示了另一种重要的方法：精心策划的领域特定数据可以利用较少的计算资源达到专家级别的结果。这种方法——优先考虑针对性专业知识而非通用规模——在医学[14]和法律等专业领域尤其有价值。

法律AI面临三个相互关联的挑战。首先，法律应用需要准确性和可验证的推理机制。像CitaLaw[31]这样的基准测试表明，可靠的引用生成是必不可少的，而不是可选的。其次，资源匮乏的语言缺乏满足这些标准所需的开源模型。第三，法律体系在结构上存在根本差异。例如，越南的基于成文法的民事法律体系与普通法传统有很大不同，其机制不是匹配法律先例，而是精确解释和应用成文法规。这些语言和结构上的障碍共同造成了一个重大缺口：目前尚不存在适用于越南法律实践的可靠AI。

另一个挑战是评估。构建稳健模型需要可靠的基准测试，但现有资源往往与基于成文法的法律推理的具体认知任务不匹配。没有定制的评估方法，就无法衡量甚至缓解诸如幻觉或错误推理等关键问题。为了解决这些相互关联的挑战，本研究提出了一种在资源受限条件下开发可靠法律AI的全面方法。我们首先介绍了vilaw-bench（见图1），这是一个从vilawqa[19]衍生出的新评估基准，用于评估更广泛的认知法律任务。然后，我们提出了一种多阶段训练框架，并介绍了使用该框架开发的开源模型VietLegalLM。

**图1. VietLegalLM的关键研究贡献**

我们提出的训练框架是一个四阶段过程，旨在逐步在SLM中建立法律专业知识。它从针对核心法律文本的专注基础学习开始，接着是使用大规模合成问答数据进行强化理解练习。这个预训练的基础随后通过针对特定法律任务的针对性技能获取（SFT）进行细化，最后通过群体相对策略优化（GRPO）[21]进行响应质量提升。这个基于强化学习的最后阶段特别旨在改进法律推理、增强事实基础并减少错误。

本文对该框架进行了严格的实证分析。据我们所知，这是首次系统地将大规模合成数据和GRPO应用于越南法律领域的研究。其新颖之处在于在资源匮乏的基于成文法的语言环境中，有意地对这些已建立的组件进行了排序和实证隔离。我们进行了关键的消融研究，以确定GRPO的最佳应用方式，比较了SFT-then-GRPO方法和仅使用GRPO的方法，从而清晰地了解了每个阶段的效果。

**我们的贡献如下：**
- 我们引入并发布了vilaw-bench，这是一个为越南基于成文法的法律体系量身定制的全面评估基准，用于评估从基本知识检索到复杂推理的各种认知能力。
- 我们引入并发布了VietLegalLM，这是一个开源且高效的SLM，在我们的新基准测试中表现出色。
- 我们提出了一种多阶段训练框架，用于构建VietLegalLM，该框架结合了领域特定的预训练、大规模合成理解数据和群体相对策略优化（GRPO），从而创建了一个可靠且领域的专家级SLM。
- 我们提供了关于每个训练阶段影响的详细实证分析和消融研究，为其他资源匮乏的基于成文法的法律体系开发法律AI提供了可复制的路线图。

**2 相关工作**
将LLMs应用于法律任务的过程发展迅速。早期的方法利用了少样本学习能力[1]，而诸如思维链（CoT）[24]这样的提示技术则提高了推理能力。以法律为中心的提示技术，如IRAC[30]和法律三段论（LoT）[10]，旨在使模型输出与既定的法律论证结构保持一致，这对于像越南这样的基于成文法的系统尤为重要。进一步增强特定任务的方法，如少样本CoT与检索增强生成（RAG）的结合，在法律文本蕴含等领域的性能提升方面显示出潜力[20]。

除了直接执行任务外，LLMs还被探索作为辅助工具。检索增强与强大的模型结合使用，帮助专业人士在复杂领域（如税法[16]）中导航。改进交互本身也是一个重点；例如，D3LM使用诊断问题和强化学习来更好地协助用户，特别是非专家，制定法律查询并收集必要的案例细节[25]。确保LLM输出的可靠性和事实依据至关重要，这导致了像CitaLaw这样的基准测试的发展，该测试专门评估模型提供带有适当法律引用的准确响应的能力[31]。我们的工作与此可靠性目标保持一致，尽管我们通过直接训练和偏好优化来实现这一目标，而不是在推理过程中使用显式的引用机制。

最近的调查总结了LLMs的法律知识融合策略，并突出了该领域的广泛方法[15]。像LawBench[8]这样的基准测试努力和CLEAR[27]这样的评估框架进一步说明了测试法律理解和消除法律段落混淆的重要性。对于下游的法律生成，法律概念引导的法院视图生成[28]展示了如何通过明确的法律概念来指导结构化输出。我们的工作通过关注越南基于成文法的推理，并采用全面的训练流程和特定领域的评估来补充这些方向。

**领域特定适应是一个核心主题。**相关的努力包括在特定语料库（如Chinese marital law的Lawyer LLaMA[9]）上继续进行预训练，以及构建集成多个专用模型的复杂系统（如ChatLaw[5]）。扩大领域适应范围产生了像SaulLM-7B[4]和更大的SaulLM-54B/141B[3]这样的大型模型，这些模型利用了大规模的法律语料库、专门的指令调整和对齐技术，通常还包括合成数据——我们的工作也在较小规模上采用了这种策略。其他适应性框架旨在利用不同模型的优势。Adapt-Retrieve-Revise方法通过调整较小的模型来提高效率，使用它来检索证据，然后使用GPT-4等强大模型来修改输出，特别针对减少中国法律等领域的幻觉问题[23]。这与我们的端到端训练方法形成对比，但共同的目标是减少事实错误。

现代训练范式影响了模型适应策略。在初始训练阶段加入问题-答案对的指令预训练已经显示出在知识获取方面的改进[2, 11]，为我们的扩展第二阶段方法提供了实证支持。已经开发了几种训练后方法来进一步提高模型性能。例如，直接偏好优化（DPO）[18]提供了一个稳定且高效的框架，用于将模型与人类偏好对齐，这超越了简单的准确性指标，纳入了适当的推理模式和避免已知失败模式等定性属性。最近，群体相对策略优化（GRPO）[21]在数学等专业领域的小型语言模型中显示出显著的效果[6]。该算法通过强调在生成最终答案之前的推理过程来增强模型的能力，从而提高了准确性并减少了幻觉现象[7]——这对于法律AI系统中的事实精确性至关重要。

最后，稳健和特定领域的评估的重要性不容忽视。通用基准测试可能无法充分捕捉专业领域的性能细微差别。例如，使用以领域多样性为重点的LLM-as-a-judge框架构建定制评估集的工作[19]，突显了像我们的vilaw-bench套件这样的基准测试在评估越南法律等领域进展方面的必要性。我们的研究通过提供改进的模型和对越南法律领域特定培训方法的详细见解，为这一领域做出了贡献。

**3 方法论**
我们的方法论包括一个精心设计的四阶段训练流程，旨在逐步灌输法律知识、提高理解能力、发展特定任务的技能，并优化越南法律领域的输出质量（见图2）。

**图2. VietLegalLM的训练阶段**

**3.1 第一步：奠定基础（预训练阶段1）**
这一初始阶段的主要目标是使基础模型适应越南法律语言，包括其特定的词汇、语法和风格惯例，从而建立扎实的领域特定基础。我们从超过330,000份越南法律文件的大型语料库开始。然而，我们认识到并非所有文件对常见法律任务都同等重要。我们假设专注于核心法律文件将产生更好的领域聚焦效果。因此，我们应用了一个过滤过程，仅保留来自关键类别的文件：法律、协议、计划、通告、法规、法令、决议、宪法、命令、指令、联合通告和条例。这一筛选过程将语料库削减至大约96,000份高重要性文件。我们预计这组文件将为核心法律概念和语言模式提供更强的信号。过滤还作为一种潜在策略，用于减轻我们在多语言模型中后来观察到的语言干扰问题。

为了防止模型失去其通用语言理解能力，并可能从跨语言迁移中受益，我们加入了大约150,000篇来自Cosmopedia数据集的英文wikiHow文章。我们保持了大约2:1的越南法律内容与通用英文内容的比例，以优先考虑领域适应同时保留更广泛的语言能力。然后对合并的数据集进行了几步处理：文件被随机排列以确保训练过程中的多样化接触，根据模型的词汇进行分词，加上序列结束的分隔符，并分割成与模型4096个令牌的上下文窗口相匹配的块，以实现高效处理。

这一阶段的预期结果是一个熟悉法律术语和文件结构的模型，为后续更高级的理解训练做好准备。

**3.2 通过阅读理解深化理解（预训练阶段2）**
这一阶段的目标是使模型从表面级别的模式识别过渡到对法律条文的深入理解。我们的假设是，积极参与问答格式将比被动处理原始文本带来更好的理解和记忆效果。我们设计这一阶段是为了模拟一个主动学习过程，其中模型必须对法律段落进行推理并提取意义。为此阶段，我们生成了大量的合成阅读理解示例，总数超过205,000条。这一过程如图3所示。生成过程首先将常见越南法律代码的文章分割成更小、更易于管理的单元。对于每个单元，我们使用了 Gemini-2.5-flash2 和各种提示来生成不同类型的问题，每个问题都旨在探究理解力的不同方面。我们包括了总结性问题来测试对主要内容的理解，自然语言推理任务来评估模型判断陈述之间相关性和蕴含关系的能力，以及三段论推理问题来引入基本逻辑结构的应用。我们还加入了常识推理问题来验证实际理解能力，并针对特定格式设计了专门的问题，如是非问题、列举、地点、程序和定义查询。这些专门的问题旨在考察对法律条文的具体事实回忆和详细理解。

图3. 第二阶段预训练的合成数据生成过程。每个法律文本段都与生成的问题和答案配对，形成一个自包含的理解练习。这种结构迫使模型将问题直接与提供的文本联系起来，要求它定位相关信息、理解上下文并形成适当的回答。这种格式反映了法律专业人士在实践中处理法律文本的方式，他们必须通过仔细阅读和解释条文来回答具体问题。我们组织了训练数据，使模型不仅能够解析法律语言的表面模式，还能够理解其实际含义和含义。

这种密集问答方法背后的理由有两个方面。首先，我们希望通过针对具体内容的专门问题来帮助模型区分看起来相似的法律文章。法律文件通常包含重复的结构和类似的措辞，这使得模型难以区分仅在细微但重要的细节上有所不同的条文。通过迫使模型回答关于具体内容的问题，我们期望它能学会在相似段落之间做出更细致的区分。其次，我们希望直接提高理解能力和知识吸收能力，这是单靠阅读原始文本可能无法实现的。回答问题需要模型积极处理和理解文本，而不仅仅是基于统计模式预测下一个标记。

这一阶段的预期成果是一个模型，其理解法律文本段落的意义和含义的能力显著提高，能够根据特定查询提取相关信息，并展示出真正的理解力，而不仅仅是简单的模式匹配。

示例1：第二阶段预训练的合成数据文档

3.3 第三步：磨练实际法律技能（SFT）
监督微调的目标是使模型的能力与特定的实际法律任务相匹配，并提高其遵循指令和生成适当回答的能力。虽然之前的阶段为理解法律语言奠定了基础，但这一阶段侧重于教授模型执行反映现实世界应用的具体法律任务。我们设计这个阶段是为了在通用语言能力和专业法律能力之间架起桥梁。

监督微调数据集包含了大约93,000个针对特定技能的法律问答示例，以及大约90,000个来自越南语翻译的UltraChat的一般指令样本，如图4所示。我们保持了法律数据和一般指令数据之间接近1:1的比例。这个比例是经过精心选择的，以便在不牺牲通用语言流畅性和遵循指令能力的情况下建立领域专长。我们希望模型在处理法律任务时表现出色，同时保持处理多样化对话情境和指令的能力，这对于用户可能以不同方式与模型交互的实际部署场景非常重要。

图4. SFT数据组合和任务设计。
数据集的法律部分涵盖了四个关键领域，每个领域都旨在解决法律实践中的核心能力。首先，我们包含了自我检索任务，要求模型从相关和不相关的文本混合中识别并提取精确的法律条文或条文来回答查询。这项任务教会了模型如何高效地浏览法律文件并定位相关信息，就像法律专业人士在研究适用法律时会做的那样。其次，我们加入了自然语言推理任务，明确训练模型判断给定法律条文与特定问题的相关性。这是法律推理中的一个关键子技能，因为从业者必须不断评估特定的法律规则是否适用于他们遇到的情况。第三，我们设计了忽略过时文件的任务，以处理法律的时间性问题。以当前日期为背景，模型必须仅使用当前有效的法律条文来回答查询，同时忽略任何过时的文件。这强化了对法律适用性的意识，因为法律经常被修改、取代或废除。法律专业人士必须始终使用最新版本的法律，我们希望模型能够内化这一原则。第四，我们包含了三段论问答任务，直接教授结构化的法律推理。在这些任务中，模型学习以三段论格式输出回答，包括陈述适用规则的主要前提、提出问题或事实的次要前提，以及提供答案的结论。这种格式在基于法规的法律体系中对于清晰的法律论证至关重要，因为推理通常是从一般法律原则出发到具体事实情况的。

我们只进行了一个时代的监督微调。这一决定旨在实现高效适应，快速使模型与任务格式和期望的输出结构对齐，同时将模型过度拟合到监督微调数据的风险降到最低。鉴于后续的直接偏好优化细化阶段，我们特别担心过度拟合问题，在那里将进一步细化模型的输出。一个时代允许模型学习每种任务类型的基本模式和要求，而不会变得过于依赖训练集中的具体示例，从而保持进一步细化的灵活性。

这一阶段的预期成果是一个模型，其理解法律文本段落的意义和含义的能力显著提高，能够根据特定查询提取相关信息，并展示出真正的理解力，而不仅仅是模式匹配。

示例2：三段论问答数据的示例

3.4 第四步：通过GRPO加强逻辑严谨性
这一阶段的目标是从标准的监督微调过渡到一种强化学习范式，该范式明确强化了法律推理中的逻辑严谨性和结构遵循性（图5）。我们使用了群体相对策略优化（Group Relative Policy Optimization，简称GRPO）来激励模型生成遵循严格法律三段论格式的回答，同时保持事实准确性。这一阶段代表了从教授模型正确的法律推理应该是什么样子，到积极奖励其持续产生此类推理的转变。

图5. 我们的GRPO训练流程。
我们构建了一个专门的数据集，源自法律问答博客，以确保实际相关性。创建流程包括三个不同的步骤。首先，在提取和问题生成阶段，我们从法律博客中提取内容，并使用大型语言模型基于这些内容生成不同复杂度的问题。使用博客内容是有意为之，因为这些来源通常反映了非专家对法律事务提问的类型，使它们代表现实世界的用例。其次，在三段论答案合成阶段，我们使用大型语言模型为这些问题生成答案，这些答案严格遵循三段论格式，明确区分法律依据、事实分析和结论。这确保了所有训练示例都展示了目标推理结构。第三，在过滤和分割阶段，我们对生成的样本进行了质量过滤，移除了低质量的样本，然后根据难度将它们分为两个不同的子集：normal_level_qa用于简单的法律问题，hard_level_qa用于需要更深层次推理链的复杂场景。

与直接偏好优化不同，后者需要显示偏好和不喜欢响应的配对数据，群体相对策略优化通过抽样一组输出并计算每个输出相对于组平均值的优势来优化策略。GRPO损失函数可以正式表示为 JGRPO(θ)=E[q～P(Q),o～πθold(O|q)][1|o|∑t=1|o|min[πθ(ot|q,o< />< />< /> 标签内——导致内存溢出和训练不稳定。我们使用模型的分词器计算实际标记数量，并实施了激进的惩罚结构：Plength={0 if n≤nmax?α?(n?nmax)2 if n>nmax (4)，其中 n 表示生成的标记数量，nmax 表示允许的最大标记数量，α 控制惩罚的严重程度。这种二次惩罚对于保持稳定的训练动态和防止策略优化过程中的内存错误至关重要。

训练是在一个分为两阶段的课程中进行的，旨在确保稳定性和渐进式技能发展。在第一阶段，我们称之为基础阶段，我们使用基础的 Group Relative Policy Optimization 教练在 normal_level_qa 数据集上进行了训练。这一阶段侧重于灌输正确的输出格式和基本的推理模式，使模型掌握了结构要求和对简单案例的三段论法律推理的基本逻辑。一旦模型在这些简单案例上展示了稳定的性能，我们就进入了第二阶段，即改进阶段。在这一阶段，我们使用针对更具挑战性示例配置的训练器，在hard_level_qa数据集上对模型进行训练。这一阶段提升了模型处理涉及多项法规、模糊事实或需要从各种来源合成信息的复杂法律场景的能力。这一阶段的预期成果是一个不仅法律上准确，而且在结构上也透明的思维链推理模型。通过强制使用三段论格式并奖励逻辑一致性，我们旨在创建一个允许用户验证每个法律结论背后逻辑的系统。这种透明度在法律应用中至关重要，因为用户必须能够理解和评估推理过程，而不仅仅是盲目接受输出。强化学习与精心设计的奖励的结合代表了我们从模式匹配向真正法律推理能力迈进的途径。

3.5 在不同认知层面评估性能
我们设计了一个全面的评估框架，该框架系统地与布鲁姆的认知领域分类法对齐，以严格评估法律能力的多个维度（图6）。这种基于分类法的方法使我们能够衡量不仅仅是表面层的知识保留，还有更深层次的认知能力，如理解、应用和推理——这些都是实际法律专业知识所必需的能力。
图6. 评估框架与布鲁姆分类法的对应关系。
我们的评估套件包括四个不同的基准数据集，每个数据集针对一个特定的认知层面：
- vilawqa-defi（记忆）：这个数据集包含3000个选择题，用于评估回忆法律定义、术语和基本法规条文的基础能力。这些问题测试模型在训练过程中是否成功编码了核心法律知识，这是法律理解的最基本认知要求。
- vilawqa-nli（理解）：包含1500个选择题，这个基准通过自然语言推理任务来评估理解层面的认知。具体来说，这些问题测试模型是否能够判断某个特定的法律条文是否适用于给定的情景，这不仅需要回忆，还需要对法律规则与事实背景之间的关系有真正的理解。
- vilawqa-syllo（应用-结构化）：这个数据集提供了1000个开放式问题，要求使用三段论进行推理——通过正式的逻辑结构系统地应用法律规则。与选择题格式不同，这些问题要求模型构建完整的推理链，将一般法律原则应用于具体案例。回答将基于逻辑一致性和法律准确性进行评估，从而洞察模型的结构化法律论证能力。
- vilawqa（应用-通用）：这个基准包含1000个一般的法律选择题，测试跨不同法律场景的综合知识和推理能力。问题要求从多个法律来源综合信息，灵活应用原则，并展示实际判断能力——这些能力更贴近现实世界的法律问题解决。
至关重要的是，vilaw-bench中的所有真实数据都来自成熟的法律问答平台。这些原始来源包含了由法律专业人士回答的真实问题，并附带了相应的法规引用。为了确保公平评估并防止潜在的数据污染（因为其他研究模型可能会使用这些公共平台的数据进行训练），我们使用LLMs系统地转换了这些数据对。这一转换过程保留了原始交流的严谨法律逻辑、事实依据和现实世界的复杂性，同时创建了一个新颖的、未受污染的评估集。因此，vilaw-bench有效地作为一个真实世界的黄金标准，衡量的是在真实法律场景下的性能，而不仅仅是纯粹的合成构建。
我们的评估设计反映了越南实际法律AI系统的双重性质。虽然我们主要评估模型的内在法律知识和推理能力——测试模型真正学到了什么，而不仅仅是它能够检索什么——NLI基准还起到了另一个作用。它评估了模型在标准问答架构中的有效表现，例如在实际应用中常见的检索增强生成系统。这种双重关注确保了我们的基准既衡量了模型的内部法律理解，也衡量了其在生产环境中的实际效用，其中外部知识检索补充了学到的知识。
这种多层次的评估策略有两个关键目的。首先，它通过检查跨认知谱系的性能来提供对模型能力的全面评估，而不是依赖于单一的综合指标。其次，通过使用基于既定教学框架的领域特定基准，我们的方法满足了在专业领域中广泛认可的需要，即有针对性的评估方法[19]，因为通用基准往往无法捕捉到领域特定的能力。这四个数据集使我们能够系统地追踪通过我们的训练流程获得的法律推理能力的发展轨迹，从基本知识保留到复杂的应用和推理。

4 实验：详细设置、结果和详细分析
4.1 实验配置
我们的实验使用了Huggingface4和TRL5库进行全参数训练过程。我们从Qwen3系列模型中选择了两个基础模型[29]，其大小分别为Qwen/Qwen3-1.7B-Base6和Qwen/Qwen3-4B-Base7。选择这两个模型的原因有两个。首先，这两个模型都展现了强大的多语言能力，消除了进行广泛的越南语对齐预处理的需求。其次，通过测试两种不同大小的模型，我们可以评估框架的可扩展性，同时保持对计算效率高的小型语言模型的关注。
表1总结了每个训练阶段使用的核心超参数。所有阶段都采用了全参数微调，最大序列长度为4096。我们报告了全局批量大小和训练长度以支持可重现性；SFT运行了一个周期，GRPO在正常级别集上使用了1000步，在高级别集上使用了1500步，如下所述。
表1. 每个阶段的优化器、调度器和超参数

为了便于重现和公平比较，我们在表2中报告了每个阶段的硬件配置和 wall-clock 时间。我们测量从训练开始到最终检查点结束的时间，不包括评估时间。

4.2 评估GRPO阶段对法律领域改进的贡献
为了评估GRPO阶段对法律领域改进的贡献，我们实施了两种训练配置。第一种遵循了我们完整的四步训练过程，而第二种则排除了SFT阶段，以隔离GRPO训练的效果。对于GRPO训练，我们故意使用了有限的训练步骤：标准问答任务1000步，复杂问答任务1500步。选择这些保守的训练时长是为了测试即使投入最少的计算资源，GRPO是否也能提供实质性的改进。
我们采用了两种针对任务特点的评估方法。对于多项选择题（MCQ）评估集，我们使用了标准化准确性（acc_norm）这一指标。该指标通过考虑随机猜测的概率来调整标准准确性，提供了更可靠的模型理解度量。具体来说，acc_norm量化了模型相对于完美表现的性能提升，从而更清晰地揭示了模型在基于选择的评估中的真实能力。
对于vilawqa-syllo任务，由于需要生成性和细致的输出，我们实施了一个多评审员LLM评估系统。我们的评估系统根据四个二元标准评估每个响应：
- is_relevant（相关性）
- legal_citation_accuracy（法律引用准确性）
- legal_reasoning_accuracy（法律推理准确性）
- legal_conclusion_accuracy（法律结论准确性）
使用这些标准，我们计算两个关键指标来评估模型性能：
(1) 正确性：定义为所有评估者对legal_conclusion_accuracy标志的多数投票结果。我们主要使用这个指标进行稳健性检查。
(2) 平均二元得分（acc）：一个范围在[0,1]内的分级得分，反映了相关性和法律准确性。对于每个评估者j，我们计算一个单独的得分sj：sj=0.25×(Irel+Icit+Ireason+Iconcl)。然后通过平均所有评估者的sj来计算最终的平均二元得分。除非另有说明，否则这就是表4中报告的主要指标acc。
这种多评审员方法减轻了对任何单一模型评分倾向的潜在偏见，同时利用了互补的评估者视角。评估遵循了带有明确评分标准的标准化提示结构（提示框4.1）。
系统提示：法律专家评估者
您是一位法律专家评估者。请通过将模型的响应与真实答案进行比较来确定模型是否正确回答了法律问题。
问题：{question}
真实答案：{ground_truth}
模型响应：{model_response}
评估任务：将模型响应与真实答案进行比较，确定模型是否正确回答了问题。
关注点：
1. 模型是否识别了正确的法律条文？
2. 模型是否正确地将法律应用于事实？
3. 模型是否得出了相同或等效的结论？
4. 整体的法律推理是否合理且准确？
忽略以下方面的微小差异：
- 用词或表述风格
- 语言质量问题
- 微小的格式差异
- 不改变核心答案的额外解释

评分：
- is_relevant：true/false - 回答是否与问题相关
- legal_citation_accuracy：true/false - 回答是否包含准确的法律引用
- legal_reasoning_accuracy：true/false - 回答是否包含准确的法律推理
- legal_conclusion_accuracy：true/false - 回答是否包含准确的法律结论
- brief_explanation：简短的解释（1-2句话），说明为什么正确或错误
严格但公平 - 回答应展示对法律问题的正确理解并得出正确的结论。

这种多方面的评估策略允许我们全面了解模型性能，既捕捉了受限场景（MCQ）中的客观正确性，也捕捉了vilawqa-syllo任务中更复杂的生成输出的定性属性。

4.1.1 人机作为评审员的验证
为了验证我们的人机作为评审员AI评估系统的可靠性，我们进行了盲人人类评审。从AI（来自我们的VietLegalLM-4B-sft-grpo-phase-2模型）评估的样本中，根据AI分数进行了分层抽样，选择了100个模型生成的响应作为代表性子集。人类法律专家独立地根据四个二元标准评估了这些响应，而没有查看AI分数。这项实验衡量了AI评估者和人类专家之间的共识程度，量化了AI作为代理指标的适用性。
这项人类验证实验的结果显示，AI评估者的整体一致性率为86.5%（400个标准级别判断中有346个正确）。这一高水平的一致性与文献中的发现一致；值得注意的是，关于LLM作为评审者的基础研究表明，模型评估者可以与人类专家达到80%以上的一致性，这一比率与人类评估者之间的一致性相当[32]。
表3. 评估标准及一致性百分比（%）和Cohen’s κ解释
相关性 99.00 0.00*
法律引用准确性 81.00 0.36
合理法律推理准确性 81.00 0.60
法律结论准确性 85.00 0.70

人类专家和AI评估者对100个样本的一致性很高*
两位评估者都将99/100的样本评为正确，几乎没有随机误差的余地。

然而，最近的评估强调，仅凭原始一致性百分比不足以验证LLM评审者的能力；需要校正随机误差的指标，如Cohen’s Kappa（κ），才能确保真正的对齐[22]。我们的框架通过在复杂认知任务上的高度一致性来证明这一点，特别是在法律推理准确性（κ=0.60）和法律结论准确性（κ=0.70）方面。根据Landis和Koch[13]建立的基础统计基准，0.61到0.80之间的值表示“高度一致”，明确证明了我们的AI评估者识别的是真实的推理模式，而不仅仅是偶然达成的一致性。
引用准确性显示出公平的一致性（κ=0.36），代表了系统的主要局限性：AI评估者对不正确的法律引用较为宽容（15个不一致中的15个）。相反，在评估结论准确性时，AI比人类专家更为严格（15个不一致中的12个）。总体而言，这些严格的、经过随机误差校正的发现证实，AI评估者在定义的行为前提下提供了稳健、可扩展的模型性能信号。

4.2 结果概述
4.2.1 模型命名 convention
我们采用了一种系统的命名惯例，以清楚地标识每个模型完成的训练阶段。命名方案如下：
- pretrain：通过第一阶段（基础学习）使用越南法律文本和英语通用文本训练的模型。
- pretrain-synthetic：通过第一阶段和第二阶段（理解练习）训练的模型，其中第二阶段引入了合成法律问答文档。
- grpo：在完成第一阶段和第二阶段预训练后进行GRPO（组相对策略优化）训练的模型。
- sft：使用法律任务和通用指令进行监督微调（SFT）训练的模型，在第一阶段和第二阶段预训练之后应用。
- sft-grpo：在完成第一阶段预训练、第二阶段预训练和SFT（第三阶段）之后接受GRPO训练的模型。
对于名称中包含grpo和phase-2的模型，这表明模型经历了两个连续的GRPO训练阶段。

4.2.2 基线模型和外部比较
我们报告了基础Qwen3模型的结果，作为可比较大小的外部多语言基准，以便控制比较，从而隔离每个训练阶段的影响。我们优先考虑家族内的基线，以减少来自架构和分词器差异的混淆因素。据我们所知，目前没有其他工作采用我们针对越南法律领域的具体方向，也没有专门的越南语预训练法律基础模型。因此，我们无法有意义地将我们的模型与其他法律框架进行比较。我们主要通过与基准进行比较来展示我们方法论所提供的改进。4.2.3 性能分析。表4展示了我们训练流程中的评估结果。 результаты показывают явные улучшения по мере прогресса моделей через наш четырехэтапный подход к обучению. Начиная с базовых моделей (Qwen3-1.7B-Base и Qwen3-4B-Base), мы наблюдаем стабильный рост производительности на каждом этапе обучения.

表4. Modelvilawqa-defivilawqavilawqa-nlivilawqa-syllo0 shot5 shot0 shot5 shot0 shot5 shot0 shot acc_normacc_normacc_normacc_normacc_normacc_normacc Qwen3-1.7B-Base 0.6292 0.5214 0.750.8083 0.5983 0.7167 0.1183 VietLegalLM-1.7B-pretrain 0.6443 0.5448 0.7267 0.8067 0.5817 0.7517 0.055 VietLegalLM-1.7B-pretrain-synthetic 0.6508 0.5389 0.780.820.6767 0.7517 0.2092 VietLegalLM-1.7B-grpo 0.6511 0.5492 0.7717 0.8233 0.6233 0.7083 0.2058 VietLegalLM-1.7B-grpo-phase-2 0.6532 0.5561 0.770.8250.5067 0.6983 0.2133 VietLegalLM-1.7B-sft 0.6676 0.5695 0.740.7917 0.5867 0.8750.2383 VietLegalLM-1.7B-sft-grpo 0.6696 0.5750.7650.8017 0.5817 0.8333 0.2717 VietLegalLM-1.7B-sft-grpo-phase-2 0.6755 0.5846 0.7633 0.8050.5817 0.8150.2933 Qwen3-4B-Base 0.6607 0.5691 0.8233 0.8483 0.6617 0.9817 0.3975 VietLegalLM-4B-pretrain 0.6714 0.5897 0.8133 0.8683 0.5817 0.9733 0.4842 VietLegalLM-4B-pretrain-synthetic 0.6758 0.5983 0.8267 0.8767 0.7283 0.9850.4483 VietLegalLM-4B-grpo 0.6755 0.5969 0.840.870.7683 0.9850.4892 VietLegalLM-4B-grpo-phase-2 0.6816 0.6051 0.840.8750.770.9850.5742 VietLegalLM-4B-sft 0.7077 0.6401 0.8167 0.8633 0.8217 0.980.4675 VietLegalLM-4B-sft-grpo 0.7087 0.6456 0.810.8683 0.7633 0.980.4758 VietLegalLM-4B-sft-grpo-phase-2 0.7149 0.6467 0.810.8683 0.730.9850.5275

这些结果证实了我们训练流程的每个阶段都对越南法律任务的性能提升做出了贡献。从基线到预训练、合成数据增强、SFT（Supervised Fine-Tuning）和GRPO（Group Relative Policy Optimization）的逐步改进，证明了我们多阶段方法在开发专门的法律语言模型方面的有效性。

5 训练阶段效果与发现的详细分析
我们的实验设计系统地隔离了每个训练阶段的贡献，使我们能够衡量领域适应、理解练习、指令调整和强化学习如何影响模型的法律推理能力。通过检查不同训练阶段的模型，我们确定了哪些组件对性能至关重要，以及哪些组件带来了渐进式的提升。

5.1 基础学习阶段：建立领域熟练度
第一个预训练阶段通过让模型接触越南法律文本和通用英语文本，建立了特定领域的知识。将基础Qwen模型与我们预训练后的版本进行比较，发现这一阶段在大多数基准测试中都带来了适度但持续的改进，特别是在少样本学习场景中，领域特定的模式识别最为重要。模型学习了越南法律词汇和惯例，尽管与后续训练阶段相比，改进幅度相对较小。在演绎推理指标中出现了一个显著的模式：预训练模型最初得分低于基础模型。这一反直觉的结果反映了校准问题，而不是能力丧失。基础模型缺乏法律领域知识，常常生成表面符合预期格式的响应，但缺乏有意义的法律推理。预训练模型学习了实际的法律模式，产生了更实质上正确的响应，尽管结构的规范性较低，但在强调格式遵守而非内容准确性的指标上得分较低。

5.2 理解练习阶段：发展解释技能
第二个预训练阶段引入了旨在教授主动阅读理解而非被动模式匹配的合成法律问答文档。这一阶段在我们的评估套件中带来了最显著的改进。以理解为中心的训练显著提高了零样本性能，表明模型发展出了对法律概念的更强内在理解，而不仅仅是模仿模式。在最显著的进步出现在法律推理任务中，零样本准确率提高了近10个百分点。这表明理解练习特别增强了模型在不依赖上下文示例的情况下进行法律关系推理的能力。演绎推理得分也显著提高，表明问答格式有助于模型理解法律论证的结构要求。通过理解练习练习提取和解释法律含义，模型建立了更坚实的基础，以产生结构良好的法律推理。

5.3 监督微调阶段：与实际任务对齐
SFT阶段通过结合多样化的指令格式对法律任务进行训练，将模型从一般法律理解过渡到特定任务性能。这一阶段在泛化与专业化之间创造了有趣的权衡。某些基准测试的性能下降了，而其他测试的性能提高了，表明接触不同任务格式使模型更具适应性，但对任何单一评估格式的专业化程度降低了。在少样本学习中，指令调整显著提高了模型从示例中学习的能力。这种能力的提升以某些任务的零样本性能为代价，表明模型变得更加依赖上下文指导。然而，演绎推理得分继续提高，表明指令调整有助于将一般理解转化为格式正确的法律论证。SFT阶段成功教会了模型在不同的实际应用中应用其法律知识，同时遵循不同的指令格式。

为了解释SFT后偶尔出现的性能下降，我们将部分原因归因于数据的异质性。法律子集引用密集且格式严格，而通用指令子集更倾向于对话式且结构较松散。混合这些分布提高了模型的适应性，但可能会稀释严格的法律格式线索，这有助于解释为什么一些零样本法律基准测试的得分即使少样本适应能力提高也会下降。这表明在专业化和遵循指令的广度之间存在权衡；未来的迭代可以通过过滤低精度的法律样本和根据引用准确性及推理结构重新加权任务来缓解这一问题。

5.4 GRPO精炼阶段：强化逻辑结构
最后阶段应用了带有验证奖励信号的Group Relative Policy Optimization（GRPO），以明确强化逻辑严谨性和结构遵守。我们测试了两种配置：在完整训练流程之后添加GRPO，以及在完全绕过SFT的情况下直接在预训练之后应用GRPO。在SFT之后添加GRPO在大多数基准测试中带来了持续但适度的改进。最显著的进步出现在演绎推理方面。这一改进证实了强化学习成功增强了法律推理所需的结构性推理模式和逻辑严谨性。这些改进是以最小的计算成本实现的——总共只有2,500个训练步骤——使得GRPO在提升特定能力方面非常高效。直接应用GRPO的方法，完全绕过SFT，取得了出人意料的竞争结果。在问答任务（vilawqa）上，直接GRPO的表现在实际上超过了完整流程，表明集中的强化学习比多样化的指令调整更好地保留了某些能力。然而，在推理任务上，直接GRPO的表现差距较大，表明这些任务从SFT提供的更广泛的指令调整中受益匪浅。对于演绎推理，仅2,500步的直接GRPO的表现优于预训练基线，并接近但未达到完整流程的表现。

5.5 关键发现与启示
我们的系统评估揭示了关于训练阶段贡献的几个关键见解。理解练习推动了基本能力的开发。合成问答预训练阶段在零样本设置中带来了最大的单阶段改进。这表明主动理解练习从根本上增强了法律推理能力，而不仅仅是教授表面模式。训练方法应优先考虑与法律文本的深入互动，而不是被动接触，以最大化学习效率。指令调整旨在平衡通用性和专业化。SFT提高了模型处理不同任务格式和学习来自示例的能力，但在特定基准测试中造成了专业性能的权衡。这表明指令调整使模型更适合现实世界的部署，即使它在标准化评估中的峰值性能降低了。强化学习有效地精炼了推理结构。GRPO以最小的训练步骤实现了推理质量的显著改进，表明明确的强化逻辑结构是提高能力的有效途径。GRPO的针对性使其特别适用于改进模型的特定方面，而无需进行广泛的重新训练。训练流程可以根据资源限制进行优化。直接GRPO的有效性表明，实践者可以在全面训练和计算效率之间做出明智的权衡。当资源有限时，预训练后的集中强化学习提供了一种可行的替代方案。顺序训练建立了互补的能力。每个阶段都带来了不同的增强，建立在之前的阶段之上。领域适应建立了基础知识，理解练习发展了解释技能，指令调整实现了任务灵活性，强化学习精炼了推理结构。完整的顺序方法产生了最强的整体结果，但了解每个组件的贡献使实践者能够根据具体的部署需求和资源限制设计高效的训练策略。

6 结论
这项研究表明，即使资源有限，系统化的多阶段训练也能显著提升法律语言模型的能力。我们的四阶段方法——基础预训练、理解练习、监督微调和GRPO精炼——在法律推理基准测试中取得了可测量的改进。我们在Qwen3-1.7B和Qwen3-4B模型上使用全参数微调验证了这种方法，确认了改进随模型规模的一致性。我们开发的训练流程填补了越南法律AI中的一个关键空白。VietLegalLM代表了开源工具在越南法律社区中的实质性进步，提供了此前在该语言和领域中不可用的功能[3, 31]。更重要的是，我们的系统评估揭示了哪些训练阶段对特定能力的贡献最大，从而实现了更高效的专业法律模型开发。我们的数据集在https://huggingface.co/collections/VietGPT-AI/vietlegallm-datasets上公开发布。

6.1 局限性与未来工作
除了我们的结果之外，仍有几个重要的问题需要未来的研究。优化理解训练。虽然我们的合成问答方法被证明是有效的，但我们尚未确定数据量、多样性和难度之间的最佳平衡。未来的工作应该探索生成更高质量理解练习的方法，可能包括人类参与式的细化或更复杂的问题生成策略。扩展评估范围。我们的基准测试主要集中在法律问答和演绎推理上。全面评估需要评估在更广泛的法律任务上的性能，包括合同分析、案例总结和法律文档起草。针对查询措辞变化和对抗性输入的鲁棒性测试将提供关于模型实际部署可靠性的见解[19]。增强事实基础。法律应用要求高精度的事实准确性和引用具体法律条款的能力。未来的迭代应该研究改进事实基础的方法，可能通过检索增强的生成或受CitaLaw启发的明确引用机制[31]。结合直接训练和检索及修订策略的混合方法[20, 23]可能对于需要广泛外部知识的任务特别有效。扩展GRPO训练。我们的GRPO实验使用了保守的训练持续时间来测试效率。研究是否更长的GRPO训练或更大的偏好数据集能进一步改善推理质量仍是一个开放性问题。此外，探索GRPO对于其他法律推理模式（超出演绎结构）的有效性可能揭示这种技术的更广泛应用。

6.2 对专门语言模型开发的启示
这项工作为越南法律应用提供了一个改进的模型，并为开发复杂、资源匮乏领域的专门语言模型提供了一种经过验证的方法论。我们的发现表明，通过仔细的阶段式训练，每个阶段针对特定能力进行训练，可以获得比单一阶段训练更好的结果。直接GRPO的效果进一步表明，强化学习比多样化的指令调整更能保留某些能力。我们的系统评估揭示了几个关键见解。理解练习推动了基本能力的发展。合成问答预训练阶段带来了最大的单阶段改进，特别是在零样本设置中。这表明主动理解练习从根本上增强了法律推理能力，而不仅仅是教授表面模式。训练方法应优先考虑与法律文本的深入互动，而不是被动接触，以最大化学习效率。指令调整在通用性和专业化之间进行了优化。SFT提高了模型处理不同任务格式和学习来自示例的能力，但在特定基准测试中造成了专业性能的权衡。这表明指令调整使模型在任务格式多样化的实际应用中更加实用，即使它降低了标准化评估中的峰值性能。强化学习有效地精炼了推理结构。GRPO以最小的训练步骤实现了推理质量的显著改进，表明明确的强化逻辑结构是提高能力的有效途径。GRPO的针对性使其特别适用于改进模型的特定方面，而无需进行广泛的重新训练。训练流程可以根据资源限制进行优化。直接GRPO的有效性表明，实践者可以在全面训练和计算效率之间做出明智的权衡。当资源有限时，预训练后的集中强化学习提供了一个可行的替代方案。顺序训练建立了互补的能力。每个阶段都带来了不同的增强，建立在之前的阶段之上。领域适应建立了基础知识，理解练习发展了解释技能，指令调整实现了任务灵活性，强化学习精炼了推理结构。完整的顺序方法产生了最强的整体结果，但了解每个组件的贡献使实践者能够根据特定的部署需求和资源限制设计高效的训练策略。

6 结论
这项研究表明，即使是资源有限，系统化的多阶段训练也能显著提升法律语言模型的能力。我们的四阶段方法——基础预训练、理解练习、监督微调和GRPO精炼——在法律推理基准测试中取得了可测量的改进。我们在Qwen3-1.7B和Qwen3-4B模型上使用全参数微调验证了这种方法，确认了改进与模型规模的一致性。我们开发的训练流程解决了越南法律AI中的一个关键空白。VietLegalLM代表了开源工具在越南法律社区中的实质性进展，提供了此前在这个语言和领域中不可用的功能[3, 31]。更重要的是，我们的系统评估揭示了哪些训练阶段对特定能力的贡献最大，从而实现了更高效的专业法律模型开发。我们的数据集在https://huggingface.co/collections/VietGPT-AI/vietlegallm-datasets上公开发布。

6.1 局限性与未来工作
除了我们的结果之外，未来仍有几个重要问题需要研究。优化理解训练。虽然我们的合成问答方法被证明是有效的，但我们尚未确定数据量、多样性和难度之间的最佳平衡。未来的工作应该探索生成更高质量理解练习的方法，可能包括人类参与式的细化或更复杂的问题生成策略。扩展评估范围。我们的基准测试主要集中在法律问答和演绎推理上。全面评估需要在更广泛的法律任务上评估性能，包括合同分析、案例总结和法律文档起草。测试模型对查询措辞变化和对抗性输入的鲁棒性将提供关于实际部署可靠性的见解[19]。增强事实基础。法律应用要求高精度的事实准确性和引用具体法律条款的能力。未来的迭代应该研究改进事实基础的方法，可能通过检索增强的生成或受CitaLaw启发的明确引用机制[31]。结合直接训练和检索及修订策略的混合方法[20, 23]可能对于需要广泛外部知识的任务特别有效。扩展GRPO训练。我们的GRPO实验使用了保守的训练持续时间来测试效率。研究是否更长的GRPO训练或更大的偏好数据集能进一步改善推理质量仍然是一个开放性问题。此外，探索GRPO对于除演绎结构之外的其他法律推理模式的有效性可能揭示这种技术的更广泛应用。跨语言转移和多语言考虑。虽然我们的重点是越南法律语言，但了解训练技术在跨语言和法律系统之间的转移将有助于为其他资源匮乏的法律领域开发法律模型。研究在不同语言和法律系统之间保持性能的最佳策略需要系统性的研究。

6.2 对专门语言模型开发的启示
这项工作为越南法律应用提供了一个改进的模型，并为开发复杂、资源匮乏领域的专门语言模型提供了一种经过验证的方法论。我们的发现表明，通过仔细的阶段式训练，每个阶段针对特定能力进行训练，可以获得比单一训练方法更好的结果。直接GRPO的效果进一步表明，实践者可以根据资源限制调整训练流程，同时保持强大的性能。我们在专门领域遇到的挑战强调了系统评估和深思熟虑的训练设计的重要性。在专门领域取得成功不仅仅需要将标准微调技术应用于领域数据。了解哪些训练阶段贡献了哪些能力有助于高效分配资源，并帮助实践者就训练策略做出明智的决策。对于越南法律社区，VietLegalLM为开发实用的人工智能应用提供了开源的基础。对于更广泛的人工智能研究社区，我们的方法论表明，即使是在计算资源有限的情况下，通过仔细的训练设计也能在专门领域实现显著的改进。通往可靠且功能强大的人工智能系统的道路需要细致的方法，这些方法考虑了基础模型特性、训练目标和数据属性以及全面评估——但这些改进使其成为值得的投资。