LeSum：一种经济高效的基于大语言模型的印度法律判决混合摘要方法

《Expert Systems with Applications》：LeSum: Cost-Effective LLM-driven Hybrid Summarization of Indian Legal Judgments

　　瓦齐布·安萨尔|萨普塔尔斯里·戈斯瓦米|阿姆兰·查克拉巴蒂

摘要：印度法院的案件数量日益增多，这一状况令人担忧。因此，法律从业者必须仔细审查大量判决以找出相关的先例。通过自动总结判决内容，可以简化这一流程，从而高效提取关键信息。然而，由于标注样本的缺乏，要完整捕捉判决中的所有结构元素颇具挑战。现代基础大型语言模型似乎可以通过零样本学习来辅助这一工作。不过，这些模型往往存在上下文长度限制或基于词数的计费方式，这使得它们难以处理长文本序列。为解决这些问题，本文提出了LeSum——一种针对印度法律判决的成本高效混合式（抽取式与抽象式）总结方法。在抽取式总结方面，设计了一种新颖的主题监督图式上下文匹配机制，用以以最小冗余度提取关键信息。该方法可将词数减少59%，进而降低后续抽象式总结的成本。在抽象式总结方面，采用了PEGASUS、BART、Gemini和Llama四种大型语言模型，并通过微调与零样本提示技术加以运用。零样本方法无需标注样本即可生成结构分段的总结，从而降低大型语言模型的调优成本。为全面覆盖印度各级法院的判决，LeSum在印度最高法院判决数据集以及专为加尔各答高等法院定制的包含20,273份判决及其总结的自建数据集上进行了测试。总体而言，LeSum在两个数据集上的表现均显著优于现有最先进方法。此外，三位资深法律专家从六个评估维度对生成的总结进行了评测，证实了其可靠性与实用价值。

引言：法律文件的数量庞大且持续增长。根据国家司法数据网格的数据，印度高等法院有620万起未决案件，而印度最高法院则有8.1万多起未决案件。2024年，高等法院和最高法院分别处理了110多万起和3.4万起案件。法律从业者必须逐一查阅这些海量法律文件，从中提炼信息并找出与自身案件相关的先例。长期以来，以“判旨摘要”形式对判决进行总结的做法在法律界十分普遍。据维基百科介绍，判旨摘要是对某一法律要点的简短概括，会被添加到法院判决文本中，帮助读者快速找到相关论述。不过，判旨摘要通常由法律专家手动撰写，这一过程繁琐、耗时且成本高昂。这凸显出在总结过程中实现自动化的必要性，以便从法律判决中快速提取重要信息，同时减少人力投入。此外，尽管印度高等法院处理的案件数量远远超过其他法院，但现有研究仅聚焦于印度最高法院的判决。而且，印度宪法规定了法院的特定管辖权，导致某些案件只能由高等法院审理。因此，仅研究最高法院的判决是不够的。

自动文本总结的目标是以尽可能简洁的方式呈现原文的主要内容（最好不超过原文的一半），同时尽量减少冗余。大致上，自动文本总结方法可分为抽取式文本总结、抽象式文本总结以及结合两者优点的混合式文本总结。抽取式文本总结是通过从原文提取相关部分来构建总结，而抽象式文本总结则是从原文提炼信息并将其转化为简洁的表达形式。混合式方法则结合了两种技术的优势，从而提升性能并避免单一方法的缺陷。

除了自动文本总结的目标之外，自动法律判决总结还需要解决更多问题。法律判决的篇幅通常比其他类型的文档更长。尽管当前的大型语言模型在总结任务上表现出色，但它们受限于输入词数、处理速度以及基于词数的计费方式，这限制了其在实际应用中的可行性。这是因为基于Transformer的大型语言模型具有O(ls2)的复杂度，随着序列长度的增加，计算成本也会上升。这就凸显出需要开发成本更低、能够有效管理上下文表达以减少词数使用的同时又不损害信息完整性的方法。此外，法律判决中包含一些专业术语，这些术语在法律语境下可能有不同含义，容易造成歧义，因此有些信息需要保持原样呈现。同时，法律判决还包含多种结构要素，如案件标识信息、记录事件经过的事实、各方当事人的法律观点、下级法院的裁决、现行法规、包含过往判决的司法先例、法院的判决理由以及最终裁决等。由于这项工作具有高度主观性且面临诸多限制，自动法律判决总结成为了自然语言处理领域中既具有挑战性又发人深省的应用方向。

为填补上述研究空白，我们提出了LeSum——一种成本高效的混合式文本总结方法，它包含一种新颖的主题监督图式抽取式文本总结模块，随后再通过多种大型语言模型进行抽象式文本总结。这种新颖的抽取式文本总结方法通过识别序列中的重要主题来保留整体上下文，再借助图式上下文匹配机制提取关键句子。与仅依赖出现频率的方法不同，该主题提取方法会综合考虑大小写、位置、出现频率、长度、与上下文的关联程度以及在不同句子中的出现情况等特征，从而识别多词关键词组。图式显著性评估则利用Transformer编码器生成的上下文化句子嵌入作为图节点，相比单纯的内容重叠度衡量或忽略词语上下文与语义的表面相似度计算方法，这种方法能更好地理解上下文与语义。与单词嵌入相比，句子嵌入降低了后续图计算的复杂度，因为给定(|V| ? |Vs|)时，计算复杂度仅为|V||Vs|倍。此外，该方法还采用了基于Transformer的句子分割技术，将冗长复杂的句子分解为更小的、仍能保持原意的词序序列，而不受原有句子边界的限制。同时还配有直观的算法用于过滤冗余文本，进一步提升文本的可读性与简洁性。通过这些设计，所提出的抽取式文本总结方法大幅缩短了输入序列的长度，使得后续的抽象式文本总结能够生成与序列中关键信息相匹配的变长总结。这样一来，基于Transformer的大型语言模型进行抽象式文本总结的复杂度及成本都得到了显著降低。

抽象式文本总结则是通过对抽取式总结结果进行微调，或是利用零样本提示技术，让PEGASUS、BART、Llama3.1、Gemini2.0等大型语言模型生成简洁且富有上下文信息的总结，进而提升文本的可读性与连贯性。为确保方法的成本效益与易用性，所选用的这些大型语言模型不仅性能优异，而且要么是开源的，要么可在规定范围内免费使用。此外，零样本抽象式文本总结无需进行训练或微调，就能识别出判决中的关键结构要素，非常适合那些没有或仅有少量标注数据的资源有限场景。该方法的性能已在印度加尔各答高等法院的自建判决数据集以及印度最高法院的判决数据集上得到验证。本文的主要贡献如下：
1. 我们提出了LeSum，这是一种用于总结印度法律判决的成本高效混合式文本总结方法。它包含一种新颖的抽取式文本总结模块，能够生成保留关键信息且冗余度极低的变长总结，从而降低基于大型语言模型的抽象式文本总结的复杂度与成本，其压缩率超过91%。
2. 在抽取式文本总结部分，我们提出了一种新颖的主题监督图式上下文匹配机制，可用于在保留整体上下文的同时提取关键句子。通过Transformer编码器生成的上下文化句子嵌入被用作图节点，有助于更好地理解上下文与语义。此外，还采用了基于Transformer的句子分割技术，将冗长复杂的句子分解为更小的、仍能保持原意的词序序列。
3. 该抽取式文本总结方法还包含专门的冗余消除机制。总体而言，它不仅提升了整体性能，还能通过将判决的词数减少59%，从而降低抽象式文本总结的成本。
4. 在抽象式文本总结部分，我们采用了四种不同的大型语言模型，其中两种经过微调，另外两种则采用零样本学习技术。通过零样本提示技术，这些大型语言模型能够生成结构分段的总结，同时避免训练或微调的成本，非常适合那些没有标注数据的资源有限场景。
5. 据我们所知，我们是首个整理出印度加尔各答高等法院20,273份判决数据集以应用LeSum方法的团队。此外，我们还在印度最高法院的判决数据集上应用了该方法，以便了解印度不同层级司法体系的差异。

本文的其余结构如下：第2节将回顾以往的相关研究；第3节详细介绍所提出的方法；第4节阐述该方法的实际应用环境；第5节基于多种参数与指标展示实验结果并进行分析；最后在结论部分总结研究成果，并探讨未来的研究方向。

相关研究：本节梳理了与所提方法相关的先前研究。为便于理解，这些研究被分为抽取式文本总结、抽象式文本总结和混合式文本总结三类。表1、表2和表3则分别从贡献、方法、已发现的研究缺口以及通过LeSum方法在抽取式文本总结、抽象式文本总结和混合式文本总结方面的解决方案等方面，对以往研究进行了对比分析。

所提方法：如图1所示，所提出的LeSum采用混合式文本总结策略来解决自动法律判决总结的问题。首先，通过一种新颖的主题监督图式上下文匹配机制生成变长的抽取式总结。其次，抽取式总结的输出结果将作为输入，再通过PEGASUS、BART、Llama3.1和Gemini2.0四种大型语言模型进行抽象式文本总结。所提出的抽取式文本总结技术能够有效剔除无关内容，从而提升抽象式文本总结的效率。

材料与方法：本节介绍了将LeSum应用于自动法律判决总结任务时的相关材料与方法，包括数据集描述、超参数设置以及性能评估指标。

结果与讨论：本节从多个角度详细评估了所提LeSum方法的效果。我们将这些结果与现有同类方法在两个数据集上的表现进行了比较，同时还进行了详细的消融实验，并邀请法律专家进行了评估。此外，我们还展示了LeSum在两个数据集的判决案例上生成的总结结果，并围绕法律治理与法定义务等问题进行了讨论。

结论：本文提出了一种成本高效的混合式文本总结方法——LeSum，用于总结印度各类案件的判决内容。该方法在抽取式文本总结阶段采用了新颖的主题监督图式上下文匹配机制，能够识别相关主题并过滤冗余文本。该抽取式文本总结模块可将输入序列的长度减少59%，从而大幅降低后续基于Transformer的抽象式文本总结模型的计算复杂度，进而节省推理过程中的成本。抽象式文本总结则通过微调或零样本提示技术来实现。如果有其他作者，他们声明自己没有已知的、可能影响本文所报告工作的竞争性财务利益或个人关系。