《Journal of King Saud University Computer and Information Sciences》：Legal judgment prediction via text classification
编辑推荐：
法律判决预测（LJP）是辅助司法决策的一项关键任务，旨在从案件事实描述中预测罪名、相关法律条文及刑罚期限。尽管单头快速线性注意力（FLASH）能够以线性复杂度实现高效序列建模，但其在捕获法律文本语义方面的表征能力有限。为解决该问题，研究人员提出EMAgent-
法律判决预测（LJP）是辅助司法决策的一项关键任务，旨在从案件事实描述中预测罪名、相关法律条文及刑罚期限。尽管单头快速线性注意力（FLASH）能够以线性复杂度实现高效序列建模，但其在捕获法律文本语义方面的表征能力有限。为解决该问题，研究人员提出EMAgent-FLASH，一种增强型FLASH架构，该架构融合了双向指数移动平均（EMA）层与深度可分离卷积（DWC）模块。EMA层生成动态代理Token以促进局部二次注意力与全局线性注意力之间的信息交互，而DWC模块则增强局部上下文特征提取。基于EMAgent-FLASH，研究人员开发了面向LJP的EMAgent-FLASH-CM，该模型采用混合池化策略将CLS表征与基于注意力的特征相结合，并采用对称损失函数以改善类别不平衡条件下的分类边界学习。在CAIL2018-Small数据集上的实验结果表明，EMAgent-FLASH-CM在法律条文预测和罪名预测上的Macro-F1分数分别为84.99%和84.69%。在AG News和Reuters-21578上的进一步评估表明，该模型在多类别和多标签分类上的Macro-F1和Micro-F1分数分别为96.89%和91.15%。这些结果证明，所提模型增强了文本表征能力，并在不同分类场景中展现出适用性。
**研究背景与问题**
法律判决预测（Legal Judgment Prediction, LJP）是人工智能辅助司法决策的重要任务，其目标是从案件事实描述中预测罪名、相关法律条文及刑罚期限。LJP不仅能为非专业人士提供便捷的法律信息获取途径，还能为法律从业者提供知识组织、案例检索和决策支持参考，从而提升法律信息处理效率。早期研究主要依赖支持向量机（SVM）和随机森林等传统机器学习方法，需要人工设计特征；随着深度学习的发展，卷积神经网络（CNN）、循环神经网络（RNN）和长短期记忆网络（LSTM）被用于自动学习法律文本的语义表征；随后，基于Transformer的架构因其有效的上下文表征能力和序列建模能力在LJP中取得进展。然而，Transformer的自注意力机制随序列长度呈二次计算复杂度增长，限制了其在法律文档中的应用。FLASH（Fast Linear Attention with a Single Head）通过整合局部二次注意力和全局线性注意力缓解了该问题，但两个注意力分支主要基于独立表征运行，可能限制局部与全局上下文信息之间的交互。此外，法律文本分类中还面临类别不平衡等问题。基于上述背景，研究人员提出了一种改进的FLASH架构EMAgent-FLASH及基于其的分类模型EMAgent-FLASH-CM，旨在增强局部与全局上下文表征之间的交互，同时保持FLASH的效率。
**关键技术方法**
研究人员采用的主要技术方法包括：提出EMAgent-FLASH架构，引入双向指数移动平均（EMA）层生成动态代理Token表征，以促进全局线性注意力与局部二次注意力之间的信息交互，同时引入深度可分离卷积（DWC）模块增强局部特征提取；设计混合池化策略，将CLS表征与基于注意力的池化特征相结合；采用对称损失函数改善类别不平衡条件下的分类边界学习。实验使用CAIL2018-Small数据集（Xiao et al., 2018）进行LJP任务评估，并采用AG News和Reuters-21578数据集分别进行多类别和多标签分类评估。
**研究结果**
**LJP任务定义与模型构建**：研究人员将LJP任务形式化为文本分类问题，引入基于提示的输入构建策略，为法律条文预测、罪名预测和刑罚期限预测分别设计任务提示，并训练三个独立模型共享整体架构和编码器设计。基于EMAgent-FLASH构建的分类模型EMAgent-FLASH-CM包含输入层、嵌入层、编码层、池化层和分类层。
**EMAgent-FLASH架构**：通过引入双向EMA层生成动态代理Token，使EMA输出同时作为局部二次注意力的键值和全局线性注意力的查询值，促进局部与全局注意力分支间的信息交互；DWC模块的一维卷积核尺寸经经验设定为k=6，以在局部语义模式捕获与计算开销之间取得平衡。
**CAIL2018-Small数据集上的LJP实验**：EMAgent-FLASH-CM在三个LJP子任务上均取得最佳性能。罪名预测准确率（ACC）达86.13%，Macro-F1达84.69%，分别比FLASH-CM提升3.76和4.26个百分点；法律条文预测ACC达87.18%，Macro-F1达84.99%；刑罚期限预测ACC为39.36%，Macro-F1为34.34%。模型在精确率与召回率之间取得较好平衡，有利于类别显著不平衡的LJP任务。
**消融实验**：在罪名预测任务上，编码器架构消融表明，Self-Attention-CM的ACC为81.96%、Macro-F1为80.12%；FLASH-CM的Macro-F1为80.43%；Agent-FLASH-CM的Macro-F1提升至81.60%；EMA-Agent-FLASH-CM的ACC达85.28%、Macro-F1达83.98%；BiEMA-Agent-FLASH-CM在精确率与召回率之间取得更好平衡；完整EMAgent-FLASH-CM取得最佳性能。池化策略与损失函数消融表明，混合池化策略结合CLS全局语义与注意力局部特征聚合取得最佳性能；对称损失相比交叉熵损失改善了正负样本判别并提升了Macro-Recall，但其影响相对编码器架构较为有限。
**效率分析**：Self-Attention-Encode计算成本最高；FLASH-Encode参数量和计算复杂度更低；EMAgent-FLASH-Encode仅带来少量参数和计算开销。当序列长度达8192时，FLASH-Encode仅需335.58G FLOPs，EMAgent-FLASH-Encode与FLASH-Encode的FLOPs差异仅为0.299G。EMAgent-FLASH-CM训练吞吐量为50.69 samples/s，推理吞吐量为250.06 samples/s，吞吐量略低于FLASH-CM但退化有限。
**案例分析**：在故意伤害案中，EMAgent-FLASH-CM准确预测罪名为故意伤害，而FLASH-CM误分类为寻衅滋事。注意力权重分布显示，EMAgent-FLASH-CM对行为、结果和起因等关键短语均赋予更高注意力权重，这归因于DWC模块增强细粒度局部线索捕获以及双向EMA层生成动态代理Token表征。
**与近期方法比较**：在法律条文预测上，EMAgent-FLASH-CM的Macro-F1优于FLEJA和FFMLAP，与更强的知识增强和提示方法保持竞争力；在罪名预测上，其Macro-F1略高于LKEPL（82.85%），与Prompt4LJP（84.67%）相当；在刑罚期限预测上，性能低于最佳基线，反映了该任务更大的难度。
**多类别与多标签分类实验**：在AG News数据集上，EMAgent-FLASH-CM的ACC达96.90%，Macro-F1达96.89%，分别比Alphonse等和Serreli等提升1.3%和2.35%。在Reuters-21578数据集上，Micro-Precision达94.23%，Micro-F1达91.15%，但Macro-F1为46.07%，低于BR-CNN的55.8%，主要归因于数据集固有的类别不平衡。
**讨论与结论**
研究人员总结了EMAgent-FLASH-CM的贡献：通过双向EMA层生成动态代理Token表征促进局部与全局注意力分支间的信息交互，结合DWC、混合池化和对称损失进一步改善特征提取与分类优化。在CAIL2018-Small数据集上，该模型在不引入领域特定预训练语言模型或外部法律知识的情况下取得了竞争性性能；在AG News和Reuters-21578上的评估进一步证明了其在多类别和多标签分类场景中的适用性。同时，研究存在以下局限性：第一，刑罚期限预测涉及不同刑罚区间之间的序数关系，当前分类公式未考虑该关系，未来将探索序数学习策略和距离敏感评估指标；第二，EMAgent-FLASH-CM主要依赖记录的文字信息，无法捕获司法决策中涉及的非结构化情境因素，应作为辅助决策支持工具而非专业判断的替代。未来研究将进一步探索EMAgent-FLASH与预训练模型及推理机制的集成，以提升法律文本理解与表征能力。
