《Computer Law & Security Review》:Approaching the AI Act... with AI: LLMs and knowledge graphs to extract and analyse obligations
编辑推荐:
欧盟《人工智能法案》(AIA)体现了计算机技术领域数字法规日益增长的复杂性。该法案以抽象术语、多层次条款和交叉的监管要求为特征,对法律义务的识别和解释提出了重大挑战,使得合规成为法律专业人员和组织一项艰巨且容易出错的任务。人工智能(AI)领域的最新进展,特别是
欧盟《人工智能法案》(AIA)体现了计算机技术领域数字法规日益增长的复杂性。该法案以抽象术语、多层次条款和交叉的监管要求为特征,对法律义务的识别和解释提出了重大挑战,使得合规成为法律专业人员和组织一项艰巨且容易出错的任务。人工智能(AI)领域的最新进展,特别是在自然语言处理(NLP)和大语言模型(LLMs)方面,为解决这些挑战提供了有希望的支持。通过自动化法律规则的提取和结构化,基于AI的工具有可能协助监管合规活动,并为复杂的立法框架提供更系统的见解。本论文介绍了一项结合NLP技术和LLMs的实验,以自动化从AIA中提取和结构化法律义务。该方法基于一个模块化工作流,包括四个主要阶段:义务识别、道义陈述过滤、道义内容分析以及可搜索知识图谱的构建。该实验采用了LLaMA 3.3 70B模型,并辅以更传统的NLP工具。五名专家(4名法律信息学和哲学方向的博士生和1名博士后)对系统在部分案例上的表现进行了评估。结果表明,在义务过滤阶段,精确度为93%,在分类义务类型、接收者和谓词时,准确率超过99%。对提取和分析的义务进行的定量分析显示,规范性义务占主导地位(总共729个中有603个),其中136个施加于欧盟委员会,88个由信息性义务组成。这些结果与当前关于AIA监管方法的讨论一致。这些发现凸显了基于LLM的工具在增强监管合规和分析方面的潜力。未来的研究将集中于将系统扩展到其他欧盟法规,并整合形式化本体论,以实现对法律义务更高级的表征。
本研究发表在《Computer Law》期刊上。研究背景方面,欧盟《人工智能法案》(AIA)作为一项复杂的数字监管法规,采用抽象术语、多层次条款和交叉要求,给法律义务的识别和解释带来巨大挑战,导致合规工作繁琐且易错。现有问题包括传统方法依赖手工标注、规则系统泛化能力差,且难以处理义务间的重叠和冲突。为此,研究人员开展了一项实验,旨在验证AI驱动系统(尤其是大语言模型)自动提取和分类AIA中法律义务的可行性。研究人员组合自然语言处理(NLP)技术与大语言模型(LLMs),构建了包含四个阶段的模块化工作流:义务识别(基于关键词筛选包含道义标记的句子)、道义义务过滤(利用LLM区分真正义务与定义、构成性陈述等)、道义义务分析(提取义务类型、接收者、谓词、目标、规格、前提条件、受益人等要素)以及道义义务表示(通过知识图谱可视化义务间关系)。实验采用Meta的LLaMA 3.3 70B模型,并辅以传统NLP工具。验证阶段,5名专家(4名法律信息学与哲学博士生、1名博士后)对60个随机句子进行盲评,使用Krippendorff's Alpha衡量评分者信度。结果表明,义务过滤阶段精确率达93%,义务类型、接收者和谓词分类准确率超过99%。定量分析发现,729个潜在义务中603个为规范性义务,其中136个施加于欧盟委员会,88个为信息性义务。研究结果与当前AIA监管讨论一致。结论部分强调,基于LLM的工具在增强监管合规与分析方面具有潜力,但系统在处理复杂要素(如规格和目标)时存在局限,且专家间一致性较低(如接收者和受益人的Alpha值接近零或负数),表明需进一步优化提示设计和评估流程。未来研究将扩展至其他欧盟法规,并整合形式化本体论以提升法律义务的表征能力。关键技术方法:研究人员主要采用以下技术方法:1)基于关键词的义务检测,利用“shall”、“must”等道义标记从AIA全文(源自EUR-Lex数据库)中筛选潜在义务句子;2)大语言模型(LLaMA 3.3 70B)用于道义义务过滤(分类为义务、定义、构成性陈述、授权等)和道义义务分析(提取义务类型、接收者、谓词、目标、规格、前提条件、受益人,并标注提取来源:陈述、上下文、引用、背景知识或无);3)知识图谱构建,通过前导建模(采用Sentence Transformers进行语义聚类)将提取的要素组织为节点和关系,支持查询和可视化。样本来源为5名专家(4名法律信息学博士生、1名博士后)对60个句子的评估,未涉及特定队列。研究结果:6.1 LLM评估:在道义义务过滤任务中,系统分类准确率为93%,专家间Krippendorff's Alpha为0.29(公平一致);在道义义务分析任务中,义务类型、接收者和谓词值准确率超过99%,但专家间一致性较低(如接收者Alpha为-0.01,谓词Alpha为-0.02),表明这些要素的提取存在主观差异。6.2 定量法律分析:对全部数据集的过滤和分析显示,603个道义义务占主导,31个道义禁止(主要集中于第5条),74个构成性陈述,4个授权。义务类型中,754个行动义务,108个存在义务。接收者中,欧盟委员会(146次)最多,提供者(85次)次之。谓词中,“shall inform”(44次)和“shall ensure”(37次)最频繁。受益人主要为机构(如欧盟委员会41次、成员国23次、国家主管当局22次),非机构受益者包括部署者、中小企业等。6.3 知识图谱:所有提取的义务被整合为知识图谱,包含“Entity”和“Person”两类节点,以及“Obligation”和“Has Child”关系,支持语义查询和可视化,例如针对“provider”实体的子图可显示其义务和受益人。讨论部分总结:讨论指出,系统在核心法律要素(义务类型、谓词、接收者)上表现良好,但在解释性要求较高的要素(如受益人、规格、前提条件)上存在局限,需进一步优化LLM的语义消歧能力。定量分析结果与AIA的监管重点一致,即强调通过行动义务(而非被动禁止)进行主动治理,并突出机构角色(如欧盟委员会)和透明度义务。知识图谱增强了义务的可视化与可查询性,但本体论设计尚不成熟,需未来完善。研究结论:本研究通过实验证明了AI驱动系统(尤其是LLM)在自动提取和语义分类法律义务方面的能力,在AIA背景下实现了93%的过滤准确率和接近完美的义务类型分类。该工作流可减少手工合规分析负担,促进统一解释,并具有可推广性。局限性包括对复杂要素(如规格和目标)的处理不足、专家间一致性低,以及本体论模块不成熟。未来研究将扩展至更多欧盟法规、优化提示设计、整合形式化本体论,并评估不同LLM架构的性能。