《Scientific Data》:The ParlLawSpeech Parliamentary Text Data Collection?>?3 Million Parliamentary Bills, Laws, and Speeches from 8 Legislatures
编辑推荐:
议会文本是研究民主代表制、政策制定和制度决策的核心资料,同时也是自然语言处理研究中极具价值的领域。尽管其重要性显著,但获取全面、清洁且机器可读的议会语料库仍然面临诸多限制。本文介绍了ParlLawSpeech(PLS)语料库——一个大规模、经精心整理的语料集合
议会文本是研究民主代表制、政策制定和制度决策的核心资料,同时也是自然语言处理研究中极具价值的领域。尽管其重要性显著,但获取全面、清洁且机器可读的议会语料库仍然面临诸多限制。本文介绍了ParlLawSpeech(PLS)语料库——一个大规模、经精心整理的语料集合,涵盖来自八个欧洲议会的超过三百万份文件,每个议会的时间跨度均超过二十年。PLS在两个方面扩展了现有议会文本资源:第一,它不仅整合了议会演讲(parliamentary speeches)的全文与元数据,还纳入了立法法案(legislative bills)及最终通过的法律(finally adopted laws);第二,它提供了跨文档类型的系统性数据链接(data linkage),使研究人员能够追踪从立法草案、议会辩论到法律通过的完整议会决策过程。PLS覆盖七个国家议会及欧洲议会(European Parliament),为政治科学和高级自然语言处理(NLP)研究提供了独特的丰富资源。
# 从草案到法律:ParlLawSpeech(PLS)多国议会语料库的构建、数据链接与验证——一项面向政治科学与自然语言处理研究的综合数据资源
## 一、研究背景与问题
议会是民主社会的核心制度机构。议会过程中产生的文件编码了关于社会挑战、政治议程、代表性、政策制定和制度决策的密集而详细的信息。因此,政治学和社会学研究者日益依赖计算文本分析方法,从议会记录中大规模提取和分析此类信息。例如,政治学家利用议会语料库研究辩论参与模式、政党纪律和代表性,追踪极化随时间的变化趋势,或测量立法辩论中的情感与修辞;社会学家则借助议会语料库追溯对妇女和移民所表达团结的长期语义变迁。
除实质性研究价值外,议会文本也是自然语言处理(NLP)和计算语言学领域极具价值的研究领域。议会辩论构成高度结构化的制度性话语形式,由具有稳定角色和隶属关系的可识别发言者和作者在正式程序下产生。这些特征使议会演讲语料库特别适用于开发和评估需要话语结构和丰富元数据的NLP方法,包括跨文体主题建模、论证挖掘和立场检测,以及上下文文档分类和高级摘要任务。此外,议会记录的时间纵向性和跨语言可获得性为语义变化和历时表征学习研究以及跨语言建模提供了机会。
尽管议会语料库具有重大意义,但全面、清洁、一致且机器可读格式的议会文本集合往往难以获取,这对应用研究构成了显著挑战。高质量的单国议会演讲集合近期已在《Scientific Data》发表。若干大型项目也提供了此类演讲的多国集合,最著名的是语言学领域的ParlaMint和政治学领域的ParlSpeech或Parl-EE,而IOParlSpeech或ParlText等项目则在现有语料库基础上进行构建和补充。
本研究在现有成果基础上拓展,引入ParlLawSpeech(PLS)语料库,该语料库作为OPTED项目(欧洲民主国家政治文本观测站;https://opted.eu)第五工作包的组成部分开发,为研究人员提供直接访问八个欧洲议会超过三百万份文件的完整且精心整理的数据集,每个议会的时间跨度超过二十年。除扩展可直接使用的议会文本语料库覆盖范围外,PLS在两个关键领域引入创新。第一,PLS不仅包含议会演讲,还包含议会法案和已通过法律的全文与元数据。第二,PLS提供跨不同文档类型的数据链接,这种链接方式通常是机构知识库本身也不提供的。这两项创新使研究人员能够系统性地映射和组合不同的议会产出,从而解决涵盖议会决策全过程的研究问题,从立法草案、全体辩论到最终通过的法律内容。总之,PLS提供机器可读且可链接的议会演讲、法案和法律全文向量,以及七个欧洲国家(奥地利、捷克、克罗地亚、丹麦、德国、匈牙利和西班牙)和超国家机构欧洲议会(EP)的相关元数据。
## 二、研究方法与关键技术
PLS数据集基于官方知识库和档案构建,并通过定制化数据收集方法加以增强,每种方法均经过单独验证以确保可直接用于研究。总体上,每个数据集构建均应用五个一般性步骤。在数据源选择方面,研究人员优先选择提供最长一致时间跨度和可访问文档类型的来源。数据采集通过R语言编写的大规模网页爬取脚本实现,针对每个国家、每种文本类型的机构档案进行定制化设计,主要依赖RSelenium、XML和rvest等R包。在文档分割与文本提取阶段,脚本从每份文档中提取演讲、法案和法律文本,该任务高度定制化于具体议会记录,需要仔细的概念单元化以及对相应议会和语言背景的熟悉。文本预处理保持在最低限度,提供干净字符串以给予研究者在针对特定研究需求准备和处理文本时的最大灵活性。元数据提取聚焦于原始文档文本附带的信息细节,部分国家的元数据(如西班牙演讲者所属政党)需从议会网站的其他子页面补充获取。数据链接与通用标识符创建是最关键步骤:研究人员首先检查各议会法案档案,识别其引用法案的本地唯一方式——通常为编码了立法周期、日期和法案流水号的本地编号系统,随后在全体会议逐字记录中通过议程标题中的法案参考号将法案标识符添加到匹配议程项目下的所有演讲中;法案与法律的关联在多数情况下借助网站已有链接,其余情况则通过检查法律档案中引用法案的模式进行字符串匹配。此外,研究团队还利用Google Cloud Translation API(神经机器翻译模型,"nmt")对欧洲议会和匈牙利议会的演讲语料进行自动翻译,提供英文版本作为数据发布的附加服务。
## 三、研究结果
### 数据记录
所有数据集(DOI: https://doi.org/10.7802/2824)可通过GESIS档案公开永久获取,以.RDS格式提供压缩存储并便于在开源R环境中使用。PLS数据集最重要的创新是唯一标识符procedure_ID,它存在于演讲、法案和法律数据集中,基于各国议会网站或其他立法数据库的约定构建,借助该标识符,研究人员可以追踪哪些法案成为哪些法律,以及立法过程中是否存在相关演讲。
### 演讲语料库
演讲语料库由清洁文本格式的议会演讲及其相应元数据组成。核心变量包括演讲日期、演讲者姓名、政党归属(欧洲议会中为党团而非国家政党)、议程项目标题、演讲编号和partyfacts_ID(链接至PartyFacts数据集的政党标识)。附加变量包括会议编号、主席身份逻辑值、原始文本(text_raw)、演讲者职位信息、西班牙议会党团信息、欧洲议会的MEP和委员会成员身份标识、书面提交演讲标识及多演讲者标识等。匈牙利和欧洲议会数据集包含英文翻译文本变量(translatedText)及相应的翻译标记变量。
### 法案语料库
法案语料库包含清洁全文向量(bill_text)、标题(title_bill)及相关元数据。核心变量包括程序唯一标识符(procedure_ID)、法案最终状态(status)和提出日期(initiation_date)。附加变量包括bill_ID(遵循各议会约定的法案标识号)、所在立法周期、提案发起人、法案类型(bill_type),部分数据集还包含投票结果、修正案数量、委员会信息以及法案链接。欧洲议会法案数据集中以CELEX、procedure_number和proposal_number作为标识符,另有procedure_type指明立法程序类型。
### 法律语料库
法律语料库包含法律全文向量(law_text)及其标题(title_law),并配以元数据。变量设计与演讲和法案语料库类似,除procedure_ID外,adoption_date提供立法时间线的关键信息。附加变量包括立法周期、law_ID、law_links以及欧洲议会的law_type变量(与法案数据集的bill_type变量类似)。
### 数据概览
PLS涵盖八个议会每种文档类型至少十年的数据,但各立法机构的时间跨度因底层机构档案的可获得性而有所不同,且仅包含已完成的立法周期。语料库的国别选择基于两个主要理由:一是通过提供跨不同政治制度、历史和欧盟地区的立法机构数据(包括欧洲议会)最大化比较价值;二是建立在现有前期成果(尤其是ParlSpeech)基础上以最小化适应成本,同时匹配团队可用的必要语言知识。演讲分布、法案分布和法律分布的整体分布相对均匀并呈现立法周期的重复模式,欧洲议会的异常可由书面贡献规则的变化解释。演讲长度分析显示,在多数议会中,主席的演讲约占所有记录演讲的一半,且通常显著较短且更具程序性;不包括主席演讲时,各议会每场演讲的平均词数从100-300词升至200-500词。
### 技术验证
验证过程在PLS数据集创建中不可或缺,旨在确保语料库内部和跨语料库的数据完整性、一致性和质量。验证程序结合了人工与自动化验证以及结构化与随机验证。对于每个议会,由一名该议会语言的流利使用者和一名未参与数据集创建的人员进行一轮验证。结构化程序包括五个步骤:
第一,评估总体完整性和重复项检查。验证应唯一的列(如ID、文本、链接)是否包含重复项,并通过原始和替代数据源交叉验证爬取语料的完整性。
第二,确保元数据的准确性和一致性。验证分类元数据(如政党名称、演讲者角色)的正确标记和标准化,检查ID是否符合来源特定的预期格式和结构。
第三,通过ID列验证每国三个数据集间的交叉链接。法案与法律的验证通过全连接实现,连接后的观测数应与法案总数匹配;法案与演讲的关系则通过逗号分隔多法案ID并取消嵌套处理,确保每个法案ID在演讲-法案链接中仅出现一次。人工验证中,独立研究助理随机抽取每国50项法案,仅凭法案标题、提出日期和原始议会网站链接重建立法程序,与PLS中的自动链接比较后未发现差异。
第四,通过迭代过程确保文本内容的质量和完整性。包括随机抽样、错误识别与修正、分词准确性测试,重复进行直至至少10个文本的随机样本中不再识别出错误模式。检查重点涵盖编码、清洁度、完整性、目标内容准确性和连字符处理。
第五,通过离群值分析和其他探索性验证技术识别潜在错误。包括文本长度散点图、清洁文本长度与原始文本长度对比、文本长度与句子数对比、法案文本长度与法律文本长度对比等可视化方法,辅以情感分析、Wordfish词汇分布检测、无监督主题建模和TF-IDF跨语料库比较等语料库层面的探索性分析。被标记的统计离群值经人工检查后均属于实质性非典型的议会辩论或立法文件而非构建错误。
## 四、讨论与结论
在机器翻译附加服务方面,研究团队未进行项目内部的翻译质量评估,而是依赖已建立的外部验证文献来基准化Google神经机器翻译系统在议会文本政治科学分析中的表现,并建议用户根据预期下游分析进行特定任务验证。
总而言之,PLS通过整合演讲、法案和法律三种文档类型并提供跨文档链接,解决了议会文本研究中长期存在的碎片化和不可链接问题,为政治科学和NLP研究提供了独特的数据基础设施。其全面的国别覆盖、超二十年的时间纵深、机器可读的格式以及经过严格验证的数据质量,使研究者能够系统性地追踪从立法草案到最终法律的完整决策过程,从而支撑更深入的民主代表制、政策制定和制度决策研究,并为高级NLP方法的发展与评估提供丰富的多语言语料资源。