编辑推荐：
当前荷兰 FOIA 文档发布分散、结构与元数据缺乏标准，难以满足 FAIR 原则。研究人员创建 Woogle 数据集，通过网络抓取、元数据标准化等构建含超 212 万页的 FAIR 化数据集，涵盖多类文档，为多学科研究提供重要资源，助力提升政府透明度与数据复用价值。
政府信息公开是现代民主制度的重要基石，而如何让海量公开数据真正 “可用” 却一直是困扰学术界的难题。在荷兰，尽管《信息自由法案》（FOIA）要求政府机构公开决策相关文档，但长期以来，这些文档的发布平台分散、元数据格式不统一、文本质量参差不齐，严重阻碍了数据在计算机科学、社会科学和政治学等领域的研究应用。例如，各机构自行决定元数据内容，缺乏 ISO 日期规范、文档类型混乱，部分文档甚至因扫描质量差而无法被机器读取，导致跨机构的大规模研究难以开展，数据复用效率极低。
为破解这一困局，荷兰阿姆斯特丹大学（University of Amsterdam）的研究团队开展了一项具有突破性的研究。他们致力于将荷兰 FOIA 文档转化为符合 FAIR 原则（可查找 Findable、可访问 Accessible、可互操作 Interoperable、可复用 Reusable）的标准化数据集。研究团队通过网络抓取技术，从政府平台及各机构网站收集了超过 1.3 万份档案、12 万份文档，累计 212 万页内容，并对其进行元数据标准化、文本质量优化及数据结构整合，最终构建了公开可用的 Woogle 数据集。该研究成果发表在《Scientific Data》，为全球政府数据开放领域提供了重要范例。
研究人员主要采用了以下关键技术方法：
- 数据采集与整合：通过定制化网络爬虫，从荷兰中央开放政府平台及各机构网站抓取被动公开的 FOIA 文档，涵盖 ministries、municipalities 等 59 个机构，时间跨度从 2001 年至 2024 年。
- 元数据标准化：统一采用 ISO 日期格式，规范文档类型（如原始请求、决策函、已发布文档等），确保元数据的一致性和互操作性。
- 文本处理与质量评估：使用 pdftotext 和 Tesseract OCR 技术提取文本，引入 FAIRIscore 评估体系（基于页面图像覆盖度、文本相似度等指标），将文档可读性分为 A-E 五级，其中超 75% 的政府部门文档达到 A/B 级。
- 页面流分割（PSS）：利用基于机器学习的文本特征分类算法，将扫描合并的 PDF 文件分割为独立文档，使 “已发布文档” 数量从 3.7 万增至 19.2 万，中位数长度从 26 页降至 5 页，显著提升数据可检索性。
- 红 action 文本检测：运用机器学习算法识别文档中的隐私遮挡区域，在 117 万页分析中发现 45% 页面存在红 action，中位数遮挡字符比例达 18%，为数据清洗提供关键依据。
数据集概况与结构
研究结果显示，Woogle 数据集包含四大类文档：已发布文档（182 万页，3.22 亿词）、决策函（24.5 万页，4700 万词）、原始请求（2.5 万页，400 万词）和清单（2.5 万页，450 万词）。档案分布呈现明显的机构差异，27% 来自 municipalities，20% 来自 ministries，且 60% 的档案在近五年内发布。通过标准化元数据（如 dc_identifier 唯一标识、foi_requestDate 请求日期等），实现了跨机构数据的统一检索与关联分析。
数据质量与技术验证
在质量评估方面，FAIRIscore 分布表明，政府部门文档质量整体较好，但不同机构间差异显著。例如，部分 ministries 的 C 级及以下文档占比超 50%，反映出基层机构在数字化管理上的不足。页面流分割算法（F1 score=0.78）和红 action 检测算法（F1 score=0.77）的有效性验证，确保了数据的结构完整性和隐私合规性。
应用场景与价值
Woogle 数据集的应用潜力广泛：在计算机科学领域，可用于训练针对政府文本的自然语言处理（NLP）模型，实现自动摘要、关键词提取等功能；在政治学研究中，支持大规模政策分析，如住房、难民等议题的决策轨迹挖掘；其多语言扩展性（如通过翻译子集分析疫情期间议会文档）也为国际研究提供了便利。此外，数据集遵循 CC BY 4.0 许可，允许全球研究者自由使用与修改，推动开放科学发展。
结论与意义
这项研究首次将荷兰分散的 FOIA 文档转化为符合 FAIR 标准的大规模数据集，解决了长期存在的数据碎片化与标准化难题。通过技术整合与质量管控，Woogle 数据集不仅为荷兰本土研究提供了宝贵资源，也为全球政府数据开放提供了可复制的 “FAIR 化” 范本。随着 2022 年荷兰 FOIA 立法扩展至主动公开文档，该研究为后续数据整合奠定了基础，有望进一步推动政府透明度提升与跨学科研究创新。其方法论（如 PSS、FAIRIscore）亦为其他领域的非结构化数据治理提供了重要参考，标志着公共数据从 “开放” 向 “可用” 迈出关键一步。
