基于广义监督元分块方法的可复现实验，用于实现可扩展的实体解析

《Information Sciences》：Reproducible experiments on a Generalized Approach to Supervised Meta-blocking for Scalable Entity Resolution

　　摘要：在我们的初步研究（Gagliardelli等人，2024年）中，我们提出了广义监督元分块这一新方法，该方法旨在为每对候选项提供其匹配可能性的概率估计。该算法将元分块转化为一个概率二元分类任务，利用多种加权方案作为特征。由此得到的概率估计值可与任何剪枝算法结合使用，通过保留最佳候选项对比来提升分块效果，大幅减少误报，同时不对真报产生显著影响。这些概率估计值还可被先进的渐进式实体解析方法用于尽早识别最有潜力的候选项。通过实验，我们确定了最佳的剪枝算法、最优的特征组合以及训练集的最小规模。实验结果表明，这些方法在多个常用基准数据集上均取得了优异的性能。本文还提供了与我们之前研究（Gagliardelli等人，2024年）配套的可复现论文，详细说明了如何重现整个实验研究，并探讨了如何通过新增特征、分类算法和数据集来扩展该研究。所提出的可复现性方法基于Docker镜像和NVIDIA CUDA Toolkit 12.0，在配备至少128 GB内存、GPU以及至少300 GB可用磁盘空间的多种Linux平台上进行测试。尽管如此，该方法仍存在一定程度的可复现性差异，与初步研究中的实验结果存在细微差别。

引言：实体解析是数据集成领域的核心任务，其目的是识别匹配项或重复项，即描述同一现实世界对象的不同实体配置文件Christen[2]。例如，实体解析应将Wikidata中的https://www.wikidata.org/wiki/Q30与Wikipedia中的https://en.wikipedia.org/wiki/United_States这两组实体配置文件视为匹配，因为它们分别对应着维基数据2和维基百科3中的美国这一实体。

由于实体解析本身具有二次时间复杂度，因此通常采用Papadakis等人[3]、Getoor和Machanavajjhala[4]、Beneventano等人[5]提出的过滤-验证框架来解决这一问题。过滤阶段会将搜索空间缩小到最相似的实体：它以一个或多个数据源中的实体配置文件作为输入，输出最有可能匹配的候选项对。为了提高效率，过滤阶段会将每个实体表示为一组特征或向量（稀疏或密集形式），因为Dong和Srivastava[6]认为，这些表示越相似，对应的实体对就越有可能匹配。验证阶段则只需接收候选项对，即可输出实体解析的最终结果，即被判定为匹配的那些对Stefanidis等人[7]。

在本研究中，我们重点关注过滤技术以及尤其是与架构无关的（元）分块技术Papadakis等人[8]、[9]。这种方法会从每个实体提取多个特征，然后为每个特征创建一个包含所有相关实体的分块。在最简单的情况下，属性值中的每个标记都视为一个特征，从而形成单独的分块。这种方法能够实现较高的过滤召回率，这一点非常重要，因为它决定了验证召回率的上限。然而，由于存在大量误报——即涉及不匹配实体配置文件的候选项对，这种方法的精确度较低Papadakis等人[10]。即使在有监督的设置下，也就是由二元分类器来判断每对候选项是否应被保留时，情况也是如此Papadakis等人[11]。

为了解决这个问题，我们在初步研究Gagliardelli等人[1]中提出了广义监督元分块技术GSM：用一种能够学习估计每对候选项匹配可能性的二元概率分类方案替代了Papadakis等人[11]中的二元分类器。然后利用这一估计值来剪除得分最低的候选项对，从而保留最佳选项，这样虽然对召回率影响不大，但能显著提高精确度。更具体地说，GSM会将现有的分块集合转换为分块图，其中每个节点代表一个输入实体，每条边则连接在至少一个分块中共同出现的实体。GSM的核心思想是根据包含这些实体的（共同）分块的特性，为每条边赋予相应的匹配概率权重。这些边权重使得我们可以应用剪枝算法，剔除那些前景较低的候选项对，仅保留最有可能匹配的选项。我们在初步研究Gagliardelli等人[1]中提出的用于优化现有候选项对的新型剪枝算法总结在表1中。这些算法可分为两类：1. 基于权重的算法，用于指定保留一对候选项所需的最小权重；2. 基于元素数量的算法，用于指定可保留的最高权重的候选项对数量。

为了将这些剪枝算法付诸实践，在初步研究Gagliardelli等人[1]中，我们将GSM的二元概率分类器与表2中总结的新型特征向量相结合。大量的实验研究表明，我们的新型剪枝算法和特征具有更优的性能。在本研究中，我们提供了详细的指南，帮助人们重现初步研究Gagliardelli等人[1]中的所有实验。

需要强调的是，近年来可复现性已成为（计算机）科学领域的重要基础[12]。然而，大多数科学研究仍侧重于提升算法的有效性和效率，相对较少关注实验流程的系统化验证、可移植性和稳健性。相比之下，我们的研究将可复现性视为首要的研究问题，不仅分析了原始GSM方法在不同环境、配置和执行条件下的结果稳定性，还进一步拓展了该研究。我们并非仅仅提供代码和数据，而是深入研究实验结果的可靠重现程度，量化各种偏差，并分析其产生的原因。这一视角与日益普遍的认识相一致，即可复现性不仅关乎研究成果的可用性，还关系到理解结果在何种条件下依然有效。

我们的研究是对现有可复现性举措的补充，比如ACM的成果审查和认证制度4，该制度通过共享和独立评估研究成果来促进透明度。ACM框架定义了从“成果可用”到“结果可重现”等多个层次的可复现性标准，同时强调独立获得的结果应在可接受的误差范围内一致，而非完全相同。不过，这一举措主要侧重于通过成果的可用性和一次性验证来证明可复现性，并未系统地分析实验变异的来源、程度及其影响。而我们的研究则更深入地探讨了可复现性问题，提供了运行所有实验的具体指导，以研究硬件配置和执行环境等因素如何影响结果的一致性。我们还提供了关于最终结果的详细文档，分析了重现实验与原始实验之间的差异，并给出了重新配置和扩展原始实验的建议。通过填补这一空白，我们的研究为现有的认证工作提供了更深入、更量化的实体解析可复现性理解，从而有助于形成更加稳健且易于理解的实验实践。

本文的其余结构如下：第2节介绍了（渐进式）实体解析和监督元分块的背景知识，同时总结了初步研究Gagliardelli等人[1]中的六组实验及其相应设置。第3节提供了重现整个实验研究的指南，说明了系统要求、评估流程以及我们公开提供的代码的编译和使用方法。第4节详细阐述了不同的评估设置以及对原始实验分析的扩展内容，第5节则对全文进行总结，并提出了未来研究的方向。

初步研究Gagliardelli等人[1]中实验的概述：系统要求与性能评估：我们的实验已在表9中列出的所有测试平台上成功重现。需要注意的是，我们的初始配置对应的是Ubuntu?base1。相关的总运行时间记录在表10中。其中，文献中的测试（表8的第4–9步）仅需数小时，而其余实验（表8的第10–14步）则需要数天时间。为避免因网络问题导致实验中断，这些实验都是通过特定方式运行的。

评估不同的实验设置：为了测试我们实验研究的稳健性，用户可以通过修改config/config.ini文件中的以下参数来调整特定实验的配置：1. 训练集的大小，该参数通过train_set_size来设定，默认值为500。除了剪枝算法和训练集大小测试外，所有实验都会使用这个参数。用户可以设置其他数值，以此研究当训练集大小发生变化时，GSM算法的性能会如何变化。

结论：我们在初步研究Gagliardelli等人[1]中提供了一种基于两个Docker镜像的分析型用户指南，帮助用户重现所有关于广义监督元分块的实验。即便用户对此领域了解有限或完全不懂，也能通过这些指南评估各类算法和配置的相对性能。此外，这些指南还允许用户使用新的数据集和/或分类特征来扩展这些实验。所有这些实验都围绕第一个方面展开。

修订意见：这项研究的可复现性审查在2025年9月至2026年7月期间经历了三轮修订。在每一轮中，我们都在自己的服务器上运行了作为Docker镜像提供的完整实验套件，这些镜像还附带了自动启动脚本，然后将结果与手稿中报告的结果进行比较。在第一轮中，实验套件在大约一半的过程中就中止了：因为在之前的某个步骤中未能生成中间概率文件，从而导致训练集大小选择步骤失败。

CRediT作者贡献声明：Luca Gagliardelli：撰写——初稿、软件、方法论、数据整理。George Papadakis：撰写——初稿、软件、方法论、形式分析。Giovanni Simonini：指导。Sonia Bergamaschi：指导。Konstantin Schall：验证。Themis Palpanas：指导、概念设计。

利益冲突声明：作者声明不存在任何已知的财务利益冲突或可能影响本研究结果的个人关系。

致谢：作者衷心感谢Konstantin Schall，他独立完成了实验的重现工作，验证了我们提出的可复现性流程，并在审查过程中提供了宝贵的反馈。他的贡献对于实现可复现性评估至关重要。

Luca Gagliardelli|George Papadakis|Giovanni Simonini|Sonia Bergamaschi|Konstantin Schall|Themis Palpanas
意大利诺韦德拉特大学eCampus