《Proceedings of the Design Society》：Entity matching for recurring engineering components: a bottom-up enabler for reference architecture reconstruction
编辑推荐：
工程组织日益期望复用历史物料清单（BOM）、计算机辅助设计（CAD）和需求数据，以识别可复用的组件。一个关键的先决条件是实体匹配（EM），其在异构工程数据上的性能尚不明确。本文在亚马逊-谷歌数据集和一个多模态工程数据集上评估了经典模型、零样本大语言模型（LLM
工程组织日益期望复用历史物料清单（BOM）、计算机辅助设计（CAD）和需求数据，以识别可复用的组件。一个关键的先决条件是实体匹配（EM），其在异构工程数据上的性能尚不明确。本文在亚马逊-谷歌数据集和一个多模态工程数据集上评估了经典模型、零样本大语言模型（LLM）以及混合实体匹配方法。随机森林和XGBoost达到了接近最先进的结果；大语言模型表现良好但成本高昂，混合方法带来的提升有限。在受控条件下，实体匹配方法可以迁移，并为参考架构重构奠定了基础。
### **面向可复用工程组件的实体匹配：论文解读**
#### **一、 研究背景与问题**
在现代工程领域，组织面临着缩短开发周期、管理日益增长的产品多样性以及最大化产品族间复用的巨大压力。参考架构和模块化平台系统是模型驱动系统工程（MBSE）和产品线工程（PLE）中的成熟工具，但其构建过程仍主要依赖于专家知识和自上而下的建模。与此同时，工业企业积累了海量的历史工程数据，包括物料清单（BOM）树、CAD装配体、企业资源计划（ERP）工件和文本需求等，这些数据隐式地编码了可复用的组件和结构模式。挖掘这些潜在知识，为基于过去项目中经验观察到的共性进行自底向上的参考架构重构提供了可能。
然而，实现这一愿景的核心障碍在于工程数据的碎片化和不一致性。不同工件在命名规范、粒度、完整性和模态上存在差异。在推断架构结构之前，必须将跨项目的异构元素进行整合、规范化和对齐。尽管工程知识图谱（KG）和自动化图谱构建（AGC）领域的最新进展为整合此类数据提供了有前景的框架，但直接解决图谱级重构并非本文目标。相反，研究人员将实体匹配（EM）定位为后续自动化图谱构建和知识图谱归纳的基础使能能力。
实体匹配旨在判断两个工件（如组件、装配体、需求）是否指向同一个底层实体，是任何后续推理步骤（包括结构对齐、链接预测、架构推断和配置优化）的先决条件。尽管实体匹配在电子商务和在线目录等领域已有广泛研究，但对于经典方法、基于大语言模型的方法以及混合方法在处理异构工程数据时的适用性，目前知之甚少。工程工件与开放领域产品描述存在本质区别：它们本质上是多模态的（包含文本、数值、结构和几何信息），表现出领域特定的噪声（如单位不一致或层级漂移），并且源自具有不同统计特性的专门数据集。因此，现有实体匹配技术能否有效迁移到这一场景尚不明确。
#### **二、 研究内容与方法概述**
本研究旨在填补上述空白，通过在公共基准数据集（亚马逊-谷歌）和一个多模态工程数据集上，实证分析三类实体匹配方法：经典机器学习模型、基于零样本大语言模型的匹配，以及整合了大语言模型判断信号的混合流程。研究围绕三个核心问题展开：方法从开放领域基准到多模态工程工件的可迁移性；不同特征模态对性能的贡献；以及经典模型、大语言模型和混合方法在准确性、鲁棒性和计算效率上的比较。基于此，研究人员提出了三个假设：经典方法结合多模态特征在工程数据集上能取得高性能；增加数值、结构和几何特征能提升准确性；混合模型带来的精度增益有限但计算成本显著增加。
为开展研究，研究人员采用了遵循跨行业数据挖掘标准流程（CRISP-DM）的方法论框架，在亚马逊-谷歌数据集和一个源自赛车演示器的多模态工程数据集上进行比较。工程数据集整合了BOM条目（含层次结构信息）、文本标签、CAD衍生的几何描述符（如直方图分箱）和数值属性（如使用次数、尺寸），共计3795个工件。研究流程包括数据准备、基于嵌入的候选对生成、多模态差异特征构建，以及通过监督模型或大语言模型进行分类。主要技术方法包括：
1. **经典监督模型**：使用随机森林、XGBoost和一个PyTorch实现的多层感知机（MLP），训练于捕捉文本、数值、结构和几何相似性的工程化差异特征上。
2. **大语言模型零样本匹配**：使用一个简单、确定性的提示，让大语言模型仅根据文本描述对每个候选对输出“真”或“假”的二元判断。
3. **混合实体匹配流程**：将大语言模型的预测输出作为一个额外的二元特征，整合到传统的机器学习分类器中进行重新训练，以量化大语言模型推理的边际效用。
评估在实体不相交的测试集上进行，主要使用F1分数和精确率-召回率曲线下面积（PR-AUC）作为指标，同时记录运行时间和推理成本以衡量计算效率。
#### **三、 研究结果分析**
**4.1 亚马逊-谷歌基准测试结果**
在亚马逊-谷歌基准测试中，经典模型取得了接近完美的结果：随机森林和XGBoost的F1分数均达到约0.99，PR-AUC大于0.997，这证实了监督式实体匹配方法能很好地迁移到这一成熟基准，并充分利用丰富的文本和价格特征，有力地支持了关于方法在开放领域可迁移性的假设H1。余弦相似度阈值基线获得了极高的PR-AUC但F1分数很低，表明其相似度评分过于自信且精确率-召回率平衡性差。多层感知机表现中等（F1≈0.80），可能源于标注语料库较小且额外的非线性在此价值有限。基于大语言模型的零样本匹配在不训练的情况下达到了F1≈0.91–0.93和PR-AUC≈0.97，证明大语言模型能提供鲁棒的语义相似性信号。然而，其推理速度慢（约3–4秒/次），处理训练集需约2500秒，处理100个测试样本需约460秒。当将大语言模型评分作为特征加入随机森林和XGBoost时，准确性仅有边际提升，而运行时间显著增加。总体而言，基准测试结果回答了研究问题RQ1和RQ3：经典模型和零样本大语言模型都表现强劲，但经典模型提供了明显更优的成本-性能比。混合流程微小的精度增益相对于其运行时开销支持了假设H3。
**4.2 工程数据集结果**
在多模态工程数据集上，相同的流程在受控的合成条件下达到了完美性能。随机森林、XGBoost和多层感知机在所有跨项目分割上都取得了F1=1.00和PR-AUC=1.00。余弦基线也表现接近完美，表明特征空间信息丰富且内部一致。这一性能源于两个因素：(1) 结合了文本、数值、结构和几何描述符的丰富多模态特征；(2) 强制实体不相交的分割策略确保了无泄漏的干净泛化。运行时间极短——基于树的模型在几秒内完成训练并近乎即时预测——证实了它们适用于大规模工程数据。关于研究问题，工程结果表明多模态特征空间可能极其强大，但并未量化各个模态的贡献。由于未进行系统的消融实验，研究问题RQ2只能得到部分回答：多模态特征显然有帮助，但它们各自的重要性仍未测量。
**4.3 结果解读与意义**
跨数据集的研究结果支持了实体匹配方法可以从开放域应用迁移到工程环境（至少在受控条件下）的论断。在亚马逊-谷歌数据集上，该流程使用经典模型复现了接近最先进水平的结果，证明了技术上的合理性并验证了特征工程方法。该基准包含了现实世界产品数据中典型的模糊性，因此性能不能归因于简单的可分离性。在工程数据集上，完美得分需要更谨慎地解读。尽管通过注入合成噪声（如拼写错误、数值偏差、层级漂移）增加了真实性，但数据集最终源自单个演示器模型。底层规律仍具有同质性，因此结果应被视为性能上限，而非表明工程中的实体匹配问题已解决。实际的工业存储库（多项目、多代次、异构）很可能复杂得多。
从概念上讲，结果明确了实体匹配在自底向上参考架构再工程中的角色，该过程依赖于两大支柱：1. 实体匹配——跨工具、项目和生命周期阶段识别相同的工件；2. 链接预测——重构结构性的父子关系和跨视图关系。本文仅评估了第一根支柱。先前关于多视图图神经网络（GNN）的工作涉及第二根支柱，但两者尚未整合。因此，研究发现将实体匹配定位为在有利条件下技术上成熟、可复用的组件，而真正的瓶颈可能在于建模结构依赖关系以及将实体匹配与链接预测结合到统一的图谱构建流程中。
关于基于大语言模型的匹配，结果强调了一个典型的权衡：零样本提示能产生强准确性，但带来显著的运行时成本，并且将大语言模型标签加入经典模型提供的价值有限。这与假设H3一致，并提出了一个实用的分层策略：对于小型/实验性数据集，纯大语言模型匹配方便且足够准确；对于大规模场景，基于多模态特征的经典监督模型在成本-性能方面占主导；混合方法可选择性使用，例如当大语言模型验证来自更快基线的边界预测时。
#### **四、 讨论、局限与未来展望**
**挑战与局限**
研究结果需在以下几个局限性的背景下理解：首先，工程数据是合成的，性能得分是上限。数据集源自单个赛车演示器，尽管注入了噪声，结构上仍具有同质性。因此，完美的实体匹配值反映了最佳情况，不应推广到工业多项目数据集。其次，仅评估了重构的第一根支柱。链接和追溯预测——对于重构分层参考结构至关重要——在本文中仍停留在概念层面。第三，未使用图谱级指标。如图谱编辑距离、约束违反、冗余指数或平台指标（标准化程度DS、部件平台效率PP、部件多样性效率PVE）均未计算，使得实体匹配错误对架构重构的影响无法量化。第四，未进行模态消融分析。尽管特征空间是多模态的，但文本、数值、结构和几何特征的相对贡献仍然未知。第五，大语言模型计算开销大。基于大语言模型的匹配比经典模型慢几个数量级，在没有进一步优化的情况下限制了可扩展性。最后，评估仅关注局部成对预测。实际工作流需要全局一致性、联合消歧以及与链接预测的集成。
**未来研究方向**
基于上述局限性，未来研究有四个优先方向：
1. **集成实体匹配与链接/追溯预测**：将实体匹配与跨视图和视图内链接预测模型（如图神经网络GNN-based追溯性）结合，能够实现参考架构的端到端重构，并允许同时评估实体同一性和结构一致性。
2. **图谱级和共性指标**：实现图谱编辑距离、冗余指数和平台指标（DS, PP, PVE）对于将算法性能与业务相关度量（如复用潜力和平台效率）联系起来至关重要。
3. **在真实工业存储库上评估**：将流程应用于涵盖多个产品和代次的真实产品生命周期管理（PLM）/企业资源计划（ERP）/物料清单（BOM）/计算机辅助设计（CAD）数据集，对于理解性能从合成上限如何下降以及实践中哪些噪声模式占主导是必要的。
4. **选择性大语言模型集成和人机协同设计**：未来研究应探索选择性使用大语言模型（例如，用于轻量级模型标记的模糊对），或师生蒸馏方法。在工业部署中，对关键匹配的人工监督将至关重要。
这些方向共同为构建一个图谱感知、工业就绪的框架铺平了道路，该框架能够在真实的工程环境中联合评估实体匹配、链接预测和架构级指标。
#### **五、 研究结论**
本文研究了面向可复用工程组件的基于人工智能的实体匹配，其双重目标是评估实体匹配方法从开放领域基准到工程数据的可迁移性，并将实体匹配定位为自底向上参考架构再工程的核心构建块。
关于研究问题和假设，研究发现可总结如下：
* **研究问题RQ1/假设H1 – 可迁移性**：在亚马逊-谷歌基准上，经典监督模型（随机森林、XGBoost）达到了接近最先进的性能（F1≈0.99，PR-AUC>0.99）。结合在合成工程数据集上的强劲表现，这支持了假设H1：最初为开放领域目录集成开发的实体匹配方法，在可达到的准确性方面可以迁移到工程工件。然而，对于工程数据，此证据目前仅限于合成的、上限性能的场景。
* **研究问题RQ2/假设H2 – 多模态特征贡献**：工程实验表明，丰富的多模态特征空间（文本、数值、结构、几何）在受控条件下可以产生完美的实体匹配性能，这与假设H2一致。同时，由于缺乏系统的消融实验（纯文本 vs. 文本+技术 vs. +结构 vs. +几何），每个模态的确切定量贡献仍然是一个悬而未决的问题。因此，研究问题RQ2仅得到部分回答。
* **研究问题RQ3/假设H3 – 经典 vs. 大语言模型 vs. 混合实体匹配**：零样本大语言模型匹配在不进行任务特定训练的情况下达到了强劲性能（F1≈0.91–0.93），但其运行时间比经典模型高出几个数量级。将大语言模型输出作为附加特征加入随机森林和XGBoost最多只能带来边际改进。总体而言，基于精心设计特征集的经典监督模型在准确性-成本权衡中占主导地位，而混合实体匹配仅以显著更高的计算成本提供有限的增益。这一实证模式支持了假设H3。
综上所述，本文的主要贡献包括：首次在工程背景下系统比较了实体匹配范式；展示了在受控条件下多模态特征集成可实现接近完美的性能；批判性评估了基于大语言模型和混合实体匹配的权衡；并将实体匹配定位为自底向上参考架构再工程的第一技术支柱。研究发现也将多模态实体匹配定位为自动化图谱构建和工程知识图谱归纳的实用切入点。当前工作应被理解为一个方法论和实证的构建块，而非完整的端到端解决方案。它展示了在受控条件下可实现的目标，揭示了关键局限（合成数据、缺乏图谱级指标、无系统消融），并概述了具体的下一步：将强大的实体匹配与鲁棒的链接/追溯预测以及图谱级评估相结合，应用于真实的多项目工业数据集。
