《Lubricants》：A Novel Assessment Model for the Sustainability of Clean Cutting Technology Based on Game Theory
Zewen Li,
Wei Zhao,
Junjie Hu,
Peng Zhao,
Liang Li and
Feng Kong
编辑推荐：
摘要 本文针对大规模异构数据集中招聘信息去重的挑战，提出一种高效的多阶段方法，该方法结合了基于嵌入的过滤与大型语言模型（Large Language Model，LLM）验证。所提出的系统首先进行数据预处理，并使用文本嵌入模型对关键文本字段进行语义向量化。为降
摘要 本文针对大规模异构数据集中招聘信息去重的挑战，提出一种高效的多阶段方法，该方法结合了基于嵌入的过滤与大型语言模型（Large Language Model，LLM）验证。所提出的系统首先进行数据预处理，并使用文本嵌入模型对关键文本字段进行语义向量化。为降低穷举成对比较的计算成本，研究人员采用基于聚类的分组机制，将比较限制在语义一致的簇内。然后，使用LLM对候选重复对进行验证，评估招聘标题、描述、公司和地点中突出差异的语义等价性。该研究在包含50,000条招聘信息的增强数据集上进行了评估，生成了6,669个候选重复对用于验证。在评估的模型中，GPT-4o取得了最高F1分数（95.10%），而轻量级Phi-4模型表现出竞争性性能（92.58%），且计算成本显著降低。这些发现表明，所提出的混合框架在保持高语义精度的同时，能够支持持续大规模部署的可扩展性。
论文解读
**研究背景**
数字化招聘的普及为劳动力市场数据的自动化分析创造了新机遇，但多源数据整合面临严峻挑战。招聘者常将同一职位发布到多个平台，平台之间相互抓取招聘信息，导致大量重复招聘信息出现。这些重复条目不仅会引入数据偏差，误导就业趋势和技能需求分析，还会增加不必要的计算和存储负担。现有去重方法多依赖传统自然语言处理技术（如n-gram、TF-IDF），但难以处理文本相似但语义不同的情况，且缺乏对无结构文本的深度理解。因此，亟需一种高效、可扩展的混合方法，既能控制计算成本，又能准确识别语义等价的重复招聘信息。
**研究内容与结论**
研究人员提出了一种基于嵌入过滤与大型语言模型（Large Language Model，LLM）验证的两阶段混合框架，用于检测和验证异构招聘信息中的重复条目。该框架首先利用轻量级嵌入模型（WordLlama）对招聘信息的标题、公司、地点和描述等字段进行语义向量化，并通过基于日期和聚类分组机制限制候选对数量，降低计算复杂度。随后，候选重复对由LLM进行语义验证，区分真实重复与仅表面相似的条目。研究人员在包含50,000条招聘信息（其中40,000条来自希腊主要招聘门户网站，10,000条由GPT-5生成以模拟罕见变异）的增强数据集上评估了该框架。结果显示，GPT-4o取得了最高F1分数（95.10%），而轻量级开源模型Phi-4以92.58%的F1分数接近GPT-4o性能，同时显著降低计算成本，且可在本地部署。该研究证明了混合框架在持续大规模部署中的可行性，为招聘数据去重提供了高效、可扩展的解决方案。论文发表在《Lubricants》。
**主要技术方法**
研究人员采用的关键技术方法包括：①基于WordLlama的嵌入模型，用于对招聘信息的关键字段进行语义向量化并计算余弦相似度；②基于日期滑动窗口（14天）和贪婪聚类的分组机制，将比较限制在时间与语义一致的簇内，将复杂度从O(n2)降至O(nk)；③LLM（包括GPT-4o、Phi-4、Llama 3.1-8B、Mistral-7B）进行语义验证，利用Pydantic和Instructor库确保输出结构一致；④通过人工标注（3位招聘专家，Fleiss’κ=0.82）构建真实标签，评估模型性能。样本来源为希腊招聘门户网站（2025年8月1日至10月31日）及GPT-5生成的合成数据。
**研究结果**
**4.1 模型重复率分析**
通过比较各模型判定的重复率与人工标注的真实重复率（约40%），发现Mistral-7B模型重复率极高（75.8%），严重高估重复数量；Llama 3.1-8B重复率（52.2%）仍高于真实值；Phi-4重复率（42.0%）最接近真实值；GPT-4o重复率（39.7%）与真实值几乎一致。这表明Phi-4在轻量级模型中重复率校准最佳，GPT-4o作为性能上限参考。
**4.2 分类性能对比**
以专家标注为基准，GPT-4o取得最高F1分数（95.10%），精确率92.26%，召回率98.14%。轻量级模型Phi-4的F1分数为92.58%，精确率89.97%，召回率95.35%，性能接近GPT-4o。Llama 3.1-8B的F1分数为78.77%，召回率较高（91.95%）但精确率低（68.89%），倾向过度预测重复。Mistral-7B召回率100%但精确率仅51.80%，导致大量误报，F1分数为68.25%。
**4.3 计算效率**
在真实增量处理场景下，WordLlama嵌入检索阶段（15天滚动窗口）平均每天耗时约10分钟。各LLM验证阶段耗时：Mistral-7B最快（约2.5分钟/天），Phi-4约3.8分钟/天，Llama 3.1-8B约4.9分钟/天，GPT-4o因云端调用耗时最长（约6.2分钟/天）。整体管道在可接受运行时间内完成，证明框架适用于连续大规模部署。
**4.4 主要发现**
第一，约40%的真实重复率表明仅靠嵌入检索不足，必须结合LLM语义验证。第二，GPT-4o性能最优，但Phi-4可作为成本可控、本地部署的替代方案，性能损失极小。第三，Llama 3.1-8B和Mistral-7B召回率高但精确率低，导致系统过度去重，不适合生产环境。第四，完整每日去重管道在实用运行时间内完成，验证了框架的持续部署可行性。
**讨论与结论**
讨论部分指出，嵌入过滤与LLM验证的结合有效提高了去重准确性，合成数据的引入增强了模型对多样化表达和结构差异的鲁棒性。未来可通过层次聚类或密度聚类进一步减少成对比较，引入主动学习框架减少人工标注，以及利用智能体系统动态调整提示、阈值和模型选择。开源与商业LLM的权衡需考虑准确性、成本、隐私和合规性，Phi-4等轻量模型在敏感场景中具有优势。研究结论部分（对应原文4.4节）翻译如下：首先，大约40%的真实重复比例证实，仅基于嵌入的近似重复检索是不够的，必须辅以基于LLM的语义验证阶段，才能可靠地区分真实重复与仅相似的招聘信息。其次，尽管GPT-4o取得了最高总体性能并作为语义验证的上限参考模型，但Phi-4表现出几乎相当的重复率和分类准确度，因此可以作为零成本、可本地部署的去重替代方案，在无明显性能损失的同时避免云端推理带来的隐私和基础设施限制。相比之下，Llama 3.1-8B和Mistral-7B召回率高但精确率显著较低，导致系统性过度去重和大量误报，限制了其生产级去重的适用性。最后，完整的每日去重管道——结合15天滚动窗口上的嵌入检索与LLM语义验证——在实用的运行预算内运行，证明了所提出框架在持续大规模部署中的可行性。
