SemDistill:从噪声大模型中自举低延迟、低成本语义表格标注器

《Proceedings of the ACM on Management of Data》:SemDistill: Bootstrapping a Low-Latency, Low-Cost Semantic Table Annotator from Noisy LLM

【字体: 大 中 小 】 时间:2026年10月24日 来源:Proceedings of the ACM on Management of Data

编辑推荐:

   摘要AI 摘要要查看此 AI 生成的摘要,您必须拥有高级访问权限。了解更多登录摘要摘要关系型表在企业数据湖和仓库中广泛存在,但它们通常缺乏语义上下文,如列类型和关系,这给自动化数据管理带来了瓶颈。语义表标注(包含列类型标注(CTA)和列属性标注(CPA)等任务)对于恢复缺失的

  

摘要

摘要

关系型表在企业数据湖和仓库中广泛存在,但它们通常缺乏语义上下文,如列类型和关系,这给自动化数据管理带来了瓶颈。语义表标注(包含列类型标注(CTA)和列属性标注(CPA)等任务)对于恢复缺失的语义上下文至关重要。虽然大型语言模型(LLMs)在这些任务上表现出色,但其可扩展部署受到高昂成本、高延迟和隐私信息泄露的阻碍。将 LLM 的能力蒸馏到紧凑的本地模型中提供了一种可行的解决方案;然而,这些模型不可避免地会对教师模型预测中的结构化噪声产生过拟合。在本文中,我们形式化了从噪声 LLM 中进行标签高效蒸馏的设定。我们的实证分析揭示了两种误差模式:(1) 系统性本体漂移,一种全局类别条件偏差,LLM 倾向于过度泛化特定概念;(2) 高置信度幻觉,在模糊数据上顽固存在的高置信度错误。为解决这些问题,我们提出了 e SemDistill,一个框架,该框架仅使用稀缺的可信锚点,从噪声 LLM 输出中引导出高性能的本地标注器。e SemDistill 使用基于可靠性的分区和分层优化策略:它通过锚点引导修正建模全局漂移,通过学习轨迹分析残余幻觉,并以不同目标训练可信、半可信和噪声分层。大量实验表明,e SemDistill 有效地解决了成本与质量的权衡问题。它超越了 LLM 教师模型(GPT-5-mini)和蒸馏基线,同时将推理成本降低了3800倍,延迟降低了2600倍。

AI 摘要

AI 生成摘要(实验性)

本摘要由自动化工具生成,未经文章作者撰写或审核。它旨在支持发现,帮助读者评估相关性,并帮助相邻研究领域的读者理解该工作。它作为作者提供摘要的补充,后者仍是论文的主要摘要。完整文章仍是权威记录版本。点击此处了解更多。

点击此处对此摘要的准确性、清晰度和实用性发表评论。这样做将有助于改进和未来的重新生成版本。

要查看此 AI 生成的通俗语言摘要,您必须拥有高级访问权限。

相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号