利用集成学习、增强的模型不可知元学习以及双重特征编码技术进行溶解度命名实体识别

《Engineering Applications of Artificial Intelligence》:Solubility named entity recognition using ensemble learning with enhanced model-agnostic meta-learning and dual feature encoding

【字体: 大 中 小 】 时间:2026年01月16日 来源:Engineering Applications of Artificial Intelligence 8

编辑推荐:

  本文提出MetaSol,一种基于元学习的少数样本溶解性实体识别框架,通过动态融合字符级与词级嵌入、改进的MAML算法及CNN-CRF结构,在ChEMU-2020数据集上达到0.9188的F1分数,显著优于基线模型。

  
肖海阳|吴燕|谢晓军|朱志红|关立新|黄兴元|刘和生|李梦山
赣南师范大学物理与电子信息学院,中国江西省赣州市341000

摘要

溶解度命名实体识别(SNER)是从非结构化文本中构建溶解度知识图谱的关键步骤,但由于化学实体的复杂命名法以及标注数据的稀缺性,这一任务仍然具有挑战性。为了解决这些挑战,本文提出了一种名为MetaSol的新型集成学习框架,用于少样本SNER。我们工作的核心贡献有三个方面:首先,引入了一种双重特征编码方案,动态融合了字符级和单词级嵌入,利用SCIBERT实现强大的特征表示;其次,我们提出了一种增强的模型不可知元学习(MAML)算法,结合了基于自注意力的损失加权策略和自适应内循环学习率,以提高优化稳定性和泛化能力;最后,该模型有效整合了卷积神经网络(CNN)用于局部特征提取和条件随机场(CRF)层用于结构化解码。在ChEMU-2020数据集上的广泛实验表明,MetaSol取得了0.9188的先进F1分数,显著优于强大的基线模型。这项研究为SNER提供了有效的解决方案,并为相关科学领域的少样本NER任务提供了宝贵的见解。

引言

溶解过程涉及溶剂和溶质分子之间的相互吸引和结合。从各种化合物和不同条件下的溶解行为生成的溶解度数据是异构的且缺乏组织性(Yin等人,2023年;Wang等人,2023年)。溶解度知识图谱的构建基于大量的非结构化化学数据,如文献、专利和实验报告。值得注意的是,溶解度命名实体识别(SNER)在药物发现(Huang等人,2024年;Yang等人,2025a)和化学文献发展(Leaman等人,2015年)中具有重要的战略意义。这一过程的基础步骤是SNER(Huang等人,2025年;Yu等人,2024年),它涉及从文本来源中识别和分类与溶解过程相关的关键实体(例如,溶剂、溶质、浓度、温度)(Haiyang等人,2024年)。作为化学NER的一个关键分支,SNER不仅致力于识别单个分子,还致力于从文本中提取关于溶解度的关键细节。然而,此类信息通常存在于非结构化文本中(Ming等人,2025年),因此需要使用高效的自动化工具来提取其中包含的宝贵知识(Yang等人,2025b;Wilary和Cole,2021年)。SNER的研究旨在准确捕获与溶解度实体和溶解反应相关的信息,从而为大规模分析和化学知识图谱的创建奠定了坚实的基础(Mosbach等人,2020年)。
虽然许多研究集中在计算机科学中的NER上,但在溶解度和其他化学领域的相关报道较少,准确识别溶解度命名实体的边界仍然是一个具有挑战性的问题。这些实体遵循IUPAC命名法,通常在连字符使用、括号、间距和词序上存在变化(Biesen和Müller,2021年)。例如,“5,6-环氧-8,11,14-二十三烯酸,5,6-EET,5(6)环氧二十三烯酸,5(6)-氧代-8,11,14-二十三烯酸,5(6)-氧化二十三烯酸,5,6-环氧二十三烯酸。”此外,专门针对溶解度的公开标注数据集非常稀缺,可用数据样本数量有限。SNER任务常见的深度学习方法面临两个挑战:首先,IUPAC命名法的使用导致溶解度数据集中的实体由多个单词和符号组成,这种复杂性阻碍了精确的边界划分,从而影响了NER系统的性能;其次,缺乏专门的溶解度命名实体标注数据导致训练样本数量不足。为全面解决这些问题,本文介绍了一种名为MetaSol的创新集成学习模型,专门针对SNER任务所面临的独特挑战。MetaSol的关键创新贡献如下:(1)
双重特征编码与动态融合:我们使用SCIBERT进行上下文化单词表示,并通过双向长短期记忆(BILSTM)提取的字符级嵌入来增强它。动态融合机制自适应地结合这些特征,以更好地表示复杂的化学实体。
(2)
增强的模型不可知元学习:我们通过引入自注意力机制来加权多个内循环更新步骤的损失(Finn等人,2017年),以及自适应内循环学习率和循环外循环学习率调度器,从而改进了优化稳定性和收敛性。
(3)
全面评估:在相关的化学专利数据集上进行了广泛的实验,包括消融研究和与最先进基线的比较。结果证实,MetaSol在少样本设置中表现出优越的性能。

相关工作

早期的NER工作采用了基于规则和字典的简单方法,能够执行直接的NER任务。然而,它们在适应新领域方面面临挑战,并且便携性有限(Tanabe等人,2005年;Xu等人,2025年)。随着传统机器学习和深度学习的不断发展,特定任务的NER技术景观取得了快速进步。值得注意的模型包括

MetaSol模型的整体框架

SNER任务被视为一个序列标注问题,其表述如下:给定一个未标记的序列x={xi}i=1L,长度为L,目标是预测带有准确标签的标记序列y={yi}i=1L。这里,yi和xi代表一对一的令牌。NER系统的主要目标是在源数据集的各种任务上高效训练模型M,使其能够适应不同的任务。图1展示了整个模型训练过程的示意图。
数据集
关于溶解度大数据探索的研究相对较少。值得注意的是,ChEMU-2020项目是在Cheminformatics Elsevier Melbourne大学实验室(ChEMU)进行的,为这一领域提供了宝贵的见解。该数据集可在https://chemu2020.eng.unimelb.edu.au/获取,主要用于从化学专利中提取化学反应。该数据集包含两个不同的部分,适用于NER和事件提取任务。

模型的整体测试结果

数据集经过数据预处理,分为元训练集和元测试集,遵循本文第3.3节所述的方法。元训练集中的任务用于参数更新,从而开发出元模型。元模型的训练结果在图3(a)和(c)中以实体级别展示。随后,元测试集被划分出来,以便进行模型微调和性能评估。

结论与未来工作

本研究介绍了一种针对小样本量SNER挑战的集成学习模型,为这一应用提供了有效的方法。该研究为小样本NER提供了宝贵的参考,为后续关于溶解度知识图谱的研究奠定了基础。然而,当前研究中仍存在一些不足之处。首先,在处理溶解度领域时,实验中使用的数据集并不完全符合

CRediT作者贡献声明

肖海阳:写作 – 审稿与编辑,撰写原始草稿,可视化,研究,资金获取,形式分析,数据管理,概念化。吴燕:写作 – 审稿与编辑,撰写原始草稿,监督,概念化。谢晓军:写作 – 审稿与编辑,撰写原始草稿,可视化,方法论。朱志红:写作 – 审稿与编辑,撰写原始草稿,项目管理。关立新:写作 – 审稿与编辑,写作 –

数据可访问性声明

MetaSol模型的代码、架构、参数、数据集、功能、使用方法和输出可在GitHub上免费获取(https://github.com/xhy52xhy/MetaSol)。

资助

作者感谢国家自然科学基金(资助编号:51663001, 52063002, 42061067, 61741202)和江西省学位与研究生教育及教学改革研究项目(多思维和“439”型跨学科学术学位研究生培养模式)的支持。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号