MembraneBERT：一种专为膜分离数据提取而设计的领域定制型自然语言处理模型

《npj Computational Materials》：MembraneBERT: a domain-tailored NLP model for membrane-based gas separation data extraction

　　

摘要

基于膜的分离技术是能源与环境领域中的关键技术，处于材料科学研究的前沿。为推动该领域的数据驱动发展，我们开发了一套集成的自然语言处理流程，其中包括专为文献挖掘设计的领域定制型变换器模型。其中一个主要挑战是数据不平衡问题，这会导致模型偏向多数类别，并对主导模式产生过拟合现象。为此，我们提出了两种互补策略来引导模型关注少数类别：（1）一种可防止数据泄漏的数据增强方法；（2）使用自定义损失函数进行模型微调，该函数结合了类别加权交叉熵和焦点损失。由此产生的MembraneBERT模型分别实现了0.906的平均精度、0.796的召回率以及0.844的F1分数。将该模型应用于另外3,580篇论文后，它提取出了2,283条关于膜及其气体分离性能的结构化信息，为利用人工智能提取膜性能数据以支持后续的数据驱动研究提供了实用框架。