《Digital Discovery》：MetMINE: a generative large language model-based source-tracked multi-pass framework for metallic materials information extractionOpen Access
编辑推荐：
数据驱动的材料发现需要大规模实验数据集，然而大多数信息仍被困在非结构化文献中。现有提取工作往往聚焦于有限的特征集，未能解决理解材料行为所必需的成分–加工–微观结构–性能（composition–processing–microstructure–propert
数据驱动的材料发现需要大规模实验数据集，然而大多数信息仍被困在非结构化文献中。现有提取工作往往聚焦于有限的特征集，未能解决理解材料行为所必需的成分–加工–微观结构–性能（composition–processing–microstructure–property）一体化关系，从而为构建综合数据库带来了挑战。为弥补这一空白，研究人员提出了一种由大语言模型（large language model, LLM）驱动的多遍信息提取管道，该管道仅从实验报道的材料中捕获跨越成分、加工、微观结构和性能的47个特征。该管道命名为MetMINE（Metallic Materials INformation Extraction，金属材料信息提取），它将迭代提取与源追踪相结合，以提升准确性和可靠性。在特征级（独立属性）和元组级（相互依赖的特征）评估中，F1分数均约为0.96。与无源追踪的单遍提取相比，MetMINE将微观结构类别的F1分数提升了10.0%（特征级）和13.7%（元组级），并在100篇关于含沉淀多主元合金的文章中，将漏检材料从396种中的49种减少至13种（即漏检率从12.4%降至3.3%）。该管道实现了可扩展且高效的文献挖掘，所生成的数据库具有高精确率、极低遗漏和零误报。这些数据集为机器学习和材料信息学提供了可信输入，同时模块化设计可推广至多种材料类别，实现全面的材料信息提取。
**论文解读：MetMINE——基于生成式大语言模型的多遍源追踪金属材料信息提取框架**
**研究背景与意义**
材料科学依赖于对加工、微观结构、性能与服役行为之间关系的全面理解，即经典的材料四面体（materials tetrahedron）概念。然而，尽管计算数据库（如Materials Project、AFLOW等）已结构化存储了大量模拟结果，绝大多数实验信息——包括加工历史、微观结构和性能数据——仍以非结构化文本形式散落在数百万篇出版物中。近年来，材料科学文献以每年4.10%的速度增长，约17.3年翻一番，形成了一个不断扩展却未被充分利用的知识库。
现有自然语言处理（natural language processing, NLP）方法，如基于规则的OSCAR4、ChemicalTagger和ChemDataExtractor，以及基于机器学习的方法，虽在化学实体提取方面取得进展，但难以处理科学语言的复杂性和多变性，且常局限于单一维度或简单的成分–性能关系，未能覆盖完整的成分–加工–微观结构–性能（composition–processing–microstructure–property, CPMP）链条。生成式大语言模型（large language model, LLM）的出现为直接生成结构化输出提供了可能，但已有研究仍多集中在单一信息类型，且缺乏对提取结果的溯源验证。近期基准测试LitXBench也指出，现有流程常将测量数据仅关联至化学成分，而忽视加工历史，导致CPMP链中加工与性能的关键联系丢失。因此，亟需一种能够同时提取多维度信息、保持特征间关联并确保可靠性的自动化框架。
**研究内容与结论**
研究人员提出了一个名为MetMINE（Metallic Materials INformation Extraction）的多遍提取管道，旨在捕获完整的成分–加工–微观结构–性能链条中的分层信息。该管道定义了47个特征，包括14个成分特征、12个加工参数、11个微观结构属性和10个材料性能。研究团队将MetMINE应用于100篇关于含沉淀多主元合金（precipitate-containing multi-principal element alloys）的期刊文章，这些文章包含原始实验结果。评估结果显示，MetMINE在特征级（独立属性）和元组级（相互依赖特征组）评估中分别达到0.959和0.962的F1分数；与单遍无源追踪提取相比，微观结构类别的F1分数提升10.0%（特征级）和13.7%（元组级），漏检材料数从49/396降至13/396（漏检率从12.4%降至3.3%），并实现零误报。该工作发表于《Digital Discovery》，为大规模文献挖掘和材料数据库构建提供了可靠方案。
**主要关键技术方法**
研究人员构建了包含100篇论文的语料库，这些文章通过Web of Science和Scopus关键词检索获得，涵盖含沉淀多主元合金领域。管道使用PyMuPDF提取全文文本，并采用OpenAI的o3-mini模型执行四遍提取：第一遍识别所有材料及其成分和加工参数；第二遍针对每种材料提取微观结构（基体、析出相类型、尺寸、体积分数）；第三遍提取力学性能；第四遍基于完整数据库和原始文本进行验证。核心创新是源追踪机制，即要求模型为每个提取值提供原文中的支持句（Source_Text），并在后续遍次中传递这些证据，以减少引用丢失和错误级联。提示工程策略包括唯一材料定义（成分与加工组合视为独立材料）、结构化额外字段（如Other_Composition）以保留非标准信息，以及JSON格式输出保证可解析性。
**研究结果**
**3.1 整体性能评估**
通过对比单遍无源追踪、多遍无源追踪和多遍有源追踪（即MetMINE）三种管道，研究人员发现MetMINE在所有指标上均最优：特征级F1为0.959，元组级为0.962，而单遍仅为0.869和0.880。多遍无源追踪虽提高了精确率，但召回率下降，表明分步处理并未解决单遍提取的根本召回限制；而加入源追踪后，召回率显著提升11.7%–12.6%，凸显了维护源上下文的关键作用。
**3.2 材料提取完整性分析**
在396种材料中，MetMINE仅漏检13种（3.3%），多遍无源追踪漏检43种（10.8%），单遍漏检37种并额外错误识别12种不存在的材料（总错误12.4%）。漏检材料主要分为两类：一是被忽略的未加工基材，二是加工参数隐含表达的材料。无源追踪在指代消解上失败，如无法将“the FSA specimen”关联到具体材料；单遍则误将文献讨论中的假设场景识别为实验材料。
**3.3 特征性能分析**
在正确识别的材料基础上，对47个特征进行分类评估。成分和加工特征的提取在所有管道中均表现优异（精确率、召回率超过0.96），归因于标准化术语和结构化表述。微观结构提取最具挑战性：单遍管道的特征级精确率和召回率仅为0.880和0.828；多遍无源追踪通过分步提取将召回率提升至0.927，但精确率略有下降；MetMINE通过源追踪进一步将特征级精确率提升至0.934、召回率提升至0.968，元组级F1达到0.924，有效平衡了精确率和召回率，并减少了不当推断导致的错误。性能提取方面，MetMINE在保持高精确率（0.941）的同时获得极高召回率（0.991），其错误主要源于材料间属性混淆（62.5%）、额外推断（12.5%）和间接表述遗漏（25%）。
**3.4 与开源LLM的比较**
使用相同的管道配置，开源的Gpt-oss-20B模型在特征级和元组级F1分别仅为0.803和0.827，明显低于o3-mini（0.959和0.962）。Gpt-oss-20B漏检37种材料并错误识别11种，表明提取性能对模型推理和指令遵循能力高度敏感。尽管管道架构可迁移至不同LLM，但实际提取质量依赖于所选模型的能力及推理配置。
**讨论与结论**
讨论部分指出，多遍架构利用了材料信息的分层依赖关系（成分与加工决定微观结构，进而影响性能），而源追踪提供了级联纠错机制，通过保留原始文本锚点避免指代丢失，并在最终验证时交叉核对所有提取数据，实现零误报。当前框架仍存在局限，包括模型在面对不完整信息时进行不当推断（如假设基体体积分数为剩余百分比）、非确定性输出、仅处理文本而忽视图表信息，以及较高的计算资源消耗（每篇论文约消耗21500个token）。未来工作可探索操作性分类（允许单位换算和化学计量计算，禁止强度预测和外推）、重复提取投票共识、多模态融合及高效上下文策略。
研究结论部分（翻译）：研究人员提出了一个名为MetMINE的多遍源追踪管道，用于从科学文献中自动提取结构化材料信息，目标是含沉淀多主元合金的完整成分–加工–微观结构–性能链条。通过将提取分解为顺序遍次，并将每个提取值锚定到其支持源文本，MetMINE解决了两种基本失效模式：材料遗漏和精度损失。在100篇同行评审文章上的评估显示，管道达到特征级F1为0.959、元组级为0.962，在最困难的微观结构提取任务上保持强劲性能（特征级F1=0.950，元组级F1=0.924）。与单遍提取相比，源追踪将漏检率从12.4%降至3.3%，且零误报，生成的数据库适合作为下游机器学习和材料信息学模型的训练输入。该框架虽在合金体系上验证，但可推广至其他材料类别，为知识图谱开发、跨系统知识迁移和自动化假设生成提供支持，有望推动持续更新的材料知识库和数据驱动发现工作流。
