PV600钙钛矿带隙文本数据集：面向文献信息提取的基准资源与自然语言处理评估

本研究针对钙钛矿材料研究中缺乏标准化文本数据集的问题，开发了首个手动标注的钙钛矿带隙文本数据集PV600。研究人员从238,431篇文献中筛选600个文本片段，标注227个带隙值及其类型（实验/计算/文献/未知），并系统评估了问答模型、规则方法和生成式大语言模型（LLMs）的信息提取性能，为材料科学自然语言处理研究提供了重要基准工具。

　　

在材料科学研究爆炸式增长的今天，海量文献中蕴藏着宝贵的实验和理论数据，但如何高效提取这些"沉睡"的信息成为关键挑战。钙钛矿材料因其在光伏、光电探测器等领域的卓越性能备受关注，特别是带隙(Bandgap)这一决定光吸收特性的关键参数。然而，当前缺乏针对钙钛矿的标准化文本数据集，严重制约了自然语言处理(NLP)工具在该领域的开发与评估。

针对这一瓶颈，芬兰图尔库大学(University of Turku)与赫尔辛基大学(University of Helsinki)的研究团队联合开展了开创性工作。他们从238,431篇含"perovskite"的文献中，筛选出47,688篇开放获取论文，最终构建包含600个文本片段(7句/段)的PV600数据集，聚焦MAPbI₃(MAPI)、FAPbI₃(FAPI)等5种典型钙钛矿。通过6位材料专家双重标注，最终确定227个带隙值，并按实验(EG_EXP)、计算(EG_COMP)、文献引用(EG_LIT)和未知来源(EG_UNK)分类。这项工作发表在《Scientific Data》期刊，为钙钛矿文本挖掘建立了首个黄金标准数据集。

研究团队采用多模态技术路线：1) 通过Elsevier等5个出版商API构建文献库，使用正则表达式提取7句片段；2) 采用brat标注工具实施双重专家标注，建立带隙值与类型标签；3) 设计三类信息提取(IE)测试方案，系统评估问答模型(QA-MatSciBERT)、规则方法(CDE2)和5种大语言模型(含GPT-4o)的性能；4) 创新性引入片段预筛选策略，分析其对IE准确率的提升效果。

【数据集特征】统计分析显示，CsPbI₃带隙注释最多(27.3%)，MAPbBr₃(MAPB)最少(13.1%)。带隙类型分布呈现"未知>文献>实验>计算"的特点，反映文献表述的不规范性。带隙值分布图显示CsPbI₃跨度最大(1.52eV)，CsPbBr₃最集中(0.72eV)，而时间趋势分析表明近年研究呈现数值多样化的特点。

【IE性能评估】三类测试揭示：1) GPT-4o在预筛选中F1达91.6±0.2，显著优于开源模型(44.6-63.4)；2) 采用GPT-4o预筛选后，最佳开源模型Llama3-ChatQA的IE性能F1提升至73.2，接近GPT-4o(81.4)；3) QA-MatSciBERT在无预筛下F1达64.0，展现专业模型的优势。值得注意的是，GPT-4o对计算型带隙分类准确率达97.1%，但对实验型仅62.2%，反映出现有模型对实验描述的理解局限。

这项研究通过PV600数据集的建立，解决了钙钛矿研究领域缺乏标准化评估基准的迫切需求。其创新性体现在：1) 首个针对钙钛矿带隙的标注数据集；2) 系统比较了传统IE工具与新兴LLMs的性能边界；3) 证实高质量预筛选可提升开源模型性能至商用水平。数据集特别标注的带隙类型和时间分布，为研究钙钛矿技术演进提供了独特视角。未来，该框架可扩展至其他材料特性提取，推动材料科学文本挖掘从"数据贫瘠"向"数据丰富"范式转变。研究也警示当前LLMs在实验数据理解上的不足，为下一代领域专用模型开发指明了方向。