基于表格的文本解析方法在聚合物科学中的比较研究

《ACS Omega》：Table-Based Text Parsing Methods for Polymer Science: A Comparative Study

　　

摘要

聚合物信息学已成为寻找更可持续塑料的研究热点领域。然而，面向聚合物研究界的高质量、大规模开源聚合物材料数据库仍然匮乏。构建此类数据库的工作涉及通过从科学文献中挖掘化学数据来自动生成大规模实验材料数据库，其中特别关注表格数据的挖掘，因为表格是聚合物信息的丰富来源。本研究比较了两种工具在提取大量关于聚合物名称及其玻璃化转变温度、熔融温度和解解温度的表格数据时的性能：一种采用下游神经网络从表格字段中解析聚合物名称的表格提取工具，以及“化学感知”自然语言处理工具ChemDataExtractor的表格挖掘模块。研究发现，两种方法均具有较高的精确率。前者的召回率通过保留源表格的部分隐式结构而得到提升，而后者则提供了从聚合物科学文献中进行知识提取的更为广泛的适用范围。

## 聚合物科学中的表格文本解析方法比较研究——论文解读

### 研究背景与问题

聚合物以塑料形式存在，是现代社会中应用最广泛但同时也最具争议的材料之一。全球每年生产超过4.3亿吨聚合物材料，其中三分之二被设计为短寿命使用并最终成为废弃物。塑料废弃物的减少已成为联合国和欧盟的重要目标，解决这一问题需要在聚合物的制造和消费方式上进行重大转变。数据驱动的材料发现方法为开发新型可持续材料提供了现代途径，聚合物信息学领域因此具有广阔前景，理论上存在数量惊人的聚合物组合可能性，为聚合物设计提供了巨大的设计自由度。

材料基因组计划等项目推动了数据驱动材料发现领域的兴趣和需求增长。数据驱动方法的核心在于存在大规模、连贯的材料数据集，这些数据集为材料开发提供基础。然而，数据集中洞见的价值高度依赖于数据质量，要求数据准确且无偏。现有材料数据库面临多重挑战：基于从头计算方法生成的计算数据库虽然规模可观，但性能多样性不足，且计算通常在隔离分子上进行，与真实材料应用环境中的行为存在显著差异。这一问题在聚合物领域尤为突出，聚合物的较大分子尺寸使得典型的电子结构计算和分子动力学模拟对单个聚合物系综就需要数天时间。人工管理的数据库虽然质量较高，但PolyInfo数据库等示例包含了47万个数据点、6.1万个玻璃化转变温度值，却不对公众开放，无法用于聚合物信息学开放研究。

已有研究利用聚合物信息学预测玻璃化转变温度，但几乎全部依赖计算数据源。自然语言处理技术在法律、金融和生物医学领域已得到应用，而材料科学领域因化学命名和性能描述缺乏标准化而应用进展缓慢，其中化学命名实体识别是主要瓶颈。当前，聚合物信息主要存在于科学论文的表格中，表格相比基于句子的文本具有更多隐式结构，理论上应更有利于数据提取。然而，表格格式和聚合物命名规范的不统一仍带来巨大的数据提取挑战。在此背景下，研究人员对两种基于表格的聚合物数据提取方法进行了系统比较研究。

### 研究内容与结论

本研究对Oka等人提出的方法（采用深度神经网络进行表格数据提取）与ChemDataExtractor v2.4工具在提取聚合物名称及其玻璃化转变温度（T_g）、熔融温度（T_m）和分解温度（T_d）方面的性能进行了比较评估。两种方法均使用相同的18,602篇来自Elsevier出版社的全文学术论文数据集，来源于Elsevier应用程序编程接口（API）获取的XML格式文档。研究发现两种方法均达到较高精确率，Oka方法因保留表格结构信息而获得较高召回率，ChemDataExtractor则展现出更广泛的知识提取适用范围和更高的可扩展性。该研究发表在《ACS Omega》期刊上，为聚合物科学领域构建稳健的表格数据挖掘协议奠定了基础。

### 关键技术方法

本研究使用的主要技术方法包括：（1）基于深度神经网络（DNN）的化学命名实体识别方法，采用字符级嵌入和词嵌入进行词性标注；（2）ChemDataExtractor v2.4工具，其化学命名实体识别步骤由基于科学文本预训练的SciBERT变换器模型完成；（3）基于规则的属性解析方法，用于识别属性说明符、属性值和单位；（4）表格结构处理与转换，两种方法均将XML格式文档中的表格数据提取为适合自然语言处理流程的格式。评估数据由100篇聚合物期刊文章和100篇非聚合物期刊文章组成，从PolyInfo数据库来源获取基准数据进行对照。

### 研究结果

**表格识别结果比较**

通过使用lxml包的简单Python方法对表格识别结果进行验证，Oka方法和ChemDataExtractor均能正确识别表格。从18,602篇文章中，lxml方法识别出13,201篇包含表格的文章、共30,936个表格；ChemDataExtractor识别出13,200篇含有表格的文章、共30,935个表格；Oka方法识别出13,201篇含表格文章、共30,936个表格。三种方法获得的表格数量基本一致，表明两种管线均能正确识别表格。

**数据分布与代表性分析**

将两种方法提取的转变温度数据与PolyInfo数据库所载对应数据进行比较，柱状图显示两种方法提取的数据大致遵循T_g、T_m、T_d的分布特征，表明所得数据能够代表学术文献中的聚合物材料数据，不存在对特定聚合物材料类别的偏向。Oka等人对?50至0°C区间T_g范围与直方图的偏差现象在研究中得到重现。ChemDataExtractor获得的数据在0至50°C和400至450°C的T_d范围内出现较大偏差，经检查发现0至50°C之间的部分数值实际为特定降解温度下的质量损失百分比，这解释了该偏差的出现。

**评估指标对比**

采用精确率、召回率和F1分数作为评估指标，Oka方法在T_g、T_m、T_d三种属性上的召回率分别为0.891、0.844和0.972，综合召回率为0.892；ChemDataExtractor相应的召回率分别为0.380、0.226和0.207，综合召回率仅为0.271。在精确率方面，ChemDataExtractor表现略优，综合精确率为0.931，而Oka方法为0.809。两种方法的F1分数分别为0.848（Oka方法）和0.420（ChemDataExtractor）。两种方法提取的属性总数差异显著：Oka方法获得2,181条T_g记录、1,526条T_m记录和2,316条T_d记录；ChemDataExtractor仅获得661条T_g记录、686条T_m记录和290条T_d记录。绝大多数错误源于遗漏或错误识别的化合物单元格，两类方法中均出现了标签和数字被用作化学物质表示的相互依赖解析问题。

**处理性能与可扩展性比较**

ChemDataExtractor平均处理每篇文章需3.5分钟，在ALCF Polaris超级计算机上利用32核CPU同时处理32篇文章，总运行时间35.5小时；Oka方法平均每篇文章仅需2.4秒，在Intel i5-8500 6核CPU上总运行时间12.5小时。Oka方法的处理瓶颈在于TSV表格提取过程，平均每篇文章需2.1秒，而ChemDataExtractor在这部分仅需约0.25秒。评估数据集中所有表格均被正确解析。

### 讨论与结论

Oka方法的适用范围较窄，其化学命名实体识别仅适用于聚合物名称；相比之下，ChemDataExtractor不仅能识别聚合物以外的材料化合物，还可轻松扩展到提取更多属性，并能将属性组合到单个化学记录中。ChemDataExtractor不仅限于XML格式，还能处理HTML和纯文本格式的文档，结合PDF转markdown工具可进一步扩展至PDF文档的表格数据提取。

研究发现聚合物领域学术文献中的表格数据缺乏标准化，包括表格结构格式和表内数据两方面。这与“从表格提取数据比从文本散文中更容易”的直觉预期相悖，因为表格虽然比句子更具有结构化特征，且数据密度更高，但缺乏标准化仍然是主要障碍。Oka方法通过标记整个单元格而非单个标记来保留部分表格结构，特别是当一列中30%以上单元格被标记为包含聚合物名称时即标记整列。这一简单步骤是聚合物数据提取中对表格结构某些部分进行保留的体现，去除该步骤后，获得的T_g/T_m/T_d记录数分别从2,181/1,526/2,316降至1,678/1,199/1,761，表明该规则使召回率提高27%。

本研究证明了ChemDataExtractor v2.4和Oka方法均能以相对较高的精确率从科学文献中挖掘关于聚合物名称及其性能的表格数据。Oka方法对表格结构的利用显著提升了召回率，在对精确率和召回率进行权衡时展现出明显优势；而ChemDataExtractor凭借其模块化管线设计，在知识提取的广度和工具的可扩展性方面具有更大的潜力。未来从表格和文本散文中同时提取聚合物数据将最为有益，随着基于大型语言模型（LM）的方法不断发展，可进一步扩展ChemDataExtractor的语言模型应用，开发同时对文本、表格、图像和图形数据进行并行处理的多模态模型，通过不同数据类型之间的相关性实现协同分析。