《Computers and Electrical Engineering》：Power engineering domain pretrained language model with natural language processing benchmarks
编辑推荐：
为解决电力工程领域自然语言处理（NLP）研究缺乏专用的预训练模型和评测基准的问题，来自成均馆大学的研究人员通过收集近百万篇公开的电力工程论文摘要，构建了领域专用语料库，并在此基础上预训练了PoE BERT模型，同时首次提出了包含文档分类、问答（QA）和命名实体识别（NER）三个任务的电力工程NLP基准。实验结果表明，PoE BERT模型在参数规模相近的情况下，相比基础BERT-small模型平均性能提升约13%，显著提高了该领域NLP任务的性能。这项研究为电力工程领域的NLP应用提供了关键模型与评测资源，推动了该领域人工智能研究的深入。
在人工智能浪潮席卷各行各业的今天，电力工程这个关乎国计民生的古老而关键的学科，却显得有些“安静”。电力工程专注于电力的生产、传输、分配和使用，是支撑现代社会运行的基石。随着全球能源转型加速，可再生能源占比不断提升，对电力系统的规划、运行和维护提出了更高要求。然而，与生物医学、法律、金融等领域相比，先进自然语言处理（NLP）技术在电力工程领域的应用相对滞后。尽管已有研究尝试利用大型语言模型（如ChatGPT、Claude等）辅助电力工程师进行软件编码或从应急计划中提取信息，但此前尚无专门针对电力工程领域文本进行预训练的模型，也缺乏一套统一、公开的NLP任务基准来评估模型性能。这就像面对一座蕴含丰富知识的矿山，却没有趁手的开采工具和统一的矿石质量标准。
为了填补这一空白，来自韩国成均馆大学应用人工智能系的研究团队（Kyubum Hwang, Mirae Kim等）开展了一项开创性的工作。他们认识到，电力工程领域与生物医学领域具有相似特征：知识密集、专业术语和缩略语众多，且公开可用的标注数据稀缺。借鉴生物医学领域通过领域专用预训练（如BioBERT、PubMedBERT）显著提升模型性能的成功经验，研究团队决定为电力工程领域“量身定制”一套解决方案。他们的核心目标有二：一是构建一个高质量的电力工程领域语料库，并基于此预训练一个专门的模型；二是建立该领域首个NLP基准，为未来的研究提供评测标准。这项研究成果最终发表在了《Computers and Electrical Engineering》期刊上。
研究人员开展这项工作，主要运用了以下几个关键技术方法：首先，他们以“电力工程”为关键词，耗时三个月收集了2004年至2023年间约98万篇开放获取论文的摘要，构建了包含近2.15亿词汇的领域专用语料库，并使用t-SNE可视化验证了其与通用领域文本的分布差异。其次，他们基于RoBERTa的训练方法而非原始BERT，采用BERT-small架构（约2900万参数）在A100 GPU上对语料库进行了100个周期的领域自适应预训练，得到了PoE BERT模型，并使用伪复杂度（PPPL）指标评估了预训练效果。最后，他们利用该语料库，通过人工标注结合GPT-4 Turbo模型半自动生成的方式，构建了包含三个任务的电力工程NLP基准：文档分类（二元、四类、十四类）、抽取式问答（QA）和命名实体识别（NER），其中NER任务定义了电力网络、电站设施、设备组件、能源来源等七个实体类别。
研究结果部分如下：
5.1. 文档分类
在文档分类任务中，PoE BERT模型在二元分类（区分电力工程与其他领域文档）、四类分类和十四类分类（按出版主题划分）中，几乎在所有评估指标（准确率、精确率、召回率、F1分数）上都优于包括SciBERT、RoBERTa、BERT-base、BERT-small等在内的基线模型。特别是在任务复杂度较高的十四类分类中，相比性能最差的DistilBERT模型，PoE BERT的F1分数提升了约17.82%，表明领域学习在任务复杂时效率更高。尽管在二元分类中，PoE BERT的召回率略低于在大规模通用语料上训练的RoBERTa，但其在准确率、精确率和F1分数上均表现最佳。
5.2. 问题回答
在抽取式问答任务中，RoBERTa模型在精确匹配（Exact Match）和F1分数上均取得了最高分。PoE BERT模型的F1分数比RoBERTa低约2.81%。研究人员分析认为，这是因为RoBERTa在约160GB的更大规模通用数据集上进行了预训练，使其能够处理更多样化的问答模式。然而，值得注意的是，参数量仅为RoBERTa约四分之一的PoE BERT模型，其性能与RoBERTa差距不大，这表明在领域特定任务中，高质量的领域语料可以在一定程度上弥补预训练数据规模上的不足。
5.3. 命名实体识别
在命名实体识别任务中，PoE BERT模型在精确率、准确率和F1分数上全面超越了所有基线模型，展现出在识别电力工程专业术语和实体方面的强大优势。尽管其召回率略低于在科学领域文本上预训练的SciBERT模型，但PoE BERT的F1分数比使用相同参数量的BERT-small模型高出约25.80%，性能提升最为显著。这充分说明领域特定预训练对于提升模型理解和识别专业术语的能力至关重要。
结论与讨论
本研究的实验结果表明，在电力工程领域进行领域自适应预训练能够显著提升NLP模型的性能。尽管PoE BERT模型参数量较小（约2900万），但在其专门构建的三个基准任务上，平均性能相比同参数量级的BERT-small提升了约13%。尤其是在命名实体识别和复杂文档分类任务上提升明显，这凸显了领域预训练对于模型掌握专业术语和细粒度领域知识的重要性。本研究的主要贡献在于：1) 构建了基于近百万篇论文摘要的电力工程领域语料库；2) 提出了高效、参数规模适中的领域专用预训练语言模型PoE BERT；3) 首次建立了一套覆盖文档分类、问答和命名实体识别的电力工程NLP基准，为后续研究提供了统一的评测平台。
当然，研究也存在一些局限性。例如，预训练语料仅使用了论文摘要，未包含全文中的详细方法、公式和图表；基准任务尚未涵盖故障报告解析、标准规范关联等更贴近工业实际的应用场景；评估基于单次实验，未进行多次重复的统计显著性检验等。未来的工作可以扩展至全文、技术报告和工业文档，纳入多模态信息，并在更广泛的基线模型和预训练策略下进行系统比较与消融分析。
尽管如此，这项研究为电力工程领域的自然语言处理研究奠定了重要基础。它证明了经过精心策划的人工生成文本数据在专业领域AI应用中的巨大价值。通过提供专用的模型和基准，该工作有望加速NLP技术在电力系统自动化、智能运维、知识管理等场景的应用，从而助力全球能源转型和电力行业的智能化升级。
