大规模科学主题分类中人工智能方法的比较评估 Roland Tanácsi 和 András Micsik

《Big Data and Cognitive Computing》：A Comparative Evaluation of AI Approaches to Large-Scale Scientific Subject Classification Roland Tanácsi and András Micsik

　　

摘要

背景：《匈牙利科学文献目录》采用经合组织（OECD）的Frascati科学技术分类法进行主题分类；然而，大约80%的文献记录缺乏分类标签。自动化的大规模分类技术可以帮助补全这些分类信息，从而提高文献数据的质量。 方法：我们评估了多种人工智能方法，仅利用文献标题和关键词将出版物分类到Frascati分类法的第四级。训练数据集来源于文献记录，并通过启发式方法和基于大型语言模型的过滤来减少噪声和歧义。测试的方法包括统计方法、经典机器学习分类器、经过微调的SciBERT模型、基于大型语言模型的零样本提示技术以及专家混合架构（Mixture-of-Experts）。 结果：数据质量对分类性能的影响大于模型复杂性。基于大型语言模型的过滤显著提升了分类效果。表现最佳的模型是支持向量分类器（Support Vector Classifier），其加权F1分数达到了0.83，这一结果在现有文献中的先进方法中属于佼佼者。 结论：我们的发现为分类研究提供了新的见解，可能有助于其他人选择适合实际大规模文献分类任务的解决方案。