基于TF-IDF与线性SVM的资源高效型索马里新闻分类：面向精选新闻语料库的有监督基线模型

《Scientific Reports》：Resource-efficient somali news classification using TF-IDF and linear SVM: a supervised baseline on a curated news corpus

　　

摘要

数字新闻业的快速增长增加了对能够组织大量文本内容的自动化系统的需求。然而，成熟的自然语言处理资源仍集中在高资源语言中，而索马里语等低资源语言仍面临标注数据集可用性有限、特定语言预处理工具和可复现基准不足的问题。本研究开发了一个用于索马里新闻主题分类的轻量级有监督机器学习流水线，使用的是从 BBC 索马里语版和 VOA 索马里语版收集并人工精选的 7240 篇文章语料库。这些文章被组织成八个互斥的主题类别：医疗 (Caafimaad)、体育 (Ciyaaro)、战争 (Dagaal)、宗教 (Diini)、商业 (Ganacsi)、娱乐 (Madadaalo)、政治 (Siyaasad) 和技术 (Tiknoolajiyad)。最终模型使用了单词级 TF-IDF 一元特征和线性支持向量机分类器。在分层 80/20 留出评估中，最佳线性 SVM 配置达到了 94.20% 的准确率。额外的重复分层留出测试和分层五折交叉验证分别产生了 93.11% 和 93.20% 的平均准确率，表明在不同数据划分下性能稳定。有监督基线比较表明，在相同的预处理和评估条件下，线性 SVM 的表现优于多项式朴素贝叶斯、逻辑回归、随机森林以及其他 SVM n-gram 变体。计算性能分析进一步表明，最终流水线在不到两秒内完成训练，在不到四分之一秒内分类测试集，生成的序列化模型小于 1 MB，且无需 GPU 加速。研究结果将 TF-IDF + 线性 SVM 定位为索马里新闻分类的强有力、透明且资源效率高的基线，而未来的工作应在此相同数据、预处理和评估协议下将此基线与基于神经网络和 Transformer 的模型进行比较。