《Big Data Research》：A graph-based semi-supervised approach for automatic text corpus emergency events labelling in X (Twitter)
编辑推荐：
摘要在涉及危机事件的文本语料库中，一个重要的考量因素是是否有标注作为标签，用以指示相关文本是否属于紧急情况。由于社交媒体文本的非正式性及存在排版错误，对其进行手动标注既昂贵又耗时。本文提出了一种基于半监督分类器的方法，该分类器采用NN算法，用于对X（推特）上的文本语料库中的紧急事
摘要
在涉及危机事件的文本语料库中，一个重要的考量因素是是否有标注作为标签，用以指示相关文本是否属于紧急情况。由于社交媒体文本的非正式性及存在排版错误，对其进行手动标注既昂贵又耗时。本文提出了一种基于半监督分类器的方法，该分类器采用NN算法，用于对X（推特）上的文本语料库中的紧急事件进行标注。我们的主要目标是自动为X（推特）上发布的西班牙语帖子标注紧急或非紧急类别，从而简化标注流程，减少标注团队在时间和资源方面的投入。我们采用了分五个阶段的特殊方法：前两个阶段为数据收集和预处理，通过X（推特）的搜索API获取西班牙语帖子，并将其转换为结构化格式；第三阶段利用语义相似度指标计算帖子之间的相似性；第四阶段运用NN算法连接相似的帖子，进而推断新帖子的类别；最后阶段通过验证指标来检验该方法在正确标注帖子类别方面的有效性。在西班牙语文本语料库上的实验表明，当结合潜在语义索引以及7个最近邻帖子时，这种基于图的方法能够取得良好效果，紧急情况的平均准确率可达82%。
引言
在自然语言处理任务中，黄金标准语料库是一组必须完整、具有代表性、随机且平衡地涵盖特定问题领域的文本[1]，这些文本还需经过人工专家的手动标注，以便后续分析。黄金标准语料库对于机器学习模型的训练和评估至关重要，因为它们能为模型提供清晰、无歧义且具有代表性的数据，从而助力学习过程。
对于规模较小的语料库，手动标注未标注的文本是可行的。然而，对于像与危机相关的这类大规模实时X（推特）语料库而言，这种方法则成本高昂且十分繁琐，因为需要雇佣训练有素的人工标注员，而这些标注员还得具备区分不同紧急事件报告方式的能力。此外，随着语料库规模的扩大，手动标注的工作量也会进一步增加。
近年来，自然语言处理领域涌现出了大量自动标注系统[2]。在[3]、[4]中的研究分别采用了定性分析及统计方法，对比人类标注员对X（推特）数据中与青少年帮派行为相关的攻击性和失落感内容以及沙特阿拉伯帖子中的情感表达所进行的标注结果。在针对X（推特）语料库中与健康危机相关主题的研究中，[5]、[6]、[7]、[8]、[9]、[10]的研究较为突出。在这些研究中，通常由人类标注员负责标注工作，但标注结果的验证则借助朴素贝叶斯、随机森林、支持向量机、卷积神经网络、循环神经网络以及长短期记忆网络等监督式机器学习模型来完成，虽然最终能获得较高的整体性能，但计算需求也相当复杂。相比之下，[11]、[12]、[13]的研究主要采用无监督机器学习模型。尽管这些研究取得了不错的成果，但仍有进一步研究的必要，尤其是因为大多数这类研究使用的聚类算法需要提前指定聚类数量，这可能会限制其在处理包含流式数据的较大语料库时的标注能力。
在早期关于自动文本语料库标注的大多数研究中，都采用了监督学习方法。尽管这种策略取得了不错的效果，但在面对因通过X（推特）实时发布而产生大量数据的危机相关文本场景时，半监督学习便成为一种高效的方法，能够从未标注的数据中自动扩充训练数据[14]。此外，通过文献回顾可以发现，在已研究的与X（推特）语料库相关的自动标注系统中，英语标注的语料库较为丰富，而西班牙语标注的大型语料库则相对较少，这一情况也与[15]中的观点一致。
受此启发，本文提出了一种基于图算法的半监督方法，用于对X（推特）上的西班牙语文本语料库中的紧急事件进行自动标注。我们选择基于图的学习方法，是因为信息检索和语言学领域已经对其进行了大量研究[16]、[17]、[18]、[19]、[20]、[21]，这些研究表明图论在语言数据分析中发挥着重要作用。
我们的方法主要有以下几项贡献：（1）通过分析X（推特）上发布的文本，并将其与现有的紧急事件黄金语料库进行匹配，设计出一种简单的方法来为帖子标注紧急或非紧急内容。该框架能够有效识别社交媒体上报道的各种类型紧急事件的文本；（2）提供了一个演示模型，用于展示实时生成的帖子是如何被标注的。通过这种方式，我们的方法旨在减轻语料库标注员的手工工作负担，同时实现高度准确的自动标注。
本文的其余部分结构如下：第2节详细介绍所提出的方法，包括数据收集、预处理、相似度度量以及验证指标等内容；第3节展示计算结果并进行分析；第4节呈现自动文本语料库标注的演示模型；第5节对本研究进行总结，并提出未来工作的方向。
章节摘录
提出的方法
我们提出了一种用于X（推特）上自动文本语料库标注的半监督方法。我们的解决方案基于最近邻算法，该算法以社交媒体消息中的文本与UrbangEnCy文本语料库中文本的相似度值作为输入[22]，进而确定这些文本的类别——紧急或非紧急。图1展示了该方法的整个流程，后续内容将详细介绍每个阶段的具体操作。
计算结果与分析
为了检验我们所提出方法的有效性，我们使用了之前描述过的两个数据集，通过不同的设置和场景进行了多项计算实验。
演示模型
在图4中，我们展示了用于部署本文提出的自动标注方法的可视化平台设计方案。我们将这个可视化平台命名为“紧急情况雷达”。在该平台上，我们仅以流式视图（红色按钮，上面显示“正在直播”字样）展示被我们的标注方法认定为紧急情况的帖子，而这些帖子的内容则显示在右侧的插件中（“最新帖子”）。
此外，我们还希望让民众能够了解相关信息。
结论与未来工作
本研究提出了一种基于图算法的用于X（推特）上自动文本语料库紧急事件标注的方法。该方法以最近邻算法为基础，以社交媒体消息中的文本与紧急事件相关语料库中文本的相似度值作为输入，进而自动为文本分配紧急或非紧急的标签。我们通过对比不同的k值以及文本相似度度量方法，对各种方案进行了评估。
人工智能辅助写作声明
在撰写本文的过程中，作者使用了Google Gemini和OpenAI ChatGPT工具，以提高文本的语法水平、用词精准度以及整体可读性。使用这些工具后，作者对内容进行了必要的审阅和修改，并对最终发表的文章内容承担全部责任。
CRediT作者贡献声明
Jorge Parraga-Alava：写作——审阅与编辑、写作——初稿撰写、可视化、验证、监督、软件开发、方法设计、研究实施、形式分析、数据整理、概念构建。Jorge Rodas-Silva：写作——审阅与编辑、写作——初稿撰写、可视化、软件开发。Jandry Franco：验证、数据整理。María-José Vélez：验证、数据整理。
利益冲突声明
作者声明，他们不存在任何可能影响本文研究结果的已知财务利益关系或个人关系。
Jorge Parraga-Alava|Jorge Rodas-Silva|Jandry Franco|María-José Vélez
厄瓜多尔马纳比技术大学信息科学学院，何塞·玛丽亚·乌尔维纳大道，波尔托维霍
