《Safety Science》：LLM-assisted labeling and transformer model ensemble for disaster-related news classification in Korean regional media (2011–2024)
编辑推荐：
申恩惠（Eunhye Shin）| 李佳熙（Gahee Lee）| 金度宇（Do-Woo Kim）韩国蔚山中区Jongga-ro 365号，国家灾害管理研究院摘要在灾害发生期间，及时的情况感知至关重要，而新闻媒体是获取快速可靠灾害相关信息的重要来源。然而，现有的新闻挖掘研究主要集
申恩惠（Eunhye Shin）| 李佳熙（Gahee Lee）| 金度宇（Do-Woo Kim）
韩国蔚山中区Jongga-ro 365号，国家灾害管理研究院
摘要
在灾害发生期间，及时的情况感知至关重要，而新闻媒体是获取快速可靠灾害相关信息的重要来源。然而，现有的新闻挖掘研究主要集中在有限的自然灾害类型上，往往忽视了多种人为灾害。为了解决这一局限性，我们提出了一种混合分类框架，结合了商业API提供的大型语言模型（C-LLMs）和开源的可微调预训练语言模型（F-PLMs），以对31种不同的灾害类型进行分类。我们首先使用两个C-LLMs（GPT-3.5-Turbo和Gemini-2.0 Flash-Lite）自动标记了277万篇文章中的56,563个分层新闻标题。仅对19.1%的不一致案例进行了人工审核，显著减少了人工标记的工作量。然后使用这个标记的数据集对两个基于Transformer的F-PLMs（BERT和KoELECTRA）进行了微调，并将它们组合成一个软投票集成模型。该集成模型的Macro-F1分数达到了0.9589，接近表现最好的C-LLM（Gemini，0.9817）。对分类新闻文章的时间分析显示，其与韩国中央灾害与安全对策总部公布的92个官方启动日期高度吻合，验证了该框架在现实世界中的适用性。目前，韩国国家灾害管理研究院正在使用这种混合方法进行实时灾害新闻监测，并将其作为政府灾害预算优先级制定的重要参考之一。
引言
在灾害情况下，快速准确地获取信息至关重要，而新闻媒体在提供此类信息方面发挥着核心作用（Chauhan和Hughes，2017）。新闻媒体通过官方公告和现场报道提供可靠且及时的信息，因此成为灾害响应的权威来源（Kapoor，2015）。因此，新闻数据被广泛认为是灾害准备和响应策略的宝贵资源（Pisal和Jadhav，2024）。
最近的研究利用新闻文章来估计灾害影响或补充现有的全球灾害数据库。例如，De Brito等人（De Brito等人，2020）展示了通过文本挖掘德国2018/19年干旱期间的媒体报道来快速监测干旱影响的能力。此外，地区性新闻媒体通常会提供关于小规模灾害的详细报告，而这些灾害往往被全球灾害数据库忽略。因此，整合地方新闻数据可以显著提高全球灾害影响数据库的质量。在马拉维进行的一项案例研究表明，地方报纸数据通过填补洪水影响评估中的时空空白，有效补充了官方统计数据（Bailon等人，2025）。因此，新闻数据被认为是灾害管理的宝贵补充来源。尽管这些研究展示了新闻数据的潜力，但其应用范围主要局限于洪水、干旱等特定且高频率的自然灾害。在系统分类更广泛的灾害类型方面仍存在重大研究空白，尤其是多样且多方面的自然灾害，这些灾害在大规模自动化分析中经常被忽视。
自然语言处理（NLP）技术的进步在一定程度上缓解了这些挑战。特别是开源的可微调预训练语言模型（F-PLMs），如BERT，在包括文本分类和问答在内的各种NLP任务中表现出先进的性能，因为它们能够双向学习上下文含义（Devlin等人，2019；Liu等人，2017）。类似地，像KoELECTRA这样的本地化韩文模型也已被开发并成功应用于灾害信息分析（Lee和Song，2024）。然而，将F-PLMs应用于灾害新闻分类需要大量的标记数据。手动标记大量新闻数据既昂贵又耗时（Alam等人，2014）。因此，需要结合上下文感知的语言模型来有效处理大规模、多类型的灾害新闻分类。
为了克服这些限制，最近的研究重点关注了大型语言模型（LLMs）的使用。商业API提供的大型语言模型（C-LLMs），如GPT-3和GPT-4，可以通过零样本分类立即对文本进行分类，而无需额外训练，这得益于它们庞大的预训练知识库（OpenAI，2023；Farr等人，2024）。例如，最近的基于GPT的模型能够从数百万条新闻中准确识别与自然灾害相关的文章，并有效提取地理信息（Sufi和Alsulami，2025）。尽管一些研究表明使用C-LLMs的自动分类可以达到人类水平的准确性（Boji?等人，2025），但持续使用基于API的模型仍然存在显著的成本和数据主权问题（Cruickshank和Ng，2023；Zhang等人，2023）。因此，有效的C-LLMs利用策略对于满足实时处理需求和成本限制至关重要。
最近，提出了结合大规模LLMs和较小规模可微调语言模型的混合方法作为解决这些挑战的方案（Farr等人，2024）。这种混合方法通常首先使用C-LLMs作为标记工具，自动标注大规模新闻语料库。随后，利用这些标记的数据集对较小的开源F-PLMs进行微调。Farr等人（Farr等人，2024）证明，即使专家验证仅限于数据的一小部分，这种混合方法也比纯LLM分类方法具有更高的准确性。此外，结合多个F-PLMs的集成方法被报道为比单一模型方法具有更稳定和更泛化的性能（Zhang和Shafiq，2024）。
在这项研究中，我们提出了一种针对韩国地区灾害新闻的混合新闻分类框架，该框架结合了使用C-LLMs的自动标注和基于Transformer的F-PLMs的集成分类器。具体来说，我们首先使用最先进的C-LLMs自动为韩国地区新闻文章标注灾害类别。接下来，我们使用标记的数据对两个选定的F-PLMs进行微调，并将它们组合成一个集成分类模型。所提出的混合模型旨在准确快速地识别各种灾害类型，包括自然灾害和人为灾害，从大规模地区新闻数据集中提取有意义的信息。我们进一步使用实际的韩国灾害数据评估了我们提出方法的有效性，并将模型的性能与现实世界的灾害事件进行了比较。
章节片段
新闻数据集
本研究使用了从韩国16个大都市和省份的代表性地区报纸收集的新闻标题数据。分析的区域包括首尔、仁川、大田、大邱、釜山、光州、蔚山、京畿道、江原道、忠清北道、忠清南道、全罗北道、全罗南道、庆尚北道、庆尚南道和济州岛。选定的地区报纸包括《首尔新闻》（Seoul Shinmun）、《仁川日报》（Incheon Ilbo）、《大田日报》（Daejeon Ilbo）、《每日新闻》（Maeil Shinmun）、《釜山日报》（Busan Ilbo）和《光州日报》（Gwangju Ilbo）。
使用商业API提供的大型语言模型（C-LLMs）进行数据标注
在这项研究中，我们对通过分层抽样选出的56,563个新闻标题进行了灾害类型标注。使用了两个C-LLMs——GPT-3.5-Turbo（OpenAI）和Gemini-2.0 Flash-Lite（Google）来进行标注。我们首先准备了一个提示，指示模型将每个新闻标题分类到32种灾害类型中最合适的类别中（包括“非灾害”）。然后，我们分别将提示提供给GPT-3.5-Turbo和Gemini-2.0 Flash-Lite，并获得了
使用真实世界灾害事件验证所提出的模型
为了验证我们提出的混合新闻分类框架的实际适用性，我们按照灾害类型对2011年至2024年间收集的2,771,589个新闻标题进行了分类。我们将这些分类结果以时间序列格式可视化，并将其与韩国中央灾害与安全对策总部（CDSCH）和中央灾害管理总部（CDMH）的启动日期代表的实际灾害事件进行了比较，以直观评估模型的性能（图6）。
分类新闻文章频率的峰值与
结论与讨论
本研究提出并验证了一种高效的混合分类框架，用于快速检测和分类来自韩国地区新闻数据集的灾害相关新闻。所提出的框架利用C-LLMs进行自动标注，高效构建高质量标记的数据集。随后，使用这些标记的数据对两个F-PLMs（特别是BERT和KoELECTRA）进行了微调。我们进一步通过将这两个F-PLMs组合成一个软投票集成模型来提高分类性能。
CRediT作者贡献声明
申恩惠（Eunhye Shin）：撰写——原始草稿、可视化、软件、方法论、形式分析、数据整理。李佳熙（Gahee Lee）：验证、方法论、形式分析。金度宇（Do-Woo Kim）：撰写——审阅与编辑、监督、项目管理、方法论。
利益冲突声明
作者声明他们没有已知的可能会影响本文工作的竞争性财务利益或个人关系。
致谢
本研究得到了韩国国家灾害管理研究院（NDMI）的支持（项目编号：NDMI-PR-2026-04-03）。
