利用大型语言模型与检索增强生成技术分析全球新闻中的灾难故事线与知识图谱

《Scientific Data》：Disaster Storylines and Knowledge Graphs from Global News with Large Language Models and Retrieval-Augmented Generation

　　

摘要

我们提供了一个涵盖2014年至2024年全球3,000多起灾害事件的数据集，这些数据来自紧急事件数据库（EM-DAT）。通过结合大型语言模型和检索增强生成技术的语义提取流程，从新闻中筛选出相关事件。该数据集基于欧洲媒体监测平台（EMM），汇集了数百万家新闻媒体的内容。对于每起事件，系统会自动生成结构化的事件描述，概括其危害特征、成因、影响及应对措施，并将其转化为知识图谱。这有助于分析各种关系、不同灾害之间的相互作用以及人类与环境的互动，而这些往往是传统记录中容易被忽略的。在一场研讨会上，领域专家对部分知识图谱进行了评估，同时还对更大规模的三元组样本进行了独立评估，以衡量其精确度及不同评估者之间的共识程度。该数据集可用于回顾性分析及多灾害风险评估，可作为灾害信息概况（HIPs）等资源的补充。所有数据、代码及工作流程均公开可用，还配有交互式控制面板以便进一步探索。这一资源推动了基于数据的灾害情景建模、影响分析以及灾害风险管理中的决策支持方法的发展。