一个用于自动化人道主义局势报告的大型语言模型框架

《Scientific Reports》：A large-language-model framework for automated humanitarian situation reporting

　　

摘要

及时、准确的情况报告对人道主义决策至关重要，但目前的工作流程仍主要以人工操作为主，耗费大量资源且存在不一致性。我们提出了一个完全自动化的框架，该框架利用大型语言模型（LLMs）将多样化的 humanitarian 文档转化为结构化、基于证据的报告。该系统集成了语义文本聚类、自动问题生成、带引用的检索增强型答案提取、多级总结以及执行摘要生成等功能，并通过内部评估指标来模拟专家的推理过程。我们在 13 次人道主义事件（包括自然灾害和冲突）中对该框架进行了测试，使用了来自 ReliefWeb 等可靠来源的 1100 多份文档。生成的问题在相关性方面达到了 84.7%，在重要性方面达到了 84.0%，在紧迫性方面达到了 76.4%；提取的答案在相关性方面的准确率为 86.3%，引用精确度和召回率均超过了 76%。人类评估与 LLM 评估之间的吻合度 F1 分数超过了 0.80。对比分析表明，所提出的框架生成的报告比现有的基准模型更具结构化、更易于理解、更便于行动。通过将 LLM 的推理能力与透明的引用链接和多级评估相结合，本研究表明生成式 AI 可以显著帮助生成人道主义情况报告，这些报告被领域专家评为更有用、结构更完善、来源更透明——这标志着在实现完全可靠的自动化部署道路上迈出了实质性的一步，尽管在这一过程中仍存在一些重要挑战。