《International Journal of Disaster Risk Reduction》：DRRGS: An LLM-based Disaster Response Report Generation System with Trustworthiness Evaluation
编辑推荐：
摘要：日益频繁和强烈的极端天气事件加剧了政府灾害报告的时间压力。在台湾，每次台风或强降雨事件都需要将来自多个平台的异构气象、水文和运行数据整合为标准化政府报告。该过程通常每个事件需要0.5至3个工作日，并严重依赖资深专家的专业知识。为应对这些挑战，本研究提出一
摘要：日益频繁和强烈的极端天气事件加剧了政府灾害报告的时间压力。在台湾，每次台风或强降雨事件都需要将来自多个平台的异构气象、水文和运行数据整合为标准化政府报告。该过程通常每个事件需要0.5至3个工作日，并严重依赖资深专家的专业知识。为应对这些挑战，本研究提出一种自动化灾害响应报告生成系统，将网络爬取、多源数据提取、计算机视觉和大语言模型（Large Language Models, LLMs）相结合，利用检索增强生成（Retrieval-Augmented Generation, RAG）和思维链（Chain-of-Thought, CoT）提示方法，生成符合现行报告标准的章节草稿。采用系统可用性量表（System Usability Scale, SUS）、专家对内容质量和制作效率的评估、可信语言模型（Trustworthy Language Model, TLM）框架以及基于Ragas的对比评估，对不同生成配置进行性能验证。该系统平均SUS得分为85.5（标准差=15.2），台风事件报告准备时间减少73%，强降雨事件减少64%，两个评估报告章节的TLM可信度得分分别为0.89±0.04和0.95±0.00。基于Ragas的对比进一步表明，所提出的RAG-CoT配置在评估配置中取得了最高的专业报告得分0.86±0.04。这些发现表明，在所评估条件下，采用自动化、可追溯的工作流程以减少人工工作量、支持制作效率、通过数据集成降低写作门槛，并生成有证据依据的草稿内容，对于政府灾害响应报告是可行的。
**论文解读：基于LLM的灾害响应报告生成系统及其可信度评估**
**1. 研究背景与现存问题**
近年来，极端天气事件在全球范围内造成了巨大的经济和社会影响。联合国2025年《全球评估报告》指出，灾害直接年损失约为1800至2000亿美元，若计入间接损失，总经济影响超过2.3万亿美元。灾害管理机构的职责不仅包括即时响应，还需保存每次事件后的运行记录。灾害响应报告记录了事件发展、响应行动、资源分配和组织决策，是事后复盘、机构学习、政策调整和未来备灾的关键证据。然而，报告编制通常需要在巨大时间压力下收集、解释和整合来自不同信息系统、格式异构的数据，形成标准化叙述。不同机构间存在数据孤岛，频繁的连续灾害进一步压缩了文档编写时间，且气象水文信息的解读依赖资深人员的领域知识。因此，数据孤岛、时间压力和专业知识需求成为及时产出完整、一致报告的常见障碍。
台湾水资源署（WRA）提供了一个严苛的运行环境。台湾位于东亚和西北太平洋季风系统内，频繁受台风和强降雨影响。WRA历史数据显示，2015至2020年每年应急响应约40至50次，2021至2024年增至60至90次。每次响应后，WRA人员需整合气象、水文、灾情和运行记录，按标准格式形成正式报告。传统方式下，强降雨事件约需0.5至1个工作日，台风事件约需1至3个工作日。例如，2024年台风“格美”响应报告的编制涉及从六个在线平台检索信息、整合十六类数据、形成163页文件，耗时约三个整天。
虽然大语言模型（LLM）和检索增强生成（RAG）技术在信息检索、摘要和问答方面显示出潜力，但正式政府报告要求整合文本、数值、表格和视觉信息，遵循预定义章节结构、机构术语和标准化程序，同时保证时间与数值一致性、证据可追溯性，并允许专家在正式使用前验证和修改。现有应用大多聚焦单一功能（如文档检索、摘要、态势分析），缺乏将异构官方数据转化为标准化政府报告的端到端工作流，同时解决来源锚定、专业结构、多模态处理、文档组装和人类监督等问题的系统。
**2. 研究目的与开展内容**
为解决上述差距，研究人员开发并评估了所提出的灾害响应报告生成系统（DRRGS）。该系统整合了基于Web的数据采集、计算机视觉辅助图像处理、RAG、思维链（CoT）提示和自动化文档组装。工作流从多个官方平台收集灾害相关信息，处理结构化和非结构化数据，提取降雨相关视觉材料中的信息，并根据预定义报告章节组织证据。RAG提供检索到的官方信息支持模型生成，CoT提示则构造中间分析步骤和内容组织逻辑，将异构证据转化为专业格式的报告内容。生成的文本、统计表、图表和图像被编译成标准化Word报告供审阅修改。系统被定位为人机回环的文档编制工具，支持初稿准备，最终验证和批准仍由灾害响应人员负责。研究重点评估台风和强降雨事件，考察集成的RAG-CoT工作流能否在保持来源锚定和专业结构的前提下，降低人工工作量和制作时间。
**3. 主要关键技术方法**
研究采用的主要方法包括：网络爬取（web scraping）自动获取六个平台、十六类来源的数据；基于规则OpenCV图像处理方法将官方累计降雨图转化为结构化数值矩阵；使用FAISS向量数据库实现RAG检索；设计CoT提示模板引导LLM生成报告文本；利用python-docx完成Word文档组装。评估方法包括SUS用户测试（10名WRA人员，分新手和有经验两组）、一位资深专家进行内容质量和效率评估、TLM自动可信度评估，以及基于Ragas的四种生成配置对比。样本队列来自台湾水资源署灾害响应人员。
**4. 研究结果**
**系统可用性评估结果**：通过SUS问卷评估，10名参与者（6名报告撰写经验有限者，4名资深人员）对系统评分的总体平均值为85.5（标准差15.2），属于“优秀”等级。资深组（Identity B）评分范围为92.5至100，新手组（Identity A）评分范围为57.5至92.5，且有随访显示一名新手在约六个月后评分从57.5升至72.5，提示熟悉效应。结果表明，实际经历过人工报告工作负担的用户更认可系统自动化价值，而预定义报告流程和结构化支持可能降低了数据选择和组织决策的认知负担。
**专家内容质量与效率评估结果**：专家对系统生成的各章节进行“具体内容指标核验”，平均得分均不低于3分（满分5分），说明生成内容覆盖了灾害响应报告的关键信息。在“整体质量维度评分”中，完整性、准确性和可读性三项指标得分均不低于4分，达到正式报告的基本质量门槛。效率方面，专家估计手动编写台风事件报告约需36小时，使用系统生成初稿并经过专家修订后总耗时约9.6小时，节省约73%时间；强降雨事件报告手动编写约2小时，系统辅助后约0.73小时，节省约64%。台风报告节省时间更多，表明数据来源越广泛、结构化程度越高，自动化收益越大。
**TLM可信度评估结果**：采用Cleanlab的TLM对系统生成的“事件概述与气象情势”和“水文信息”两个章节进行自动评估。八场灾害事件（四个台风、四个强降雨）的结果显示，前者Trustworthiness得分为0.89±0.04，后者为0.95±0.00。子指标方面，Context Sufficiency、Response Groundedness和Response Helpfulness的平均得分均高于0.9。但“水文信息”章节的Query Ease得分较低（0.80±0.05），且Context Sufficiency变异更大，这可能与该章节需整合异构数据（文本通报、结构化数值、图像处理结果）以及短期强降雨事件可用语料较少有关。尽管存在这些挑战，该章节仍保持较高的自动可信度得分。
**Ragas配置对比评估结果**：比较四种生成配置：纯LLM（无RAG无CoT）、基础RAG（有RAG无CoT）、规则模板（无LLM）和RAG-CoT。结果发现，纯LLM配置的Faithfulness仅为0.60±0.14，而使用检索或模板的三种配置均高于0.97；Answer Relevancy在各配置间差异很小（0.81–0.83）。然而，专业报告指标差异明显：规则模板为0.46±0.06，基础RAG为0.38±0.06，而RAG-CoT达到0.86±0.04，是唯一超过0.8阈值（高度符合WRA报告标准）的配置。这说明检索基础（RAG）增强了生成内容与源信息的一致性，而CoT引导的结构化组织则有效将检索信息转化为符合专业报告要求的行文。
**5. 讨论与结论**
讨论部分总结了研究的贡献：提高灾害响应报告制作效率，通过自动化数据获取、可视化处理、文本生成和文档组装，将报告准备时间从数天缩短至数小时；实证了RAG和CoT的互补作用；模块化架构可作为专业自动报告应用的可复用设计参考；有助于机构知识连续性，在洪水季连续事件中维持更完整一致的文档记录。同时指出局限：依赖外部平台的稳定性、文档集成阶段部分元素（如目录）需手动处理、数据稀缺或过载会影响生成质量、TLM在“水文信息”高分段区分能力有限、可用性样本规模较小（10人）且评估范围未包括GraphRAG等高级架构。风险缓解方面，系统通过记录数据检索状态、使用占位符标记缺失数据、保留部分输出供人工补充，并结合TLM筛选结果作为审查提示，作者强调生成内容仅作为初稿，最终验证、修订和批准责任仍属于授权灾害响应人员。伦理与治理层面，要求数据治理、访问控制、源可追溯性、责任归属和组织韧性等保障措施。未来工作可引入自定义查询、决策支持、代理式架构以及GraphRAG对比研究。
研究结论翻译如下：在洪水季多重强降雨和台风事件并发时，灾害响应单位必须在维持前线操作的同时，在30天期限内完成大量灾害响应报告。人工收集和整合气象、降雨、水文和响应数据造成了实际的工作量压力和运行瓶颈，尤其是当多个台风或强降雨事件连续发生时。为解决这一报告挑战，本研究开发了一个灾害响应报告生成系统，将网络爬取、多源数据提取、图像分析、RAG、CoT提示和基于LLM的草稿生成集成到可复用的自动化工作流中。通过检索基础生成和结构化提示，系统支持基于检索到的事件特定数据生成结构化草稿报告。评估结果表明，在所评估条件下，使用该系统支持政府灾害响应报告草稿编制是可行的。系统平均SUS得分为85.5，对应“优秀”可用性评级；在效率方面，所评估台风和强降雨案例的报告编写时间分别减少约73%和64%。将观察到的减少应用于2024年灾害记录（包括4个台风事件和96个强降雨事件），估计年度报告编写工作量可能减少一半以上。在内容质量方面，专家评估显示所生成报告基本满足完整性、准确性和可读性要求。TLM和基于Ragas的评估进一步表明，检索基础和CoT引导的组织能够提高草稿报告的实一致性性和专业结构。然而，这些发现应在当前评估范围内解释：系统仅使用选定的台风和强降雨事件测试，其性能可能受外部数据可用性、格式变化、数据稀疏事件、长时大数据事件以及LLM内容的局限性影响。因此，所提系统应定位为文档支持工具，用于协助初稿生成、数据组织和报告结构编排，在正式使用前仍需领域专家判断、机构审查流程和授权灾害响应人员的最终批准。总体而言，本研究证明将自动化数据处理与检索基础的LLM生成相结合，可以支持更高效和一致的灾害响应文档编制。同时，更广泛的部署需要持续关注系统鲁棒性、源可追溯性、人机回环验证、数据治理、运维维护以及适应不同机构报告环境的能力。这些发现为开发可靠的AI辅助报告编制工作流提供了实践基础，适用于减灾及相关专业文档任务。
