面向水库防洪调度的LLMs–领域专家协同探索—细化迭代知识图谱构建方法

《LHB》：Construction of a reservoir flood control scheduling knowledge graph through co-creation between large language models and domain experts

　　

水库防洪调度相关文档通常是非结构化的，给有效管理带来显著挑战。此外，实践者之间理解差异阻碍复杂语义关系的准确抽取，从而降低调度效率。知识图谱（knowledge graph, KGs）作为结构化基础，能够捕获这些关系并支持决策。现有KG构建方法分为两类：模式驱动方法（schema-driven methods）准确性高，但因模式（schema）覆盖范围受限而完整性有限；无模式方法（schema-free methods）通过利用大型语言模型（large language models, LLMs）扩大覆盖范围，但由于缺乏领域特定约束而容易引入噪声。为平衡KG构建的准确性与完整性，本文提出LLMs–Expert Collaborative Co-Creation through Exploration–Refinement Iteration（LECERI）方法。该方法将LLM自主性与专家指导相结合，迭代探索并细化模式。候选元素被自动挖掘，然后由专家通过迭代细化进行调整以保持语义一致性。实验结果表明，所提LECERI方法提高了所得KG的准确性和完整性，精确率（precision）、召回率（recall）和F₁分数（F₁-score）分别为0.52、0.61和0.56。这些结果表明LLMs与领域专家协作策略的有效性。

水库防洪调度是水库管理的关键环节，直接关系防洪安全与水资源科学配置。长期调度运行积累了大量非结构化档案文档，涵盖调度方案、防洪措施和应急响应等内容，但传统文档管理存在完整性、标准化不足和信息冗余等问题；同时，实践者语义理解差异使调度经验与事件链关系难以有效抽取，影响调度响应效率与管理能力。知识图谱（knowledge graph, KG）以节点表示实体、边表示关系，可从非结构化文本中抽取结构化语义知识，缓解冗余与不一致，并通过实体关系分析补偿理解偏差，为智能调度、信息检索和应急响应提供结构化知识支持。现有KG构建方法中，模式驱动方法（schema-driven methods）依赖专家定义的标准本体，准确性较高，但模式（schema）覆盖有限，易导致信息遗漏并限制完整性；无模式方法（schema-free methods）利用大型语言模型（large language models, LLMs）发现潜在实体与关系，可提高完整性，但缺乏领域知识与语义约束，易引入噪声和幻觉，影响准确性。两类方法难以兼顾水库防洪调度KG的准确性与完整性，因此需要面向场景的KG构建方法。研究人员提出LLMs–Expert Collaborative Co-Creation through Exploration–Refinement Iteration（LECERI）方法，将LLM自主探索与领域专家细化反馈结合，迭代细化schema以支持水库防洪调度KG构建。

研究提出LECERI，包含探索—细化迭代schema构建模块和schema驱动KG构建模块。探索阶段，LLMs在专家偏好下从调度语料挖掘候选实体类型、关系类型及类型三元组，不依赖固定schema；细化阶段，领域专家验证、补充和修订候选知识以解决语义不一致和领域偏差；多次迭代后细化schema，提高KG构建完整性和准确性。研究贡献包括形成LLM探索与专家细化闭环迭代机制、融合LLMs与专家协作以缓解schema驱动遗漏和无模式噪声、构建面向水库防洪调度的领域KG schema与多源非结构化文本KG。实验取得精确率0.52、召回率0.61、F₁分数0.56，表明协作策略有效。其意义在于为智能调度、信息检索和应急响应提供结构化知识支持。

关键技术方法（不超过250字）：研究以23座水库的防洪预案、汛期运行计划和大坝安全管理应急预案为文本来源，经段落筛选和PyLTP分句获得2768条有效句，并随机抽取338条文本构建测试集。LECERI包括探索—细化迭代schema构建与schema驱动KG构建：以种子文本块和领域结构化提示驱动LLMs抽取候选实体、关系及类型三元组；两名专家独立修订、第三名专家裁决，修订差异转为结构化操作并生成操作建议与需求澄清建议，迭代至全部种子块处理完毕；最终按专家验证schema抽取实例三元组并存入Neo4j。评估采用P、R、F₁、类型三元组精度、中文预训练BERT关系语义相似度阈值0.90/0.92/0.94及配对bootstrap重采样5000次。

研究结果
4.1 对RQ1的评估：通过将LECERI与无模式方法GraphRAG（Graph Retrieval-Augmented Generation）、EDC（Extract-Define-Canonicalize）及模式驱动方法KW&H（know-what and know-how）在相同实验设置和不同LLM骨干下比较，研究人员发现LECERI总体F₁更优，能兼顾精度与覆盖。GPT-4o、阈值0.90下LECERI的F₁为0.56，比GraphRAG的0.42和EDC的0.43分别高0.14和0.13；其精确率、召回率分别为0.52、0.61。KW&H受预定义schema约束，召回率仅0.05；LLaMA-3.1–70B下LECERI的F₁为0.55、召回率0.90。Claude-3.5-Sonnet下LECERI的F₁为0.47，高于EDC的0.40和GraphRAG的0.38；Gemini-1.5-Pro下为0.46，高于EDC的0.35和GraphRAG的0.28。配对bootstrap检验显示LECERI相对EDC的ΔF₁为正且多数显著。结论：LECERI较两类基线更好平衡精度与完整性。

4.2 对RQ2的评估：通过比较专家schema驱动方法与“去除专家细化”“LLM自动细化”“去除迭代优化”三个变体，研究人员评估LLM—专家协作机制。专家schema驱动方法类型三元组精度为1.00但仅覆盖12个类型三元组；LECERI提取53个类型三元组、精度0.91，保留关键关系并识别隐式关系。去除专家细化产生58个类型三元组，含领域无关三元组且遗漏相关隐式关系；LLM自动细化降至26个类型三元组，精度0.62、召回率0.30；去除迭代优化产生65个类型三元组，召回率0.67但精度降至0.55，且召回率低于LECERI的0.89。结论：专家细化可减少领域无关三元组并提高语义一致性，LLM生成schema有助于发现隐式关系并提高完整性，二者协作使LECERI更好平衡精度与完整性。

4.3 对RQ3的评估：通过比较WRERJE（Water Project Rescue Entities and Relationships Joint Extraction）驱动方法和专家schema驱动方法，并分析迭代过程中新增候选类型三元组与累计保留类型三元组变化，研究人员评估探索—细化阶段作用。迭代中新增候选类型三元组从第一轮20个降至最终轮9个，累计保留类型三元组从13个增至53个。阈值0.90下LECERI的F₁为0.56，比WRERJE驱动方法的0.38高0.18；WRERJE驱动方法精确率0.62高于LECERI的0.52，但召回率0.28低于LECERI的0.61。与专家schema驱动方法相比，LECERI精确率由0.49升至0.52，召回率由0.31升至0.61。结论：动态探索—细化机制缓解静态schema知识覆盖限制，在保持相近精度时提高召回率与F₁。

讨论部分指出，数据集虽反映一定水库防洪调度知识特征，但数据来源与覆盖有限，现有结果主要反映LECERI在当前语料和评估设置下的性能；未来将扩展更多类型水库防洪调度文本，结合数据增强与分阶段验证提高数据多样性。LECERI为LLMs—专家协同共创方法，不同场景的数据结构、术语体系和语义关系不同，跨场景应用可能面临schema适配和语义对齐问题；研究尚未在其他流域、其他水库类型或相关水利任务中实验，泛化性未经验证，未来将开展跨水库、跨流域和跨任务实验。现有评估结果不能直接作为实际部署的一般性能标准；实际部署需按具体运行目标及假阳性、假阴性风险确定抽取性能要求，高风险应用应关注关键风险事件、调度措施和责任关系等重要知识类型抽取质量及其操作影响，未来结合实际流程开展应用验证。

研究结论译文：由于这些领域文档具有非结构化性质，管理者高效提取有价值知识仍具挑战。为解决该问题，本文提出用于构建面向水库防洪调度KG的LECERI方法。该方法结合LLMs的扩展推理能力与领域专家的专门洞见。通过闭环迭代过程，schema逐步细化，支持构建具有改进领域语义一致性和知识覆盖的KG。与现有schema-driven和schema-free方法相比，所提方法具有优势：通过结合LLMs的自主扩展能力与领域专家的持续细化，LECERI有助于解决schema-driven方法覆盖有限和schema-free方法语义约束弱的问题，实现水库防洪调度schema的动态优化，并支持领域适配KG的构建。所提方法为水库防洪调度KG构建提供了一种途径。未来工作将扩展数据源，并进一步评估其在风险预警、决策支持和更广泛水利任务中的适用性。