基于检索增强生成(RAG)方法的连续监测网络水质异常人工智能根本原因诊断
《Journal of Environmental Management》:AI-enabled root-cause diagnosis of water quality anomalies in continuous monitoring networks using a retrieval-augmented generation (RAG) approach
【字体:
大
中
小
】
时间:2026年09月02日
来源:Journal of Environmental Management 9.2
编辑推荐:
摘要:实时传感器网络被广泛用于监测地表水质量;然而,将检测到的异常转化为清晰的行动方案仍然具有挑战性。深度学习(DL)模型可以有效地检测偏差,但它们很少提供可解释的或与法规相关的解释,现有的可解释人工智能(XAI)工具为水务部门提供的实际价值有限。本研究引入了一种框架,即水质
摘要:实时传感器网络被广泛用于监测地表水质量;然而,将检测到的异常转化为清晰的行动方案仍然具有挑战性。深度学习(DL)模型可以有效地检测偏差,但它们很少提供可解释的或与法规相关的解释,现有的可解释人工智能(XAI)工具为水务部门提供的实际价值有限。本研究引入了一种框架,即水质 - 检索增强生成(WQ-RAG),该框架将基于深度学习的异常检测与 RAG 相结合,实现水质事件的自动化、基于法规的根本原因诊断。该框架利用美国地质调查局(USGS)运营的四个地理和水地球化学多样化的河流监测站于 2021 年至 2024 年的高频监测数据进行了评估。在四种异常检测模型中,长短期记忆网络(LSTM)自编码器在三个站点取得了最高的 F1 分数(0.799-0.841),而补丁时间序列 Transformer(PatchTST)显示出最强的判别能力,其指标为受试者工作特征曲线下的面积(AUC-ROC:0.860-0.906)。自适应的、特定站点的阈值设定将低变异源水的检测性能提高了 61%。使用包含 25 份法规和技术文件的精选知识库,由大语言模型(LLM)(Llama-3-8B)生成的基于 RAG 的解释在完整性、法规准确性和可操作性方面的平均质量得分为 0.840 ± 0.071。消融分析表明,检索支撑使法规准确性提高了 3.8 倍,从 0.20 提高到 0.76,证实了 LLM 缺乏水质标准的内在知识。这些结果表明,检索支撑对于将异常警报转化为可靠、具备法规意识的诊断至关重要,从而支持及时有效的水质管理。
引言:对地理分布的传感器网络中的物理化学参数进行连续、实时监测,对于评估水质、支持资源管理以及实现环境扰动和污染事件的早期检测至关重要(Storey et al., 2011; Yaroshenko et al., 2020)。美国地质调查局(USGS)在美国运营着超过 13,500 个实时监测点,包括溪流、湖泊、水库、降水、水质和地下水监测点(USGS, 2026a)。该网络内的连续地表水质监测仪通常以固定间隔记录水温、比电导(SC)、溶解氧(DO)、pH 值和浊度(Wagner et al., 2006)。这些物理化学参数共同提供了水体的全面表征,并被广泛用于评估水质、识别污染、监测营养盐动态和评估生态系统状况(Chidiac et al., 2023; Zhi et al., 2024)。然而,这些高频数据流的体积和速度超过了人工专家审查的能力,在大规模下,检查、标记和纠正每个观测值变得不可行(Leigh et al., 2019)。这产生了对自动化系统的巨大需求,该系统不仅能够检测异常模式,还能诊断其可能原因并建议符合法规的响应行动。
基于这种对自动化分析的需求,地表水质的数据驱动建模已从经典的机器学习(ML)和混合元启发式优化模型演变为直接从高频传感器数据流中学习的深度学习(DL)架构(Pham et al., 2021; Wai et al., 2022)。DL 模型,包括大陆尺度的框架,已被应用于预测单个水质参数,如溶解氧(Zhi et al., 2021),而表示学习方法现在能够在数据稀缺条件下实现知识迁移和跨流域预测(Zheng et al., 2025)。与此同时,水质监测中的异常检测已从统计异常值方法发展到能够建模多变量传感器数据中复杂时间依赖性的 DL 架构(Jeong et al., 2024; Santos-Fernandez et al., 2024; Zhi et al., 2024)。这些发展建立在 DL 时间序列异常检测更广泛的进展之上,基于异常检测策略和 DL 模型架构,已提出了几种分类法。在 DL 架构中,长短期记忆网络(LSTM)已成为水质时间序列建模的基础模型,因为它能够通过门控记忆单元机制捕捉长程时间依赖性。这种能力使得能够学习关键水质参数中的序列性和季节性驱动动态,包括总氮(TN)和溶解氧(Gao et al., 2023)、浊度(Song and Zhang, 2020),以及溶解氧与其主要驱动因素(如温度、pH 值和电导率)之间的相互作用(Liang et al., 2024)。
目前,Transformer 架构通过捕捉复杂参数间依赖性的自注意力机制,推进了多变量时间序列建模。基于补丁的时间序列 Transformer(PatchTST)模型将时间序列分割为子系列级别的补丁,在多个基准数据集上证明了比早期基于 Transformer 的架构更优越的长期预测性能(Nie et al., 2022)。然而,后续工作表明,精心设计的线性模型在几个预测任务上可以实现与基于 Transformer 的方法相当的性能(Zeng et al., 2023)。同样,其他方法如 LSTM-自编码器(AE)(Malhotra et al., 2016)、异常 Transformer(Xu et al., 2022)和 TranAD(Tuli et al., 2022)在传感器数据上实现了高异常检测精度。这些架构随后被适配用于水质监测,以检测实时河流和传感器网络水质数据中的异常(El-Shafeiy et al., 2023; Ramya et al., 2025; Wang et al., 2023; Zhao et al., 2020)。
尽管异常检测方法取得了 substantial 进展,但一个根本性的局限性仍然存在:大多数方法只能识别异常观测值,但对其潜在原因提供的见解有限。即使在水质监测应用中表现出高检测性能的模型,也主要关注异常识别,而不是解释异常来源、评估其法规影响或通知纠正行动(Santos-Fernandez et al., 2024)。这种缺乏可解释性的现象仍然是 DL 方法在水质监测和管理中更广泛采用的一大挑战(Zhi et al., 2024)。
DL 在水文和水质建模中日益增长的使用凸显了对可解释人工智能(XAI)方法的需求,以提高模型的可解释性和透明度(Ba?a?ao?lu et al., 2022)。事后归因方法,最著名的是 Shapley 加法解释(SHAP)和局部可解释模型无关解释(LIME),已被广泛用于解释水质预测模型(Infant et al., 2025; Makumbura et al., 2024; Nallakaruppan et al., 2024; Park et al., 2022; Wang et al., 2025)。然而,这些方法产生的是特征重要性排名,而不是操作性诊断,且它们的解释可能不稳定;对模型或输入的微小扰动可能会产生不同的归因(Panigrahi et al., 2025; Robert et al., 2024)。重要的是,水务运营商需要支持决策的解释,包括异常意味着什么以及它需要什么行动,而不是识别最有影响力的输入变量的统计归因(Maltbie et al., 2021)。
在生成式 AI 时代,大语言模型(LLM)提供了一种根本不同的能力:生成整合因果推理、法规知识和可操作建议的自然语言诊断(Li et al., 2026)。然而,LLM 在水质诊断中的应用仍然具有挑战性,这是由于幻觉、事实不准确以及对其在特定环境应用中的可靠性存在不确定性等问题(Arslan, 2026; Foroumandi et al., 2023; Rillig et al., 2023)。至关重要的是,LLM 表现出无法仅通过训练或规模完全消除的幻觉(Farquhar et al., 2024; Xu et al., 2025)。这些局限性表明,通用 LLM 缺乏足够的参数化知识,以了解管理水质专门的、依赖管辖权的法规框架。诸如美国环境保护署国家初级饮用水法规(NPDWR)(US EPA, 2026a)、州级水质标准(俄勒冈州环境质量部,2026)以及特定物种的水生生物标准等标准,构成了高度专门化的知识,这些知识在通用预训练数据中代表性不足。
由 Lewis 等人(2020)引入的检索增强生成(RAG),通过外部检索机制增强 LLM,在推理时提供相关文档。这种方法将生成的响应基于检索到的证据,从而提高事实准确性和可解释性,同时促进高效的知识更新,而无需对底层模型进行广泛的重新训练或微调。自其引入以来,该范式沿着几个互补的方向迅速发展。Houria 和 Fai?al(2025)提出了一个包含索引、检索、增强和生成四个阶段的 RAG 优化分类法,并提供了一份全面的审查,涵盖了包括分块策略、嵌入方法、查询扩展、上下文压缩和提示工程在内的技术(Houria and Fai?al, 2025)。除了流水线级别的优化外,Yang 等人(2025)提出了一种多轮检索框架,学习何时需要额外的检索,而 Sarthi 等人(2023)开发了一种分层方法,通过递归摘要提高了对长文档的推理能力(Yang et al., 2025; Sarthi et al., 2023)。
检索增强的有效性已在知识密集型的科学学科中得到一致证明。通过将生成的响应基于精选的领域文献,RAG 系统已被证明可以提高事实准确性、增强可追溯性,并减轻在涵盖化学、医学和材料科学的应用中的幻觉(Zhong et al., 2025; Xiong et al., 2024; Krotkov et al., 2025)。这种能力在水质监测的法规合规性评估中尤为相关,在该领域,决策依赖于对专门的、频繁更新的、基于证据的法规信息的准确解释。
与其他知识密集型领域相比,LLM 和 RAG 框架在水行业的使用仍处于发展阶段,只有少量但不断增长的相关文献涉及水相关应用。Xu 等人(2025)将 RAG 确定为水和污水处理中一种有前景的知识增强策略,同时指出传统的文本相似度检索可能会产生不完整的结果(Xu et al., 2025)。包括 OceanGPT(Bi et al., 2024)和 WaterGPT(Ren et al., 2024)在内的水特定基础模型也开始出现在文献中。相关发展包括使用生成式 AI 进行水务运营(Sela et al., 2025)以及用于水产养殖管理的 RAG-LLM 框架(Danvirutai et al., 2025)。然而,据我们所知,没有已发表的研究将 RAG 框架与基于无监督深度学习的异常检测相结合,以实现从连续监测数据中自动诊断水质异常的根本原因。
尽管最近取得了进展,但现有方法仅解决了水质监测和异常检测问题的一部分。DL 模型可以检测异常,但提供的诊断能力有限,而 LLM 仅在得到可靠领域知识支持时才能生成解释。事后可解释性方法提供了特征归因,但往往缺乏操作相关性。因此,需要一个集成的框架,将异常检测、根本原因诊断和法规知识支撑结合在一个决策支持系统中。
为了弥合这一差距,我们提出了 WQ-RAG 框架,该框架将基于无监督深度学习的异常检测与 RAG 相结合,实现直接从连续监测数据中自动诊断水质异常的根本原因。该框架是使用来自四个水地球化学多样化的 USGS 监测站的高频观测数据开发和评估的。在标准化预处理和窗口化之后,使用自适应的、特定站点的阈值策略评估了四种异常检测模型。然后构建了一个包含法规文件、技术文献和案例研究的特定领域知识库,并将其集成到 RAG 流水线中以生成结构化诊断解释。最后,生成的解释在三个操作维度上进行评估,并通过消融研究和两个开源 LLM 的比较评估量化了单个框架组件的贡献。
章节片段
研究区域与数据收集:为了评估 WQ-RAG 框架在不同水地球化学条件下的泛化能力,选择了由 USGS 运营的四个连续水质监测站,涵盖美国四个不同的地理区域,如表 1 所示。包括五个核心地表水质参数在内的原始数据,是通过 USGS 国家水信息系统(NWIS)表现层状态转移 - 应用程序编程接口从所有四个站点检索的。
结果:本节呈现了 WQ-RAG 框架在四个地理多样化的 USGS 监测站评估的实验结果,涵盖东海岸(华盛顿特区波托马克河)、中西部(印第安纳州怀特河)、太平洋西北地区(俄勒冈州克拉卡马斯河)和西海岸(加利福尼亚州萨克拉门托河)。
讨论与启示:结果中浮现出三个关键主题:异常检测器性能、基于检索的知识支撑的作用,以及水源、灌溉和土地利用的影响。这些主题将在以下子节中进行讨论。
结论:本研究旨在弥合检测水质异常与理解其潜在原因之间的差距。研究结果表明,无监督深度学习和检索增强语言模型在诊断过程中起着互补的作用。虽然异常检测识别偏离监测站点预期行为的观测值,但检索提供了解释这些偏差所需的法规和上下文信息。这些能力共同...
CRediT 作者贡献声明:古尔扎尔·阿拉姆:写作 – 初稿,方法论,形式分析,概念化,写作 – 审查与编辑。I.
伊汗乌拉:写作——审查与编辑,写作——初稿,指导,概念化。
竞争性利益声明
作者声明,他们没有已知的竞争性财务利益或个人关系,这些可能会影响本文报告的工作。
古尔扎尔·阿拉姆 | I. 伊汗乌拉
阿尔斯特大学人工智能协作中心 (AICC),英国贝尔法斯特,BT15 1AP