《Water》:Standardization and Benchmarking of Datasets and Evaluation Protocols for Machine Learning-Based Water Leak Detection: A Systematic Review
尽管机器学习(ML)和深度学习(DL)在供水管网(WDNs)漏损检测与定位中的应用日益增多,但标准化数据集、通用评估协议和一致的报告实践仍然有限,从而限制了研究之间的有意义比较。本系统综述遵循PRISMA 2020,考察了近期基于ML/DL的漏损检测研究中所采用的基准测试实践、数据来源、传感模态和评估策略。于2026年4月检索Scopus数据库,经依据预定义资格标准筛选后纳入90项研究。研究发现数据集生成、模型验证和性能评估方面存在显著差异。30项研究被归入公共基准类别,但其中仅23项使用了本综述追踪的三个指定供水漏损资源之一;其余研究仅复用网络拓扑或使用其他异构公共资源。压力测量是占主导地位的传感模态,而流量、瞬态和智能水表数据相对未被充分探索。在性能指标、验证程序和漏损场景定义方面也观察到相当大的不一致性,阻碍了检测与定位性能的公平比较。基于这些发现,本文提出一个实用的报告框架,以提高透明度、可重复性和可比性。主要建议包括标准化数据集文档、一致的评估协议、扩展社区基准、不确定性量化和模型可解释性,以支持实际部署。
1. 引言
供水系统在输配过程中损失的水量是城市基础设施中最大且最持久低效的问题之一。仅在美国和加拿大,每年约有26万次供水干管失效,每100英里管道发生11.1次破裂,约五分之一的既有管道被判定需要更换。供水损失20%至30%的情况十分常见,在老化或监测不足的管网中报告了更高的数值;近期意大利研究将平均管网损失定为输水量的40%左右,并伴随相应的经济和能源成本。每一升损失的水都已经被抽取、处理和泵送,因此漏损不仅带来财务成本,还带来能源和排放代价。在此背景下,漏损检测与定位获得了大量研究关注,过去十年间研究重点已从基于硬件的调查和水力模型校准转向基于机器学习(ML)和深度学习(DL)的数据驱动方法。
这一转变产生了大量算法研究。应用于压力残差图的卷积神经网络(CNNs)、对多元SCADA时间序列进行处理的1D CNN自编码器、用于无监督异常检测的长短期记忆(LSTM)自编码器、利用管网拓扑的图神经网络(GNNs)、两阶段检测与定位流水线、应对数据稀缺的生成模型,以及最近的视觉-语言和基础模型方法均已被提出用于漏损检测与定位任务。比较性综述证实了该领域活动的广度和不断加快的节奏。
一个基本问题伴随这些进展而存在:该领域缺乏共享的比较基础。几乎每个新模型都在不同的数据集上训练和评估。在许多情况下,这是使用EPANET在小型基准拓扑上生成的定制合成场景集,在其他情况下则是无法发布的专有公用事业数据集。评估指标、漏损场景定义和验证方案由作者自行选择。正如漏损检测与隔离方法之战(BattLeDIM)竞赛组织者所观察到的,漏损检测算法设计中的一个关键挑战是使用共同基准在方法之间进行评估和比较。当两篇论文各自报告例如超过95%的准确率时,这些数字很少具有可比性。它们可能涉及不同的管网拓扑、漏损尺寸、传感器密度、噪声假设、类别平衡,甚至对何为正确定位的不同定义。
先前综述已记录了可用方法。Abdelmageed等人对水漏损管理中AI应用进行了基于标准的批判性综述;Kammoun等人对AI应用进行了比较性调查;Farah和Shahrour较早的综合综述映射了硬件、软件和智能管网方法,但仅部分涉及数据集来源且未分析基准复用。Ayati等人以统计和方法论为重点综述了基于瞬态的方法,Zu?iga-Uribe等人系统综述了ML/DL模型、输入变量、数据库和输出策略。与早期工作不同,本综述将数据集来源、基准复用和评估协议作为对90项研究语料的主要分析对象,并利用所得证据提出最低报告框架。
本综述的具体目标如下:映射ML/DL水漏损检测研究中使用的数据集,区分公共基准、定制合成数据、实验室试验台和专有现场数据(RQ1);评估所应用的评估协议,包括指标、验证方案、漏损场景定义和基线,并量化其变异性(RQ2);确定可重复性状态,包括数据和代码可用性以及共同基准的复用(RQ3);为该领域推导最低报告标准和基准测试路线图(RQ4)。
2. 材料与方法
2.1 检索策略、筛选与资格
本综述依据PRISMA 2020报告。检索概念、资格标准、提取字段和综合程序在筛选前已明确;然而,方案未进行前瞻性注册。2026年4月使用四个概念块检索Scopus数据库:漏损检测与定位;供水管网与管道;机器学习、深度学习和人工智能;数据集与基准测试术语(数据集、基准、训练数据)。对标题、摘要和关键词进行检索。选择Scopus是因为它是主要的多学科文摘和引文数据库,广泛覆盖与该跨学科领域相关的同行评审水工程期刊和计算机科学会议论文集。其一致的引文索引和书目元数据支持可重复的检索和文献计量分析。然而,单一数据库检索无法保证证据基础的完整覆盖;此局限性在第8.1节中予以承认。检索字符串未施加语言限制。除2026年4月检索截止日期外未施加日期限制,除下述资格标准外未施加文献类型限制。
检索识别出102条记录。验证后未发现重复记录和缺少摘要的记录。按类型分类:62篇期刊文章(60.8%)、34篇会议论文(33.3%)、3篇综述(2.9%)、1篇数据论文、1篇书籍章节和1篇会议综述。保留会议论文是因为该领域的基准数据集和竞赛结果经常在会议场所引入。筛选和资格评估由作者手动进行。纳入研究须满足以下条件:(a) 涉及供水管网或水管中的漏损检测、定位或漏损相关异常检测;(b) 应用ML或DL方法,或为此类方法贡献数据集或基准;(c) 提供所用数据的充分方法学描述。排除标准编码如下:E1分配给水领域之外的研究,如纯油气或水下石油应用;E2分配给不涉及漏损的研究,如水质监测和源头污染;E3分配给未应用ML或DL方法的研究;E4分配给非原始研究的文献,包括会议前置材料、编辑材料和无原始研究的书籍章节;E5分配给综述文章,保留为背景文献但排除在定量综合之外。排除12条记录:E1下2条(水下石油漏损检测;海底管道故障检测),E2下5条(水质监测;源头污染检测;管道制造中焊缝漏损识别;动态漏损风险评估框架;无收益水预测建模),E4下2条(会议论文集前置材料;关于大数据和碳中和的书籍章节),E5下3条(综述文章)。因此筛选产生90项纳入研究。
2.2 数据提取与综合
本综述的文献语料建立在此前综合综述的基础上,并通过上述更新后的Scopus检索识别额外记录。对每项纳入研究,从标题、摘要和作者关键词中提取以下字段,并在可获得全文时辅以全文验证:数据来源类别(公共基准、定制合成或基于EPANET、实验室或试验台、现场或公用事业数据);传感模态(压力、流量、声学或振动、瞬态、智能水表);ML/DL模型族;命名基准的使用(LeakDB、BattLeDIM、L-Town、Hanoi、Net1等);评估指标和验证方案;可重复性指标(数据可用性、代码可用性、开放获取状态)。通过结构化关键词映射量化主题覆盖,并计算描述性统计以进行文献计量表征。所有定量分析均在PRISMA筛选后保留的研究(n=90)上进行,因此每个报告的数字均指纳入的证据基础。此外,在术语归一化后构建作者关键词共现网络,合并单复数形式和同义变体。保留至少出现两次的关键词,通过贪心模块度优化检测主题聚类。
3. 纳入研究的文献计量概述
3.1 时间演化
纳入研究呈现显著增长轨迹。90项研究中仅有8项(8.9%)在2022年前发表(2019年:2;2020年:3;2021年:3),此后产出急剧加速,2022年7项、2023年13项、2024年19项、2025年24项、2026年前四个月19项。近70%的纳入研究(68.9%)发表于2024年或之后。该分布确认了数据集感知和基准感知的ML/DL漏损检测是一个年轻且快速扩展的研究领域,且与该领域首批社区基准的发布和采用相吻合,即LeakDB和BattLeDIM竞赛数据集。
3.2 发表场所与影响
纳入研究集中于核心水资源和环境工程文献:Water(7项)、Water Research(7项)、Journal of Water Process Engineering(4项)、Applied Sciences(3项)、Water Supply(3项)、Water Resources Management(3项)和Journal of Pipeline Systems Engineering and Practice(3项)。这些由AI导向和仪器导向的场所补充,如IEEE Access、Engineering Applications of Artificial Intelligence和IEEE Transactions on Instrumentation and Measurement。引文影响高度偏斜(均值13.8,中位数4,最大值110),28项研究(主要为2025和2026年发表)尚未被引用。被引最多的作品依次为BattLeDIM总结、基于DL的振动信号分类、用于多元SCADA数据的1D CNN自编码器、基于压力的数据驱动漏损定位、基于AI的声学检测和早期基于压力图的深度学习定位。六篇被引最多的论文中有四篇是基准导向或比较导向的,表明社区内对共同参考点的需求。
3.3 地理与机构分布
机构分析显示研究力量由亚洲主导。来自中国的作者参与了90项纳入研究中的24项(26.7%),印度作者15项(16.7%),其次是英国(9项)、西班牙(6项),以及第二组包括意大利、墨西哥、美国和突尼斯(各4项)和德国、澳大利亚和香港特别行政区(各3项)。在机构层面,香港理工大学贡献最多(4项),其次是西安理工大学、浙江大学、埃克塞特大学和斯法克斯国立工程学院(各3项),而Institut de Robòtica i Informàtica Industrial(CSIC-UPC)和北京工业大学各贡献2项。对标准化议程有两个含义。首先,数据集感知的ML/DL漏损检测的地理分布不同于一般漏损检测研究,后者历史上由美国和英国主导。活动中心已转向中国和印度团队,其中许多使用声学或定制合成数据。其次,领先机构分布在三大洲,不存在单一主导中心。这加强了社区基准的理由,因为没有实验室能仅通过发表量建立共同标准,共享基础设施必须明确组织。
3.4 关键词共现结构
作者关键词共现网络包含31个至少出现两次的归一化关键词和116条链接,显示纳入研究组织为五个模块化聚类。在最大聚类中,核心问题词汇(漏损检测、供水管网)与经典ML方法词汇和监测术语耦合,包括机器学习、神经网络、支持向量机、图神经网络、人工智能、EPANET、信号处理、故障检测、振动信号、声学漏损检测、实时监测和管道监测。这反映了从水力模型驱动检测向混合数据驱动方法的发展。第二聚类包含深度学习和定位词汇(深度学习、漏损定位、LSTM、CNN、水管、特征提取、故障诊断、傅里叶变换)以及LeakDB,确认基准(在使用处)嵌入在文献的深度学习脉络中。第三聚类隔离了无监督和生成方法(异常检测、自编码器、生成对抗网络),两个小的残余聚类将传感器与分类、传感器布置与数据驱动设计配对。对基准测试议程有两个结构性观察。首先,基准词汇是边缘性的。LeakDB是唯一出现频率足以进入网络的命名数据集,且没有评估协议术语(指标、验证、可重复性)达到出现阈值。其次,声学脉络主要通过方法术语而非共享数据术语连接到网络。
3.5 方法与模态
深度学习和经典ML以可比比例出现,DL词汇在60项研究中被提及,经典ML词汇在57项中被提及,反映混合研究的实质性重叠。在传感模态中,计数每项研究在标题、摘要或关键词中提及的每种模态而非为每项研究分配单一模态,压力明显占主导(47项研究,52.2%),其次是声学和振动信号(28项,31.1%)、流量测量(14项,15.6%)、水力瞬态(2项)和智能水表或AMI数据(1项)。这些计数是非排他性的,因为许多研究组合模态;从全文获得的每项研究一个主要模态的分配在第4.5节中报告。该分布对基准测试有直接影响。社区的主要公共基准LeakDB和L-Town是压力和流量模拟数据集,而声学漏损检测(第二大模态)没有可比采用的公共基准。声学研究因此局限于私人实验室或现场录音。
4. 纳入研究中使用的数据集
4.1 公共基准:LeakDB、BattLeDIM和L-Town
仅36项纳入研究(40%)明确涉及基准测试、标准化、公共数据集或可重复性,复用既有社区基准数据集的数量更少。BattLeDIM/L-Town资源被12项研究复用,LeakDB被7项复用,Aghashahi声学数据集被4项复用,因此90项研究中有23项复用了至少一个共享数据集。在这些资源中,BattLeDIM倡议代表了文献中报告的最有影响力的基准测试努力。该竞赛于2020年组织,涉及18个学术和工业团队,引入了L-Town虚拟供水管网,包括两年SCADA测量数据,漏损事件的确切时间和位置对参与者隐藏。此外,引入了反映运营成本的经济性能指标,首次在共同评估框架下实现了漏损检测和定位方法的盲测和客观比较。
尽管其重要性,BattLeDIM的开发者识别了若干局限性。运营系统中常见的传感器通信延迟和测量不确定性在虚拟环境中被省略。漏损模型未代表真实漏损行为的全部变异性,间接水损失成本被排除在评分之外,且大而突发的漏损优于较小或逐渐发展的事件。大而突发的漏损通常产生更强更快的压力或流量偏差,从而提高信噪比并减少与正常需求变化的模糊性。相反,缓慢发展的漏损产生较弱的变化,更容易与运营漂移和噪声混淆。因此,当基准性能偏向突发事件时,对初期漏损的外部效度可能被高估。尽管BattLeDIM经济评分在后续研究中很少被采用,Wang报告了并发突发和初期漏损检测的运营成本为422,660±11,553欧元。
标准化评估的重要性进一步由2026年发表的首个多ML和DL架构统一比较证明。集成学习方法(包括随机森林、XGBoost和LightGBM)以及长短期记忆(LSTM)网络、Transformer和图神经网络(GNNs)使用共同实验协议进行评估。所有模型族均实现超过95%的检测准确率,表明模拟条件下的二元漏损检测已达到较高成熟度。然而,定位性能明显较低,最佳集成模型的Top-1定位准确率在75%至77%之间。同一研究中,静态GNN架构在定位任务中表现不佳,而集成方法在不同漏损幅度、传感器配置和噪声水平下表现出更大鲁棒性。
这些发现在文献中并非一致支持。在另一项使用EPANET生成数据集和配备20个压力传感器的实验室规模供水管网的独立研究中,GNN实现了最高定位性能,与XGBoost相比平均定位误差减少约50%。由于两项研究使用不同的管网拓扑、漏损场景、传感器密度和定位指标,其结论无法直接比较。这一差异凸显了标准化评估协议的缺乏,并表明即使关于不同ML架构相对性能的基本问题仍未解决。
LeakDB也被广泛用作模型开发和评估的基准数据集。Punukollu等人使用在Net1和Hanoi基准网络上生成的LeakDB场景,在突发、初期和混合漏损条件下比较CNN和LSTM模型。类似地,基于图的方法已使用相同基准拓扑进行评估。Doss等人提出不同评估策略,将公共L-Town基准与挪威运营供水管网收集的压力测量相结合。三种基于重构的架构(自编码器(AE)、变分自编码器(VAE)和LSTM-AE模型)仅使用无漏损数据在半监督框架内训练。基准数据集与真实公用事业数据的集成仍然不常见,尽管这种方法为评估模型从合成到运营环境的可迁移性提供了有效基础。
综述文献中仅有一项研究主要聚焦数据集开发。Babela等人引入了公开可访问的数据集,包含来自斯洛伐克水务公司的年度小时级SCADA压力和流量测量、能耗变量和环境数据。选择18个与漏损事件具有统计关系的变量,转换为0至100的标准化异常分数。尽管该数据集被提议为可复用基准,但承认若干局限性:常规压力和流量测量的预测能力有限;数据集仅代表单一管网区域;归一化程序在纳入额外数据时需要进一步研究。尽管如此,该数据集的发表代表了改善ML漏损检测真实世界基准数据可用性的重要一步。
相关发展进一步支持标准化基准数据集的需求。DiTEC-WDN数据集于2025年发表,包含跨多个供水管网生成的约36,000个模拟水力场景,对应超过2.28亿个基于图的状态。与现有漏损检测基准不同,该数据集在开放获取许可下开发以支持大规模基准测试。其开发者还识别了LeakDB的局限性,特别是跨多个节点重复使用需求模式导致不切实际的高需求相关性。尽管DiTEC-WDN不包含漏损注释,因此无法直接替代BattLeDIM或LeakDB等现有漏损检测基准,但它证明可以开发大规模、公开可访问且文档完善的基准数据集。
4.2 定制合成数据:EPANET默认
纳入研究中最常见的数据生成方法是使用定制水力模拟。使用EPANET或类似水力建模工具生成的合成数据集被36项研究(40.0%)采用。在大多数情况下,选择基准网络(如Net1或Hanoi)或本地案例研究网络,校准水力模型,通过引入不同位置、幅度和起始时间的发射器系数生成漏损场景。例如,Gómez-Coronel等在校准的EPANET模型中模拟小漏损并应用压力重心位移进行漏损定位,而Pérez-Sandoval等结合管网分区与深度学习使用合成漏损场景以减少监测需求和数据集规模。
对定制模拟数据集的广泛依赖对已发表结果的可比性有重要影响。首先,模拟漏损场景由每项研究独立定义。因此,漏损尺寸、需求模式、传感器配置和噪声假设差异显著,即使评估相同ML或DL架构,也难以直接比较模型性能。其次,水力现实水平在研究间差异很大。需求不确定性、传感器噪声和模型校准误差很少以代表真实供水系统的水平纳入,模型预测中的不确定性也很少报告。一个显著例外是Iwakin等提出的框架,在推理期间应用蒙特卡洛dropout估计重构传感器值的置信区间。这些不确定性估计随后纳入卡方异常检测框架,在Net3网络上降低了误报率。然而,报告的不确定性仅反映学习模型的预测不确定性而非水力模拟本身的不确定性,且评估仅使用合成数据。第三,使用共同网络拓扑不一定确保共同基准。使用相同水力网络的研究可能在漏损定义、发射器配置、需求模式和传感器布置策略上差异显著。因此,基于Hanoi网络的两项研究可能比在完全不同网络上进行的研究更不可比。标准化模拟场景的缺乏限制了可重复性并降低了已发表性能比较的价值。
4.3 实验室与现场数据
真实世界、实验室、实验和试验台数据集被34项研究(37.8%)使用。这些研究大多聚焦声学和基于振动的漏损检测。Yu等使用压电加速度计从中国多个城市管网收集的振动信号进行分类,报告SqueezeNet检测准确率95.15%,最佳传统分类器88.17%。类似地,Vanijjirattikhan等开发了基于AI的声学漏损检测模型,使用从688个漏损和619个非漏损位置收集的现场录音。
若干研究将运营现场数据与先进ML技术结合。Liu等和Xu等分别使用从真实供水系统收集的声学数据集,纳入生成式数据增强和模型可解释性分析。Dunphy等使用加速度测量解决类别不平衡条件下的漏损检测。其他传感技术也被研究,包括光纤布拉格光栅压力传感器,而新安装供水干管收集的开放获取振动数据集近期已可用。
在网络层面,Kammoun等提出了少数在共同实验室测试协议下比较多种ML算法的研究之一。此类受控实验评估仍不常见,但对确保公平和可重复的模型比较至关重要。此外,Tornyeviadzi和Seidu将半监督学习应用于从运营供水系统获得的多元SCADA测量,其中可靠的漏损标签不可用。该研究凸显了真实世界数据集的基本局限性,因为实践中很少确切知道漏损的起始和进展。因此,用于监督学习的真实标签通常是推断而非直接观察的,给模型训练和性能评估都引入不确定性。
4.4 综合:分裂的数据生态系统
根据数据来源、代表性应用、优势和局限性对使用的数据集进行分类。识别出三类主要数据集。第一类由公开可用的基准数据集组成,如LeakDB和BattLeDIM/L-Town,提供标准化数据并实现不同ML/DL方法之间的直接比较。第二类包括使用EPANET或其他水力模拟平台生成的合成数据集。尽管这些数据集在漏损场景设计上提供灵活性并允许生成大量标记数据,但它们通常使用研究特定的网络配置、漏损特征、需求模式和传感器布置假设开发,限制了报告结果的可比性。第三类包括实验室实验和真实世界公用事业数据集。这些数据集提供更真实的运行条件并提高模型评估的实际相关性,但由于保密、运营或数据所有权约束很少公开。
4.5 提取证据的结构
通过数据来源、传感模态、模型架构和验证策略表征纳入研究的方法学结构。当每项研究分配一个主要数据来源时,30项研究归入公共基准类别,21项使用实验室或试验台数据,19项使用定制合成数据,18项使用现场或公用事业数据,2项来源报告不足。公共基准类别内识别出相当大的异质性。三个追踪的水漏损资源之一(BattLeDIM/L-Town、LeakDB或Aghashahi声学数据集)被23项研究使用。3项研究因复用已发表网络拓扑而无伴随命名数据集而归入此类别。4项研究使用其他公共资源:2项使用相邻领域的基准(工业控制系统试验台和卫星遥测异常数据集),2项报告使用公共存储库数据而无命名漏损检测基准。此外,观察到广泛的拓扑复用:Hanoi被15项研究使用,Net1或Net3被11项使用,C-Town或D-Town被4项使用,而BattLeDIM/L-Town数据被12项使用,LeakDB被7项使用,Aghashahi数据集被4项使用。复用拓扑时仅固定水力图;漏损幅度、需求模式、传感器布置、噪声假设和评估条件仍可不同。因此,拓扑复用不应被解释为标准化数据集的复用或结果直接可比的证据。
当从全文为每项研究分配单一主要模态时,压力被48项研究使用,声学或振动测量被35项使用,其次是流量或计量数据(4项)、水力瞬态(1项)和2项模态未明确说明。模态与数据来源的配对揭示了两个主导研究脉络之间的明确分离。48项基于压力的研究中,38项依赖公共基准(20项)或定制合成数据集(18项),这直接源于可用的水力基准是基于模拟的。35项声学和振动研究中,26项依赖实验室试验台(15项)或现场录音(11项),仅1项使用合成数据。两个主要研究方向因此在很大程度上独立的数据基质上评估,目前没有共享资源连接水力方法和声学方法。
卷积和前馈神经网络构成最常用的模型族(33项研究),其次是循环架构如LSTM和GRU模型(13项)、经典机器学习和集成方法(11项)、图神经网络(9项)、Transformer和基于注意力的模型(9项)以及自编码器或生成方法(6项)。9项研究未足够精确地描述模型族以进行分类。
验证实践是所有维度中报告最不一致的。32项研究明确报告随机数据分割,9项使用时间或独立留出设计,7项使用交叉验证。其余42项研究的验证程序缺失或描述不完整,无法确定数据分离是否适当执行,例如给出样本数量但未说明相同模拟条件下生成的漏损场景是否同时出现在训练和测试集中。由于合并合成场景的随机分割可能引入信息泄漏并夸大表观性能,其频率与此报告缺口的结合是提取中最具后果性的发现:近半数纳入研究的读者无法确定报告结果是否反映真正未见条件下的性能。
数据来源与模型族的关系显示,任何模型族内没有数据来源占主导,这意味着跨研究绘制的架构比较被数据来源差异混淆。卷积和前馈网络(最大族)分布在场数据集(9项)、实验室数据集(9项)、定制合成数据集(8项)和公共基准(7项),因此报告的CNN性能差异可能反映数据变化与模型设计一样多。较新的架构与模拟更紧密相关:应用图神经网络或Transformer模型的18项研究中,9项使用公共基准,5项使用实验室数据,4项使用定制合成场景,而无一项使用现场数据。这表明模型复杂性的进步和数据现实性的改善目前沿着独立路径推进。
4.6 标准化实践随时间的演变
由于记录了每项研究的发表年份,可以评估标准化实践的时间趋势而非推断。90项纳入研究分为三个时期:2019-2021(8项)、2022-2023(20项)和2024-2026(62项)。标准化实践的演变未显示持续改进。共享基准数据集的复用(包括BattLeDIM/L-Town、LeakDB和Aghashahi声学数据集)从2019-2021年期间的无增加到2022-2023年期间20项中的9项(45.0%)。然而,该比例在2024-2026年期间降至62项中的14项(22.6%)。基于交叉验证或时间/留出测试的验证策略也观察到类似趋势,从最早期的8项中1项(12.5%)增加到2022-2023年的20项中5项(25.0%),然后在最近期降至62项中10项(16.1%)。中间时期对应于BattLeDIM竞赛及其后续影响,在此期间研究社区可获得共享基准数据集和共同评估指标。这些结果表明基准采用未随研究领域的快速扩展按比例增加。尽管使用共享数据集的研究数量从第二到第三时期从9项增加到14项,但总发表量增加了约三倍。这表明现有基准测试倡议的影响不足以在研究活动扩展时维持一致的评估实践。相比之下,使用现场或公用事业数据的比例在三个时期从12.5%增加到24.2%,表明逐渐转向更现实的数据集。然而,这一进展未伴随共享评估框架的等效改进,限制了从日益多样化的数据来源获得的结果的可比性。
5. 评估协议与指标
5.1 指标的变异性
纳入研究的评估实践显示显著变异性,文献中未采用一致框架。对于漏损检测任务,常用指标包括准确率、精确率、召回率、F1分数、假阳性率、误报率、曲线下面积(AUC)、检测延迟、检测时间和重构误差阈值。对于定位任务,使用节点级分类准确率、top-k排序准确率、基于距离的定位误差和区域或分区级识别评估性能。评估标准和任务定义的多样性限制了已发表结果之间的直接比较。
若干示例证明数据集特征和评估条件对报告性能的影响。Kammoun等在Net1网络上使用SVM模型报告突发漏损检测的真阳性率90.73%、假阳性率0.13%和准确率98.02%。然而,同一研究显示所有测试算法在突发和初期漏损之间的真阳性率差异约45个百分点,证明漏损场景特征强烈影响报告性能。类似地,使用相同LeakDB基准和相同模型架构,Punukollu等报告Net1上检测准确率范围90.56%至98.23%,Hanoi上49.00%至96.55%。该变化凸显了网络特征和配置对模型性能的影响,独立于所选算法。
其他研究在不同实验条件下报告了高性能值。Damonti和Bernasconi使用基于EPANET的基准实现92.80%准确率(TPR=91.05%,FPR=1.66%),而Dunphy等报告实验室加速度分类准确率98%至99%,F1分数0.92至1.00。Chen等报告声学频谱图分类99.40%精确率和99.20%召回率,而Bohorquez等在37.24米实验室管道上获得0.59%平均定位误差。额外研究聚焦水力预测而非直接漏损分类,如Momeni和Piratla将压力预测MAPE从3.32%降至2.09%,Molina等在合成漏损起始后120分钟检测到13.13 L/s流量减少。
这些结果代表不同的问题表述,包括二元分类、基于信号的检测、定位回归和水力状态预测,使用不同指标和数据来源评估。因此,它们无法直接排序,尽管经常作为改进漏损检测性能的证据呈现。此问题特别重要,因为漏损检测数据集通常高度不平衡,正常运营条件大幅超过漏损事件。因此,单独使用准确率可能提供误导性的模型能力评估,尤其当未补充对不平衡敏感的指标时。
BattLeDIM竞赛通过引入结合检测时机和定位准确率的经济加权评估指标解决了此局限性。尽管类似方法在有限数量的后续研究中被采用,如Wang提出的并发漏损框架,但仍不常见。常规指标局限性的进一步证据由WDSEventDB实时试验台数据集提供,其中四个基线分类器在漏损、网络攻击和传感器故障事件上评估,精确率均高于0.92,而召回率从多层感知器的0.683到支持向量分类器的0.271差异显著。这表明高精确率可能与不平衡条件下较差的事件检测能力共存。当使用现实数据集和对类别不平衡敏感的指标评估时,报告性能明显低于受控实验中常见的值。
识别出的另一个重要局限性是缺乏模型比较的统计评估。纳入研究中,仅声学噪声记录器比较研究了观察到的模型间差异是否统计显著。尽管单因素方差分析指示模型选择有显著效应(p<0.0001),成对McNemar检验未确认任何单个模型显著优于其他模型(p=0.0987)。大多数报告性能差异的研究未包含统计检验支持其结论。
报告性能的分布被总结。在陈述标题准确率的40项研究中,25项(62.5%)报告超过95%的值,9项报告超过99%的值,中位数97.2%。实验室和试验台数据、现场数据、公共基准和定制合成数据分别获得99.0%、96.7%、96.5%和94.8%的中位准确率。应用探索性Kruskal-Wallis检验,识别出四种报告准确率分布之间的总体差异(H(3)=8.67,p=0.034)。然而,Bonferroni校正后六组成对比较均不显著(校正α=0.0083);实验室与现场比较获得未校正p值0.026。由于每组仅包含7至12项研究且任务、模型、验证设计和场景难度存在异质性,无法隔离数据来源的因果效应,不支持成对排序。相反,强化了比较异构标题准确率时需谨慎的需求。特别是,受控实验室条件下获得的性能可能无法推广到信噪比不利且漏损标签不太确定的运营网络。
此局限性在比较自我报告评估与盲测基准时变得尤为明显。在BattLeDIM竞赛中(识别出的唯一盲测评估),先前未见漏损事件实现的最高真阳性率为65.22%。因此,文献中报告的近完美准确率主要应被解释为反映研究特定评估数据集的特征,而非真实运营条件下的预期性能。
5.2 验证方案与漏损场景定义
纳入研究采用的验证策略差异显著,从合并数据集的随机训练-测试分割到旨在更好代表真实部署的留场景法和时间验证方案。合并合成场景的随机分割是最常报告的方法;然而,当高度相似的场景同时包含在训练和测试集中时,此策略可能引入信息泄漏,导致过于乐观的性能估计。
漏损场景的定义在文献中也差异显著,进一步限制了已发表结果的可比性。不同研究考虑突发和初期漏损、背景漏损和管道爆裂、或单一和并发漏损事件,而相应的定义和漏损尺寸阈值未一致报告。因此,模型通常在不同任务复杂度水平下评估。Wang明确解决了并发突发和初期漏损这一更具挑战性的场景,强调大多数先前研究聚焦孤立的单漏损事件。比较ML/DL模型的报告性能时应考虑评估设置的差异。
5.3 基线、消融研究与可比性
在共同实验协议下进行的比较评估仍然有限,尽管识别出若干代表性示例。Kammoun等使用共同实验室框架比较多种机器学习算法,而Doss等在相同实验流水线内评估不同编码器-解码器架构。Barrientos-Torres等系统比较了小波散射特征与人工设计特征,而报告的统一基准研究提供了首个在标准化评估框架下对常规ML和DL架构进行漏损检测和定位的全面比较。此类基准仅在2026年引入的事实凸显了该领域内标准化比较评估实践的有限采用。
相比之下,大多数纳入研究要么不包含基线模型,要么在描述不足的设置下比较方法,要么使用不同数据集评估算法,使直接比较困难。全文分析还揭示了降低已发表工作可重复性的若干报告缺陷。例如,图卷积网络(GCN)定位研究中,关键实现细节(包括卷积核大小、步幅和填充)未提供,阻止了与其他方法的定量比较。此外,作者承认该研究采用的传感配置超过运营供水系统通常可实现的配置,限制了报告结果的实际适用性。
6. 合成与真实数据之间的差距及数据效率策略
6.1 合成到真实迁移对基准测试的重要性
纳入研究在基于模拟的数据集(36项)和真实世界或实验数据集(34项)之间几乎均匀分布。然而,这些领域之间的直接迁移仅被很少评估。对90项纳入研究的聚焦再审计识别了4项与领域或条件转移相关的研究内对比。这些结果被映射而非合并,因为研究使用不同任务、指标、数据集和验证设计。
该表应被解释为证据图而非元分析。Doss等在一个框架内评估了公共基准和运营公用事业数据,但未报告匹配的衰减估计。Kammoun等量化了漏损类型对比,而Zhang等量化了理想到复杂声学条件对比;两者均不构成合成到真实迁移。Chatterjee等报告了模拟和真实数据结果,但条件未配对且真实数据准确率更高,因此差异不能解释为迁移损失。Damonti和Bernasconi以及Luo等也识别了真实网络验证的必要性而未报告受控迁移效应。因此,没有符合条件的研究提供匹配合成和真实条件下性能衰减的受控估计。该缺失证实了跨域验证缺口,表明未来研究应预定义配对条件、共同指标和留出迁移协议。
合成到真实迁移的评估对实际部署尤为重要,因为使用模拟数据开发的ML/DL模型最终旨在应用于运营供水系统,其中网络条件无法通过水力模拟完全再现。此挑战进一步由近期模型可解释性研究强调。Xu等观察到大多数基于ML的漏损检测研究优先模型开发而对可解释性关注有限,降低了运营应用的透明度和信心。为解决此局限性,近期提出了若干可解释AI框架和可解释模糊推理方法以改善数据驱动漏损检测系统的实际采用。
6.2 数据稀缺、类别不平衡与标签不确定性
真实漏损数据的可用性仍然有限,现有数据集通常以类别不平衡和不确定的漏损标签为特征。因此,大量研究调查了有限数据条件下改善模型性能的方法。Dunphy等通过窗口切片数据增强解决严重类别不平衡,并识别生成对抗网络(GANs)和自编码器模型为克服数据稀缺的有前景方法。
随后调查了广泛的数据高效学习策略。这些包括用于生成压力图像训练样本的条件深度卷积GANs、用于增强有限声学数据集的集成生成模型、使用层次一致性学习的少样本声学漏损检测、无监督声学去噪方法、跨公用事业的域对抗迁移学习、用于管道监测的对比表示学习、减少对标记漏损事件依赖的半监督自编码器框架、用于小样本应用的无监督动态图学习,以及能够在噪声传感条件下保持高检测性能的元启发式特征选择方法。
尽管这些技术代表了数据高效学习的重要进展,它们也为基准测试引入额外挑战。报告改进可能不仅取决于学习算法本身,还取决于训练期间使用的标记数据量、增强策略和采样程序。因此,未来基准协议应纳入标准化标签预算、共同增强程序和一致评估设置,以实现数据高效ML/DL方法的公平比较。
6.3 新兴基础设施:数字孪生、边缘计算与基础模型
若干新兴技术预期将影响下一代水漏损检测基准测试框架。数字孪生平台将校准水力模型与实时SCADA数据集成,支持连续监测、漏损检测和运营决策。通过在统一环境中组合模拟和运营信息,数字孪生为标准化重放基准测试和合成到真实评估提供有吸引力的平台。