《Journal of Environmental Management》：Integrating machine learning failure probabilities and tracer-based infiltration indicators for sewer condition screening and asset management
编辑推荐：
基于排序的筛查将污水管道失效概率与入渗证据相衔接。将机器学习（machine learning, ML）管道失效概率与基于电导率（electrical conductivity, EC）的入渗指标进行比较。示踪剂与机器学习（ML）分区排序显示出正向但统计上不确
基于排序的筛查将污水管道失效概率与入渗证据相衔接。将机器学习（machine learning, ML）管道失效概率与基于电导率（electrical conductivity, EC）的入渗指标进行比较。示踪剂与机器学习（ML）分区排序显示出正向但统计上不确定的一致性。不一致分区可识别针对性现场调查的优先区域。
研究背景与问题：城市污水管网正进入大规模修复阶段，反应性维护成本高，主动资产管理依赖对管网结构状况的认识。对于掩埋基础设施，这种认识几乎完全依赖闭路电视（Closed-Circuit Television, CCTV）检测数据；这些检测存在不确定性和主观性，但仍是退化建模和更新规划的主要信息来源。数据驱动方法和计算能力进步使机器学习（machine learning, ML）越来越多用于下水道状况建模，包括预测结构类别、支持检测优先级和探索缺陷与管道或集水区属性的关联。问题在于，ML模型高度依赖检测数据的可用性、质量和空间分布；当检测稀疏、不均匀或偏向疑似问题区时，模型可能对未检测部分泛化差，或编码由检测偏差驱动的模式。尽管方法学有进展，ML状况模型尚未广泛用于实践，许多水务单位缺乏足够检测数据、内部专业能力或组织支持；即使可训练，预测仍不确定。稀疏检测下，ML状况预测很少与独立现场证据比较，其空间模式在检测数据集之外基本未经验证。入流与入渗（inflow and infiltration, I/I）提供独立的物理信号，在北欧和其他欧洲系统中广泛存在，并显著影响水力性能和生命周期成本。示踪剂法可用EC、温度、化学需氧量（chemical oxygen demand, COD）、稳定同位素等量化旱天污水与入渗地下水的稀释。此前没有研究在单一分析框架内比较基于示踪剂的入渗估计与ML推导的污水管道失效概率。因此，本研究检验二者是否在运行分区层面给出一致的优先级排序，并用于下水道状况筛查和资产管理。
研究人员开展的研究与意义：以芬兰南部Viiala的HS-Vesi污水管网为案例，利用一天旱天采样估计基于示踪剂的地下水入渗，同时利用CCTV数据训练ML模型预测管道失效概率，并将二者在21个运行分区层面进行基于排序的比较。结论是，示踪剂入渗排序与ML失效概率排序呈正向但统计不确定的一致性；不一致分区可识别针对性现场调查的优先区域。该流程不替代CCTV检测或直接验证管道状况，而是作为跨证据筛查框架，支持数据有限环境下更稳健、谨慎地使用ML模型，并服务于废水基础设施资产管理决策。
关键技术方法概括（不超过250字）：研究区为芬兰南部Viiala的HS-Vesi污水管网，网络总长269.6 km，分为21个由泵集水区、溢流边界和水力连通性定义的运行分区。样本队列来源为2024年5月2日一天旱天采样，75个抓取样来自37个人井；地下水位由压力传感器和气压计校正获得。入渗用EC和EC + COD二元混合模型估计，并以长度加权聚合到分区。ML使用CCTV检测和资产登记中的材料、直径、长度、安装年份等，以逆概率删失加权（inverse probability of censoring weighting, IPCW）处理右删失，随机森林预测各年龄窗口管道失效概率，经五折交叉验证、折外预测和长度加权聚合到分区。排序比较用Kendall's τ-b、concordance index、ΔRank及1000次分区内管道bootstrap。
研究结果：
3.1 基于示踪剂的入渗模式：采样期地下水位高且稳定，总变化约3.3 cm，前48 h无降雨或融雪，支持将示踪剂信号解释为地下水入渗。EC入渗范围为0–68%，中位35%，IQR 23–44%；最高为8区68%、10区64%、12区55%、2区53%；一些区低或可忽略，如7、17、21区0%，9区13%，13区15%。EC + COD保持主要空间模式但总体升高，范围17–78%，中位61%，IQR 47–72%，并重排若干中排名分区；21个区中15个超过50%，2、5、10区最高78%，12区77%，8区75%，19和20区72%。EC + COD较高是因为归一化后COD更接近地下水端元，X
COD较低，导致表观入渗更高；该数学结果指出差异来源，但不能区分真实稀释与COD变异或管内转化。
3.2 ML推导的管道失效概率：模型在HS-Vesi受检部分训练，预测所有管道并子集到Viiala；由于Viiala检测覆盖有限，未直接评估其性能，校准和区分在HS-Vesi训练区报告。可靠性图显示0–20年窗口校准最接近理想线，其他窗口有不同程度误校准，通常在高预测风险处过预测，且随预测时距延长而加重，Brier分数和综合校准指数（Integrated Calibration Index, ICI）也反映此点。区分性能随年龄窗口变化，20–30年窗口峰值，较老窗口一般下降，最长窗口最弱，符合长时距失效预测不确定性更大。每个管道使用对应研究区间失效概率，重叠窗口取均值；管级概率聚合到分区为长度加权均值，范围由0.0–1.0压缩至0.037–0.725。小差异可改变中排名分区顺序；分区排序仅用于筛查，不替代管级优先级排序。
3.3 入渗与ML失效概率的排序一致性：核心问题是高示踪剂入渗分区是否也倾向有高ML预测结构失效概率。分区按最差到最好排序，比较示踪剂入渗严重度（EC和EC + COD）与长度加权ML失效概率。结果显示正向但统计不确定一致性。EC单独时Kendall's τ-b=0.254（p=0.108；条件95%分区内管道bootstrap区间0.187–0.311），concordance index=0.628（条件区间0.594–0.657）。EC + COD时τ-b=0.305（p=0.056；条件区间0.227–0.353），concordance index=0.655（条件区间0.615–0.679）。点估计略高但条件区间重叠。简单均值、长度加权均值或中位数结果大致相似，条件区间重叠。移除坐标预测变量后，无坐标模型与全模型分区排序仍强相似（τ-b=0.838；concordance index=0.919；平均绝对排名变化=1.33），无坐标排序与EC和EC + COD仍为正向但统计不确定关联。管龄与ML失效排序中度关联：长度加权年龄τ-b=0.444（p=0.005；concordance index=0.722），中位年龄τ-b=0.487（p=0.003；concordance index=0.751）。长度加权年龄基线与示踪剂排序为正但统计不确定，EC的τ-b=0.212，EC + COD的τ-b=0.107。ΔRank=失效概率排名?EC入渗排名，正值表示ML排名更差，负值表示EC排名更差；排名不匹配识别两种证据强调不同主导信号的区域，提示针对性后续调查。
3.4 排序一致性的诊断敏感性分析：为评估少数分区是否不成比例影响总体排序一致性，按ΔRank绝对值的降序迭代移除最不一致分区，每次重新计算Kendall's τ-b和concordance index，EC和EC + COD分别进行。描述性一致性曲线随着排除最不一致分区而升高，排除少数分区后concordance index超过0.75参考线，表明不一致集中在有限子集。由于移除顺序由观察到的排名差异定义，该序列为事后描述性，不报告移除后p值或推断性声明；所有分区保留在主要分析中。
讨论总结：讨论指出，管网级和管级退化建模均有报道，但管级预测聚合到更大空间单元的影响研究不足。平均化降低方差并压缩极值，改变预测条件分布；本研究分区ML失效概率变异低于管级。τ-b和concordance显示一定相似，但均未达统计显著，不支持全网络一致。条件bootstrap区间仅描述观察管级失效概率聚合不确定性，不涵盖分区数少、示踪剂测量、单日采样或超出观察区的外推。两类指标机制上可部分对应：严重结构缺陷可为地下水入渗提供路径，但结构缺陷不一定产生可测入渗，入渗也可通过非法或劣化支管连接进入；因此二者重叠但非同一过程。高优先分区可考虑较早检查，但不确认结构失效；大排名差异提示需额外CCTV、重复示踪、水力评估或网络连通性审查。坐标改善模型性能并贡献空间结构，但全模型与无坐标排序强相似，说明分区优先级不由坐标单独决定；该敏感性分析支持将排序作为补充证据，不隔离空间自相关、因果或独立验证。管龄基线显示年龄贡献但不等于ML排序，且ML排序未一致优于年龄。示踪剂选择方面，EC和EC + COD跨区强一致，最高排名分区基本一致，说明EC单独捕获分区级主要稀释信号；少数中排名分区因加入COD移动数位，但不改变整体图景。EC + COD较高不必然表示更准确；COD较EC非保守，受污水强度、沉降和生物降解等影响，故作为补充敏感性指标而非主要示踪剂。ML外部评估方面，基于ML的退化模型常用同一检测数据集内部验证，管级性能常为中等；检测选择偏差、风险导向检测和退化渐进导致时间不平衡，内部验证受受检子集限制。本研究不提出新ML算法或性能指标，而建议使用二元分类模型的预测失效概率而不仅最终分类，并检查ML结构失效概率是否与独立入渗指标空间模式一致。排名不匹配方面，高失效概率低入渗提示结构退化如严重凹陷或变形可能无强水力信号；高入渗低失效概率提示外来水可能经非法或劣化支管连接进入，未被严重结构缺陷类别充分捕获。错配应视为更高不确定性而非错误，ΔRank帮助区分两种证据互相支持与需要额外信息的区域，不判断哪种方法正确。局限方面，两种指标各有局限，即使同一分区均高也不保证真实结构热点；结果为相对空间模式而非实际管失效确认。单日采样代表时间快照，部分采样点因上游用水少而流量很低，采样困难，部分点靠近家庭连接，家庭活动可影响示踪剂浓度；CCTV检测主观性、检测实践差异、条件类别分配不一致和失效定义不统一也引入不确定性。本研究失效定义为最严重两类（CS 3和4），替代定义会不同。重复旱天采样覆盖不同地下水条件可减少时间不确定性。无法直接定量评估分区检测覆盖对预测排序的影响。空间尺度上，示踪剂入渗不能在管级可靠估计，需按设计聚合；为使比较可行，ML管级概率也聚合到分区，平滑局部变化并可能掩盖高风险管段；管级概率跨度宽，分区平均更压缩；分区大小和内部异质性不同，有些可能过粗。改变区界会改变聚合值和排序，但本研究分区基于泵集水区、溢流边界和水力连通性，具有水力意义。未来工作应考察ML失效概率模型在不同数据可用性污水管网之间的可迁移性；许多可迁移性研究主要用内部准确性指标，本排序跨证据框架提供补充方法，在目标网络中将ML失效概率排名与独立示踪剂入渗排名比较；若数据丰富源网络中两种排名空间模式一致，入渗数据可为数据稀疏网络筛查ML预测提供低成本支持，并帮助识别转移预测可能不可靠、需额外验证的网络或分区。
研究结论翻译：本研究考察了当检测数据稀疏、不均或不确定时，基于机器学习（ML）的下水道状况预测如何被解释和筛查，这是可持续废水资产管理中的常见挑战。以芬兰Viiala为案例，研究人员利用EC和EC + COD通过一天旱天采样活动估计基于示踪剂的地下水入渗，同时利用IPCW校正的ML框架从CCTV数据预测管道失效概率。由于这些指标代表不同过程并在不同尺度上运行，其一致性通过透明、基于排序的比较在运行分区层面评估。结果显示，基于示踪剂的入渗排名与ML推导的失效概率排名之间存在正向但统计上不确定的关联。非显著p值意味着未证明全网络一致。所提工作流程不替代CCTV检测或直接验证管道状况。它可以支持污水管道检测和维护优先级的决策。本工作的主要贡献是一个实用的跨证据筛查框架，将基于ML的失效概率输出与独立、低成本示踪剂信息相连接。该框架不替代检测或确认管道状况，而是支持在数据有限环境中更稳健和谨慎地使用ML模型，并促进废水基础设施管理中更可持续和知情的决策。
