《Water Research X》：A fluorescence image-based model for in-sewer source flow apportionment: machine learning vs. end-member mixing model
编辑推荐：
本研究开发了一种基于激发-发射矩阵（EEM）图像的机器学习模型，用于量化下水道内源流组分。该模型将校正后的EEM转换为灰度图像，并采用离散余弦变换（DCT）、加速稳健特征（SURF）和卷积神经网络（CNN）三种特征提取方法获取64维特征向量，进而通过级联隐藏层
本研究开发了一种基于激发-发射矩阵（EEM）图像的机器学习模型，用于量化下水道内源流组分。该模型将校正后的EEM转换为灰度图像，并采用离散余弦变换（DCT）、加速稳健特征（SURF）和卷积神经网络（CNN）三种特征提取方法获取64维特征向量，进而通过级联隐藏层神经网络预测高有机废水（HOW）、低有机废水（LOW）和外来水三种源流的体积分数。研究结果表明，机器学习模型的预测性能显著优于线性端元混合模型：线性模型在测试集上的平均绝对误差（MAE）为0.309–0.314，均方根误差（RMSE）为0.405–0.413，而机器学习模型的MAE仅为0.057–0.113，RMSE为0.090–0.169。在三种特征提取方法中，DCT表现最佳，CNN次之，SURF最差。经遗传算法（GA）优化超参数后，GA-EEM-DCT模型的预测性能较基线EEM-SURF模型提升高达62.7%。SHAP分析和图像扰动分析揭示，模型预测主要依赖于有限的EEM区域：类色氨酸T1区域对HOW预测贡献最大（正向），类腐殖质A+M区域对LOW预测贡献最大（负向），而外来水预测则主要依赖T1（负向）和A+M（正向）的组合。在实际下水道网络的现场验证中，该模型预测的外来水分数与化学质量平衡（CMB）模型的结果偏差范围为0.5%–8.4%，表明二者具有合理的一致性。该研究为基于荧光信息的下水道监测和状况评估提供了一种经济高效的新方法。
研究背景方面，城市下水管道网络是全球城市关键基础设施，负责将污水输送至污水处理厂（WWTPs）进行污染物去除。然而，管网老化问题日益严峻，例如中国地下排水管网总长近1,000,000 km，约22%已服役超过20年。管道结构缺陷及伴随的外来水入渗（如地表水和地下水）常导致进水浓度稀释，显著降低污水处理厂效率，同时损害水力容量，引发雨季溢流和洪涝。传统的管道评估主要依赖闭路电视检测等物理检查手段，但此类方法劳动密集、成本高昂，且需依次进行管道封堵、排空和清淤等繁琐操作，尤其对市政主干管而言挑战巨大。因此，研究人员亟需开发不干扰下水道水流输送的经济高效评估技术。荧光光谱法因其测量简便、分析快速、样品需求量小且无二次污染等优势，成为下水道网络评估的有前景工具。激发-发射矩阵（EEM）可提供溶解性有机物（DOM）的独特指纹信息。近年来，基于EEM的机器学习框架在定性源识别和定量源分配方面展现出潜力，但现有模型多依赖特定荧光参数或平行因子分析（PARAFAC）组分，可能忽略全EEM矩阵中丰富的高维光谱信息，且PARAFAC组分得分不能直接指示特定源流的体积分数。这些考虑促使研究人员开发直接基于全EEM图像的机器学习方法来量化源流分数。在下水道系统中，清洁水分数是结构缺陷的关键指标——主干管中清洁水分数越高，管道缺陷越严重。通过EEM图像量化源流分数（如污水和清洁水分数），管理者可对管道结构缺陷按风险从高到低排序，从而确定检查优先次序和修复资源分配。然而，基于EEM图像的下水道源流定量分配研究尚十分有限。为此，本研究提出了一个定量确定下水道内源流分数的创新框架，将EEM图像视为高维光谱特征而非依赖预定义指数，利用先进机器学习架构捕获激发-发射空间中的非线性关系，并与传统线性混合模型进行比较，最终在实际下水道汇水区进行验证。
在技术方法方面，研究人员开展了以下主要工作：在现场采集方面，于2025年1月16–17日在中国安徽省六安市城市化区域采集高有机废水（HOW）样品16个（来自两个住宅小区）和低有机废水（LOW）样品16个（来自一家餐厅和一个食品市场），采样前至少72小时无降雨；同时采集地表水样品8个（两个河流点位）和地下水样品4个（一口地下水井）。所有样品经0.45 μm聚醚砜膜过滤并稀释10倍后，使用荧光分光光度计（F-7100，日立，日本）采集三维EEM荧光光谱，激发和发射波长均扫描200–550 nm，间隔5 nm。在实验室混合实验方面，将各源类型原始样品等体积混合制备代表日平均化学组成的复合样品，按预定比例混合生成共363个源流混合样品用于模型开发。在模型开发方面，将校正后的EEM转换为灰度图像并统一调整为224×224像素分辨率，采用DCT、SURF和CNN三种方法提取64维特征向量，构建包含输入层、特征提取层、级联隐藏层和输出层的四层机器学习模型结构；采用五折交叉验证进行模型训练和测试，并分别使用贝叶斯优化（BO）、遗传算法（GA）和粒子群优化（PSO）三种算法进行超参数优化。在对比模型方面，构建了基于全EEM光谱和基于特征参数的两类线性端元混合模型作为基准。在现场验证方面，于2024年8月5日从研究区域下水道网络的五个点位以6小时间隔采集共20个水样，测定EEM及三种化学标志物浓度，并采用贝叶斯化学质量平衡（CMB）模型估算源流分数进行对比验证。
研究结果方面，第一，机器学习模型与端元混合模型的比较。研究人员通过实验室混合样品评估了三类机器学习模型（EEM-DCT、EEM-SURF、EEM-CNN）和两类线性端元混合模型（全EEM光谱和特征参数）的性能。结果表明，线性模型在测试集上的MAE为0.309–0.314，RMSE为0.405–0.413，而机器学习模型的MAE仅为0.057–0.113，RMSE为0.090–0.169。机器学习模型的优越性能可归因于自然和废水DOM样品的荧光信号与DOM浓度之间常呈非线性关系，混合过程中荧光团间相互作用、共存组分猝灭以及化学基质变化驱动的荧光量子产率偏移共同引入了非线性。研究人员引入归一化偏差指数（NDI）衡量实测EEM偏离线性叠加的程度，NDI范围为11.4%–32.1%（中位数20.9%），且随污水分数增加而增大。在机器学习模型类别中，EEM-DCT模型整体性能最佳（测试集MAE：0.057，RMSE：0.090），其次为EEM-CNN（MAE：0.084，RMSE：0.129）和EEM-SURF（MAE：0.113，RMSE：0.169）。EEM-DCT展现出优异的泛化能力，RMSE从训练集的0.083仅微增至测试集的0.090；而EEM-SURF存在明显过拟合，RMSE从0.102增至0.169。
第二，通过超参数优化提升机器学习模型性能。研究人员采用BO、GA和PSO三种算法对EEM-DCT模型进行超参数优化。总体上，优化后EEM-DCT模型的预测性能有所提升，但BO-EEM-DCT模型在测试集上性能反而下降，表明BO算法在此特定优化情境下可能存在过拟合。GA-EEM-DCT模型在训练集和测试集上均取得最大改善：训练集MAE和RMSE分别提升6.8%和25.3%，测试集MAE和RMSE分别提升19.3%和28.9%。GA基于种群的全局搜索通过迭代计算适应度值并经选择、交叉和变异生成新候选解，能更全面地探索复杂搜索空间，降低陷入局部最优的风险。Taylor图评估进一步证实，GA-EEM-DCT模型的模型点与真实点最为接近，六种机器学习模型的模型点与真实点距离范围为0.063–0.169，GA-EEM-DCT模型整体预测性能较基线EEM-SURF模型提升高达62.7%。
第三，所提模型预测下水道外来水流分数的稳健性。研究人员评估了GA-EEM-DCT模型预测外来水流分数的稳健性。训练集中82.5%的混合水样预测误差小于5%，另有12.7%的样品误差在5%–10%之间，95.2%的训练样品误差低于10%；测试集中77.8%的样品误差小于5%，另有16.7%的样品误差在5%–10%之间，94.4%的测试样品误差低于10%。模型对外来水流分数的预测精度从训练到测试几乎未下降，表明其在下水道状况评估中量化外来水流分数具有强稳健性。预测精度随HOW或LOW比例增加而提高，这是因为生活污水DOM通常呈现强蛋白质类荧光特征，而外来水荧光信号相对较弱，当外来水占主导时其荧光组分可能与稀释污水中低荧光强度组分存在光谱相似性，导致数学共线性，增加模型推断的不确定性。
第四，基于机器学习的EEM图像可解释性分析。研究人员通过SHAP分析阐明DCT衍生特征对源流定量的贡献，结果显示模型预测对相对较高频率的DCT系数最为敏感，表明模型预测更多依赖局部荧光模式而非EEM图像的平均荧光强度。图像扰动分析进一步揭示了各源流预测的关键EEM区域：HOW预测中，类色氨酸T1区域影响最显著（重要性得分=0.223），其他正贡献区域包括B1、A1、M、A2和A+M（重要性得分0.094–0.113）；LOW预测以负重要性得分为特征，A+M区域影响最大（重要性得分=-0.305），其次为A2（-0.170）和B1（-0.086）；外来水预测中，T1（-0.204）、A1（-0.123）和C（-0.088）呈负贡献，A+M（0.211）和A2（0.075）呈正贡献。研究人员强调SHAP和遮挡敏感性是归因方法，量化输入特征对模型预测的贡献或敏感性，并不建立特定荧光区域与物理系统中源流分数之间的因果关系。
第五，EEM图像机器学习模型的现场测试。研究人员在实际下水道网络中对模型进行现场测试，从五个点位采集20个水样，将EEM机器学习模型预测的源流分数与基于化学标志物的CMB模型结果进行比较。两种方法预测的外来水分数绝对偏差范围为0.5%–8.4%，表明EEM机器学习模型与经典CMB模型之间具有合理一致性。与依赖化学标志物测量的CMB模型相比，EEM模型采用荧光光谱法，具有测量更简便、分析更快速、样品需求量更小且无二次污染等优势。
讨论部分总结：本研究开发了一种新型的基于EEM图像的机器学习框架用于下水道内源流定量分配。主要发现包括：（1）所提EEM机器学习模型优于线性混合模型，在三种EEM图像特征提取器中DCT表现最佳，GA超参数优化使EEM-DCT模型预测性能较基线EEM-SURF模型提升高达62.7%。（2）SHAP分析和EEM图像扰动表明模型预测集中于有限数量的EEM区域：类色氨酸T1区域对HOW预测影响最大（正贡献），类腐殖质A+M区域对LOW预测影响最大（负贡献），外来水估算中影响最大的两个区域为T1（负向）和A+M（正向）。与传统需人工选择和计算各种荧光指数的方法相比，所开发机器学习模型通过DCT自动提取有效EEM特征，简化了流程并提高了预测效率和精度。（3）模型进一步应用于实际下水道网络采集的样品，预测的外来水分数与基于实测化学标志物的CMB模型结果具有合理一致性，支持所提模型良好的现场适用性。研究结论翻译：本研究开发了一种新型的基于EEM图像的机器学习框架，用于下水道内源流定量分配。主要发现总结如下：（1）所提基于EEM的机器学习模型优于线性混合模型。对于实验室混合物，线性端元模型（全光谱和特征参数）的MAE为0.309–0.314，RMSE为0.405–0.413，而机器学习模型的误差显著更低（MAE 0.057–0.113；RMSE 0.090–0.169）。在配备不同EEM图像特征提取器（DCT、CNN和SURF）的模型中，EEM-DCT模型表现最佳。采用GA对EEM-DCT模型进行超参数优化后，预测性能较基线EEM-SURF模型提升高达62.7%。（2）SHAP分析和EEM图像扰动表明，模型预测集中于有限数量的EEM区域。类色氨酸T1区域是HOW预测中影响最大的区域（正贡献），而类腐殖质A+M区域是LOW预测中影响最大的区域（负贡献）。对于外来水估算，影响最大的两个区域为T1（负向）和A+M（正向）。与传统需人工选择和计算各种荧光指数的方法相比，所开发机器学习模型通过DCT自动提取有效EEM特征，从而简化了流程并提高了预测效率和精度。（3）所开发模型进一步应用于实际下水道网络采集的下水道内样品，预测的外来水分数与基于实测化学标志物的CMB模型所得结果进行了比较。两种方法显示出合理一致性，支持所提模型良好的现场适用性。需要指出的是，所提基于EEM的机器学习模型目前适用于接收生活污水的下水道网络评估，其中废水被概括为HOW、LOW和外来水，可评估其流量分数及相关管道缺陷严重程度。对于同时接收生活污水和工业废水的下水道网络，某些工业排放类型（如无机工业废水）可能表现出与生活污水明显不同的水质特征。在此类情况下，可通过采集特定工业入流（端元）类型的水样、开展实验室混合实验并建立现场特定机器学习模型来适配本研究所开发的建模框架，从而将评估扩展至更复杂的下水道网络条件。因此，未来研究需要在更广泛的下水道网络场景中检验所开发EEM图像机器学习框架的可迁移性，以建立下水道系统管理的经济高效方法。
