基于真实与 CGAN 增强光谱数据的废水质量预测

《Neurocomputing》：Wastewater quality prediction using real and CGAN-augmented spectral data

　　

摘要

本研究提出了一种基于数据驱动的方法，利用紫外 - 可见光谱技术和机器学习来估计化学需氧量（COD），这是一个关键的废水质量指标。为了解决皮革厂等高污染工业环境中存在的数据稀缺问题，本研究引入了一种基于条件生成对抗网络（CGAN）的数据增强策略。该模型以特定的 COD 值为条件生成合成吸光度光谱，有效地利用化学上合理的数据扩展了训练集。增强后的数据集用于训练回归模型，其中包括多层感知机（MLP），从而提高了 COD 预测的性能。通过统计相似性指标、主成分分析和相关性分析验证了合成光谱的质量。对皮革工业真实废水样品的实验表明，基于 CGAN 生成的合成数据训练的回归模型优于仅基于真实数据训练的模型。这些发现强调了生成模型在增强环境监测软测量系统方面的潜力。

引言

有效的废水质量监测对于评估工业过程的环境影响至关重要，尤其是在皮革工业等高污染部门。在各种用于评估水污染参数中，化学需氧量（COD）是使用最广泛的指标之一，反映了需要氧化的有机物浓度 [10], [26], [33]。然而，传统的 COD 测量实验室方法，包括滴定法或密封管分析，耗时、危险且不适合实时监测 [19], [21]。在制革厂等工业环境中，由于加工阶段的变化，废水成分可能迅速波动，缺乏及时的 COD 信息限制了实施主动控制策略的能力。此外，实验室分析需要专门人员并产生巨大的运营成本，使得频繁采样不切实际。这些限制产生了对快速、可扩展且非侵入性监测解决方案的明确需求，能够支持废水质量的连续或高频评估。这种需求在有机负荷较高且光谱信号表现出强非线性和化学干扰的高污染环境尤为迫切，使得预测任务极具挑战性 [29]。

为克服这些局限性，软测量方法结合了来自光谱仪等非特异性传感器的数据以及先进的信号处理和机器学习，提供了有效的替代方案 [6], [7], [8]。这些方法实现了实时监测，并减少了对低效实验室规程的依赖。在光学技术中，紫外 - 可见（UV-vis）光谱技术在软测量水质分析中尤其有价值。它通过测量跨越紫外 - 可见波长光谱的光吸收，提供丰富的化学信息，生成样本的化学指纹，受比尔 - 朗伯定律支配 [30]。

尽管紫外 - 可见光谱技术具有潜力，但其在制革厂等高污染工业环境中的应用面临重大挑战 [16], [34]。主要问题之一是全面、大数据集稀缺，这源于样本收集和参考分析的费力性质。这种数据限制，因污染物的内在复杂性而加剧 [6], [7]，可能会限制机器学习模型的性能。因此，数据增强策略允许增强数据集的大小和多样性。本文介绍并评估了一种利用条件生成对抗网络（CGANs）合成真实紫外 - 可见吸光度光谱的数据增强方法。本研究的目的是提高回归模型（特别是 MLPs）在具有挑战性的工业废水场景下对 COD 估计的预测性能。在本研究中，COD 一词始终指通过标准分析程序获得的实验室测量浓度，这代表了法律认可的有机负荷指标，并作为所有预测模型的真实值目标。本工作中使用的 CGAN 并不替代或近似这些测量；而是以在真实数据集中观察到的 COD 范围内采样的数值为条件，这些数值仅作为引导合成光谱生成的标签。因此，这些条件值不被解释为测量的 COD，而是作为允许生成模型在数据集中缺乏足够真实样本的区域填充真实光谱数据的输入。这种区别确保了概念上的清晰：COD 仍然是经过实验验证的量，而条件值在合成数据生成中起辅助作用，以提高数据稀缺的工业场景下模型的鲁棒性。

尽管集成机器学习模型的紫外 - 可见光谱技术具有潜力，但仍存在一个关键的研究空白：现有的光谱数据增强技术主要设计用于分类任务或低浓度范围，在高污染、非线性的工业环境中留下了连续回归任务的空白。本研究解决的问题是制革厂废水典型的高 COD 浓度下的数据稀缺和类别不平衡，这严重降低了标准回归模型的预测性能。本工作的创新性在于适应连续条件生成对抗网络（CGAN），专门用于合成以广泛且连续的 COD 值范围为条件的化学上合理的紫外 - 可见光谱。该方法的重要性在于它能够实现用于工业废水管理的稳健、实时软测量系统，减少对昂贵、耗时且危险的化学实验室测试的依赖。

本工作的主要贡献是：（1）开发并应用了一种基于 CGAN 的方法，用于生成以 COD 水平为条件的真实合成紫外 - 可见吸光度光谱，特别针对复杂的工业废水。（2）使用多种分析方法严格验证合成光谱的质量，包括统计相似性、主成分分析（PCA）和相关性分析。（3）全面的实验评估表明，使用 CGAN 增强数据训练的回归模型在 COD 预测性能上优于仅基于有限现实数据训练的模型。

本文的其余部分组织如下：第 2 节回顾光谱数据增强和废水质量监测的最新技术。第 3 节详细介绍了所提出的方法论，包括数据预处理、CGAN 架构和回归模型。第 4 节概述了实验设计和评估指标。第 5 节展示并讨论了实验结果。最后，第 6 节总结了本文并提出了未来研究的途径。

章节片段

相关工作

使用快速和非侵入性方法准确估计 COD 等废水质量指标是一个重要的研究领域。紫外 - 可见光谱技术与机器学习的结合，已成为传统实验室分析的一种有希望的替代方案 [16], [34]。然而，此类数据驱动模型的性能很大程度上依赖于广泛和多样数据集的可用性，这些数据集在特定的工业环境中往往稀缺。本节回顾了相关文献

数据集与方法

本研究利用了一个数据集，该数据集包含从意大利托斯卡纳地区的三家制革厂收集的废水样本。在每家制革厂内，废水样本取自皮革生产过程的各个阶段或直接取自最终排放物，以确保废水成分的多样化代表性。为了获取废水样本的紫外 - 可见吸收光谱，实验设置是使用波长范围从 200 到 730 的紫外 - 可见光学探针进行的

实验设计与评估协议

实验设计旨在严格评估所提出方法的两个主要方面：（i）CGAN 在合成以特定 COD 值为条件的真实紫外 - 可见吸收光谱方面的有效性，以及（ii）CGAN 增强数据对各种回归模型 COD 估计预测性能的影响。本工作沿三个互补维度评估 CGAN 生成的合成光谱的质量和有用性：

• •
  定性视觉

结果与讨论

为评估 CGAN 生成的合成紫外 - 可见光谱的质量，采用了不同的验证策略。图 3 提供了在选定 COD 水平下真实和生成光谱的视觉比较，显示合成样本重现了真实测量的整体形状和吸光度行为。

这一观察得到了主成分分析（PCA）的支持。从真实和合成数据集中得出的前两个主成分显示出强相关性

结论与未来工作

本研究开发并验证了一种方法，通过集成紫外 - 可见光谱技术与机器学习技术（包括用于数据增强的 CGAN 和用于回归任务的 MLP）来增强复杂工业废水中的 COD 估计。本工作的主要贡献解决了高污染环境中的数据稀缺这一普遍挑战。使用有限数量的真实废水样本训练的 CGAN 用于生成合成但在化学上合理的 UV-Vis 光谱

CRediT 作者贡献声明

Marco Cardia: 写作 – 审阅与编辑，写作 – 初稿，验证，监督，方法论，调查，形式分析，数据整理，概念化。Stefano Chessa: 写作 – 审阅与编辑，验证，监督，方法论，概念化。Alessio Micheli: 写作 – 审阅与编辑，验证，监督，方法论，概念化。Antonella Giuliana Luminare: 监督，资源，数据整理。Francesca Gambineri: 监督，资源，项目

竞争利益声明

作者声明，他们没有任何已知的竞争财务利益或个人关系，可能影响本文报告的工作。

Marco Cardia 是比萨大学计算机系的博士后研究员。他于 2025 年 4 月从比萨大学获得计算机科学博士学位，论文题为“用于水质自动评估的软传感器和机器学习”。他的研究专注于机器学习在环境监测和数字无障碍方面的应用。特别是，他开发了用于水质预测的高级软测量系统，使用

Marco Cardia|Stefano Chessa|Alessio Micheli|Antonella Giuliana Luminare|Francesca Gambineri

比萨大学，意大利比萨 PI 56127