数据有限条件下基于Transformer-少样本学习-生成对抗网络的多类别水质分类框架

《Frontiers in Water》:A transformer-FSL-GAN framework for multiclass water quality classification under limited data conditions

【字体: 大 中 小 】 时间:2026年09月08日 来源:Frontiers in Water 3.7

编辑推荐:

  摘要 引言:精确的水质分类对于可持续水质监测和水资源管理至关重要。然而,大多数机器学习模型依赖于大量标记数据,而在实际应用中,水质观测数据稀疏且可能存在类别不平衡,因此这些数据往往难以获得。本研究提出了一种基于Transformer的少样本学习框架,并结合Wa

  
摘要
引言:精确的水质分类对于可持续水质监测和水资源管理至关重要。然而,大多数机器学习模型依赖于大量标记数据,而在实际应用中,水质观测数据稀疏且可能存在类别不平衡,因此这些数据往往难以获得。本研究提出了一种基于Transformer的少样本学习框架,并结合Wasserstein生成对抗网络(Transformer-FSL-GAN),用于解决数据样本数量有限时的多类别水质分类问题。方法:该框架包含三个互补组件:(i) 表格Transformer编码器,通过多头自注意力学习理化参数之间的全局非线性关系;(ii) 原型网络(Prototypical Network),在判别性嵌入空间中实现基于度量的少样本分类;(iii) 带有梯度惩罚的类别特异性Wasserstein生成对抗网络(WGAN-GP),生成逼真的合成支持样本,以缓解数据稀缺和类别不平衡问题。实验使用了加拿大地表水质数据集,该数据集包含3,949个样本、8个理化参数以及来自加拿大水质量测量、评估和管理中心(CCME-WQI)的5个水质类别:优秀(Excellent)、良好(Good)、一般(Fair)、边缘(Marginal)和较差(Poor)。研究人员在1样本、5样本和10样本学习条件下评估了所提出的框架,并与传统机器学习模型、深度学习基线和消融变体进行了基准比较。结果:Transformer-FSL-GAN在10样本配置下取得了最高的总体准确率97.33%,宏平均精确率97.50%,宏平均召回率97.33%,宏平均F1分数97.33%,宏平均ROC-AUC 99.53%。在与所有评估的基线方法进行比较时,配对t检验显示所提出框架具有较大的效应量(所有比较均p < 0.001)。UMAP可视化显示水质类别的潜在表征具有良好分离性。通过SHAP和LIME分析还识别出对模型预测贡献最大的特征,包括正磷酸盐、氨氮、硝酸盐、溶解氧和生化需氧量等。讨论:研究结果表明,将基于Transformer的表征学习、原型少样本分类与基于WGAN-GP的数据增强相结合,是在严重数据受限条件下准确进行多类别水质分类并保持可解释性的有效方法。所提出的框架为数据稀缺的环境监测应用提供了一种有前景的途径,并可能支持智能化和AIoT赋能的水质管理系统的开发。
论文解读:面向数据稀缺条件的多类别水质分类新框架——Transformer-FSL-GAN

一、研究背景与问题

水资源管理、农业生产、公共健康和生态系统保护都高度依赖可靠的水质监测与评价。传统的水质评价方法主要依赖实验室分析和基于规则的水质指数(WQI)计算,虽然结果可靠,但耗时费力,难以满足实时和大规模监测需求。近年来,机器学习(ML)和深度学习(DL)方法被广泛用于水质预测与分类,支持向量机、随机森林、卷积神经网络等模型在处理理化参数方面取得了较好表现。然而,这些模型通常需要大量有标注数据才能稳定泛化。在实际水质监测场景中,尤其是在农村地区、发展中国家或新部署的监测系统中,有标签数据往往稀缺、不完整或获取成本高昂。现有研究还多集中于二分类问题,对多类别水质分类的关注不足。此外,多数深度学习模型具有黑箱特性,可解释性差,限制了其在安全关键型水管理决策中的应用。针对上述不足,本研究提出了一种将Transformer表征学习、基于度量的少样本学习(FSL)和WGAN-GP数据增强相结合的新型框架,用于有限数据条件下的多类别加拿大水环境水质指数(CCME-WQI)分类。

二、主要技术方法

研究人员采用了双流优化路径:一条为传统机器学习流水线,另一条为优化的混合生成式少样本学习流水线。后者包含三个互补组件:第一,表格Transformer编码器,利用多头自注意力机制学习理化参数间的全局非线性关系;第二,原型网络(Prototypical Network),通过欧氏距离在判别性嵌入空间中进行基于度量的少样本分类;第三,类别特异性的带梯度惩罚的Wasserstein生成对抗网络(WGAN-GP),为每个水质类别生成合成支持样本,以缓解数据稀缺和类别不平衡。实验使用了公开的加拿大地表水质数据集(版本2,发布于2025年2月23日,DOI: 10.6084/m9.figshare.27800394),共3,949个样本,包含8个理化参数(氨氮NH?、五日生化需氧量BOD?、溶解氧DO、正磷酸盐PO?3?、pH、水温、总氮N、硝酸盐NO??)和5个CCME-WQI水质类别(优秀、良好、一般、边缘、较差)。数据按70%(2,762样本)划分为基础子集用于预训练特征编码器,30%(1,187样本)作为评估池用于生成固定的小样本任务。评估采用5-way K-shot协议,K分别取1、5和10,查询集固定为每类15个样本(每轮75个查询样本)。所有基线模型和所提框架均在完全相同的支持集和查询集上评估,使用固定随机种子42以保证可复现性。

三、研究结果

(一)传统机器学习基线的表现

在1-shot设置下,所有传统模型准确率大幅下降,随机森林、SVM、KNN和朴素贝叶斯最高仅达41.33%。5-shot时CatBoost表现最佳(准确率76.00%,宏F1 75.81%)。10-shot时CatBoost准确率达到85.33%,决策树81.33%,XGBoost 80.00%。结果表明传统监督学习方法在严重数据稀缺时难以形成可靠的决策边界。

(二)深度学习和少样本模型的比较

在1-shot设置下,所提出的Transformer+FSL模型准确率达85.33%,宏F1 85.12%,宏ROC-AUC 97.18%,显著优于MLP基线(65.33%)、Transformer基线(74.67%)和ProtoNet(74.67%)。在5-shot和10-shot设置下,该模型也持续取得最佳性能,准确率分别达90.67%和96.00%,证明Transformer特征提取与原型网络结合能形成更具判别性的嵌入空间。

(三)消融实验

完整模型Transformer-FSL-GAN在1-shot、5-shot和10-shot设置下准确率分别为82.67%、89.33%和97.33%,始终优于缺少任一组件的消融变体。缺少Transformer的GAN Alone和FSL-GAN模型在10-shot时无法超过85%准确率,而包含Transformer的变体性能随支持样本数量增加显著提升,表明三个组件具有互补增益。

(四)多类别分类性能

在代表性10-shot评估回合中(75个查询样本),模型正确分类73个样本,总体准确率97.33%,宏精确率97.50%,宏召回率97.33%,宏F1 97.33%,宏ROC-AUC 99.53%。优秀类实现100%精确率、召回率和ROC-AUC;较差类召回率和ROC-AUC均达100%;良好和边缘类精确率100%,召回率93.33%;一般类召回率100%,F1为96.77%。类别间仅存在少量与相邻类别混淆,说明模型对多数类和少数类均保持均衡的高分类性能。

(五)混淆矩阵分析

混淆矩阵显示,随着支持样本数增加,非对角线误分类数量显著减少。10-shot时优秀类被完美分类,一般类和较差类召回率100%,仅在良好与一般、边缘与较差之间存在少量相邻类别混淆,这与这些类别理化特征相似和CCME-WQI分数区间重叠相符。

(六)多类别ROC评估

宏平均ROC-AUC从1-shot的97.33%提升至5-shot的98.80%,并在10-shot时达到99.53%。10-shot下优秀类和较差类的AUC为1.0000,良好和边缘类为0.9933,一般类为0.9900,表明模型对五个水质类别均具有强判别能力。

(七)潜在空间分析

UMAP可视化显示,在1-shot设置下模型已能形成可区分的簇,WGAN-GP生成的合成样本填充了周围特征空间,改善了原型估计。随着支持样本增加到5-shot和10-shot,潜在表征变得更加紧凑、分离更清晰。10-shot时五个水质类别围绕各自原型形成高度紧凑且分离良好的簇,合成样本紧密跟随真实支持样本分布,验证了WGAN-GP成功保留了底层数据流形并增加了样本多样性。

(八)稳健性与统计验证

在100次重复少样本测试回合中,所提模型平均准确率96.77%,高于所有基线。配对t检验显示,与Transformer-FSL(平均差1.17个百分点,t=6.0145,p=3.04×10??,Cohen's d=0.6014)、Transformer基线(平均差2.28个百分点,t=11.8393,p=1.13×10?2?,Cohen's d=1.1839)、Transformer-GAN(平均差9.17个百分点,p<0.001)和ProtoNet(平均差13.26个百分点,p<0.001)的差异均显著。与传统MLP、随机森林、XGBoost、SVM、KNN相比,平均准确率提升分别为15.72、21.10、16.74、30.37和34.18个百分点,所有比较p<0.001。不过研究人员强调,这100个评估回合来自同一有限评估池,并非100个独立数据集,配对t检验量化的是固定协议下匹配评估任务中模型间的差异。

(九)可解释性分析

SHAP分析显示,正磷酸盐是最重要的特征,其次是氨氮、硝酸盐、溶解氧、生化需氧量、pH、水温和总氮。LIME对单个查询样本的解释同样显示正磷酸盐贡献最强。SHAP和LIME结果一致,表明模型依赖具有化学意义的水质参数做出预测,而非虚假相关性,增强了框架的透明度和可信度。

四、讨论与结论

研究表明,Transformer-FSL-GAN框架能有效应对水质分类中的两大挑战:标记数据稀缺和类别不平衡。消融实验证实了三个组件各自的积极作用:WGAN-GP增强样本多样性和少数类表征,Transformer编码器建模理化参数间的长程依赖,原型网络学习判别性度量空间,三者的组合取得最佳性能。混淆矩阵、ROC曲线和潜在空间可视化均支持框架的有效性。SHAP和LIME一致识别出正磷酸盐、氨氮、硝酸盐、溶解氧和生化需氧量是最有影响力的变量,与已知环境研究结论相符。统计验证进一步确认了性能提升的显著性和稳健性。

研究也存在局限性:仅使用了一个包含8个理化参数和5个CCME-WQI类别的数据集,需要更多来自不同地理区域和环境条件的水质数据加以验证;当前实现基于GPU加速工作站,尚未部署到资源受限的边缘设备。未来工作将包括:基于多源数据集的验证、跨区域泛化的域适应研究、通过模型压缩和量化优化边缘部署,以及集成实时传感器网络以实现AIoT环境下的智能水质监测。总之,所提出的Transformer-FSL-GAN为数据稀缺环境下的多类别水质分类提供了一种准确、稳健且可解释的解决方案,并可拓展到其他低数据密度的环境监测、生态评估和智能感知应用。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号