TempoCL:开集与闭集噪声标签下的时序半监督对比学习

《Knowledge-Based Systems》:TempoCL: Temporal semi-supervised contrastive learning under open-set and closed-set noisy labels

【字体: 大 中 小 】 时间:2026年08月30日 来源:Knowledge-Based Systems 8.0

编辑推荐:

   摘要:深度神经网络在含标签噪声的数据上进行训练时性能会显著下降。在实际应用中,标签噪声表现为闭集(样本被错误分配到已有类别)或开集(样本不属于任何已有类别)。尽管现有研究取得了显著进展,但仍有两个关键问题未得到解决:(1)现有的处理开集和闭集标签噪声的方法通常依赖于预设阈值。

  

摘要:深度神经网络在含标签噪声的数据上进行训练时性能会显著下降。在实际应用中,标签噪声表现为闭集(样本被错误分配到已有类别)或开集(样本不属于任何已有类别)。尽管现有研究取得了显著进展,但仍有两个关键问题未得到解决:(1)现有的处理开集和闭集标签噪声的方法通常依赖于预设阈值。然而,当目标数据分布与训练集产生偏差时,这些静态阈值会失去有效性,从而阻碍模型准确区分开集噪声和闭集噪声的能力。(2)现有的用于标签噪声的多视角对比学习通常使用数据增强生成多样化视角。然而,时间序列数据在不同尺度上呈现出不同的模式:细尺度捕捉微观特征,而粗尺度揭示宏观信息。数据增强很少能有效捕捉这些互补细节,从而限制了性能。为解决这些挑战,我们提出了TempoCL,一种时间半监督对比学习网络。TempoCL的核心流程如下:(1)两阶段自适应样本选择(TASS)在第一阶段利用训练损失将干净样本与噪声样本分离。随后,第二阶段通过利用开集实例落在预定义类别之外这一事实来区分闭集噪声和开集噪声。TempoCL分别对干净样本和闭集样本应用监督学习和半监督学习。(2)随后,对干净样本应用多视角时间对比学习(MvTCL)。MvTCL确保多视角表示之间的同尺度一致性,同时增强不同尺度之间的互补性,从而通过有效整合微观和宏观信息来增强对标签噪声的鲁棒性。在多种标准时间序列数据集上的大量实验证实,TempoCL显著优于当前最先进的方法。代码公开于:https://github.com/JingGu-hub/TempoCL

引言:深度神经网络(DNNs)的优秀性能高度依赖于大规模且标注准确的训练数据[1]。然而,此类数据的收集和人工标注过程通常复杂、耗时且成本高昂。尽管一些在线数据可以通过搜索引擎查询和用户标签进行自动标注[2]、[3],但这种做法不可避免地会引入噪声标签,严重损害DNNs的性能[4]、[5]、[6]。鉴于标签噪声在图像[7]、时间序列[8]、[9]和文本数据[10]中广泛存在,含噪声标签学习(LNL)已成为机器学习和深度学习领域的重要研究主题。

大多数现有的主流LNL方法采用样本选择策略。该策略首先基于训练损失[4]、[11]或特征[12]、[13]将样本分为噪声和干净类别,然后分别处理这两类样本。例如,干净样本和噪声样本分别用于监督训练和半监督训练[14]、[15],或者对噪声样本进行标签精化[16]、[17]。虽然当前关于标签噪声的研究在基准评估中表现出优越性能,但该策略的有效性依赖于一个关键假设:数据集中的所有真实标签都源自已知的标签空间。例如,在仅包含行走和跑步的 binary 时间序列分类任务中,行走样本只会错误标记为跑步,不会出现第三种类别。

然而,在实际应用中,真实标签属于已知标签空间的假设往往不成立。在噪声样本的语境下,真实标签属于已知标签空间的样本被归类为闭集噪声或分布内(ID)样本。相反,真实标签源自未知标签空间的噪声样本被称为开集噪声或分布外(OOD)样本。以心电图(ECG)诊断[18]作为闭集噪声的例子:由于医生临床经验的差异,同一病例的标注往往涉及主观性,从而导致标签不一致。关于开集的例子,例如生产线上突发的机械故障,生成的传感器数据表现出训练数据集中未包含的故障模式[19]、[20]。由于开集噪声样本落在预定义的标签空间之外,主流LNL方法(如标签翻新)通常无法有效解决它们的问题。因此,准确检测干净样本以及开集和闭集噪声样本是LNL研究中的重中之重。

最近,一些处理开集噪声的方法提出将样本分为干净样本、闭集噪声和开集噪声,并对它们进行不同处理[21]、[22]。这些方法的核心在于利用三种样本类型在输出或特征上的差异进行分类。例如,基于预测差异[23]、[24]或利用特征一致性[25]来检测这三种样本。如图1所示,最近的开集噪声学习方法——如CollisionEntropy(源自DSOS [26])、MGM(源自RSS-MGM [27])和DoD(源自OpenAda [28])——在选择指标分布上存在大量重叠,特别是在开集和闭集样本之间。这种重叠阻碍了开集、闭集和干净样本之间的准确区分。这一局限性源于它们依赖于预设的、针对特定分布的阈值,在目标分布发生偏移时无法分离这三种样本类别。因此,本研究旨在解决的首要问题是如何有效且自适应地区分干净、开集和闭集样本。

对比学习(CL)通过在嵌入空间中将锚点样本与正视角对齐来增强表示质量[29]、[30]。由于其对精确标注的依赖性较低,CL已被广泛应用于LNL[31]。现有的基于CL的LNL方法可大致分为单视角和多视角方法。单视角方法通常选择高置信度样本来构建正负对以优化对比损失[32]。然而,仅依赖单一视角会限制特征提取,难以确保在不同增强视角之间的一致性表示。

为解决这一挑战,LNL领域的多视角对比学习将不同视角识别为正样本,并利用对比学习的低秩结构将它们拉近,从而缓解标签噪声引起的过拟合[33]。近年来,LNL领域出现了一系列多视角对比学习方法。包括基于Mixup插值的对比学习,使用强增强和弱增强视角作为正样本[12]、[34],以及利用附加语义信息挖掘不同视角间相关性的方法[35]、[36]。然而,时间序列数据在不同采样尺度上表现出不同的模式。细尺度反映微观信息,而粗尺度揭示宏观特征[37]。以交通流量为例,每小时采样捕捉细微的日常变化;每日采样平滑这些细节,突出假日波动,而年度平均模式以宏观趋势为主。简单地使用强增强和弱增强无法有效捕捉微观和宏观信息,因此性能有限。因此,本研究旨在解决的第二个问题是如何利用时间序列数据的同尺度一致性和不同尺度互补性,从而整合微观和宏观信息,提高模型抵抗标签噪声的能力。

为解决时间序列中的开集和闭集标签噪声问题,我们提出了TempoCL。它将样本分为干净、开集和闭集组,分别对干净样本和闭集样本应用监督学习和半监督学习。然后,它利用对比学习来增强对噪声标签的鲁棒性。TempoCL包含两个核心模块:(1)TASS首先采用基于损失的GMM来隔离干净样本,随后在半监督框架内通过利用开集样本缺乏预定义类别这一事实来区分闭集噪声和开集噪声。(2)通过将同尺度的原始和预测序列视为正对,将不同尺度之间的视角视为负对,MvTCL利用各尺度中包含的微观和宏观信息,从而增强模型对标签噪声的鲁棒性。

我们的主要贡献总结如下:
•本研究引入了TempoCL,一种专门设计用于处理开集和闭集标签噪声的时间半监督对比学习网络。
•我们提出了TASS,它在无需依赖预设阈值的情况下有效区分干净、闭集和开集时间序列样本。
•我们提出了MvTCL,它利用同尺度一致性和不同尺度互补性来整合微观和宏观信息,增强对标签噪声的鲁棒性。
•在标准时间序列数据集上的大量实验表明,TempoCL在开集和闭集噪声场景中均显著优于现有的最先进方法。

章节片段

开集噪声标签学习:大多数LNL研究假设噪声标签源自已知的标签空间[38]、[39]。然而,现实世界中的标签噪声往往由开集和闭集噪声混合组成,这损害了LNL方法的有效性[40]、[41]。处理开集噪声的研究通常将样本分为干净样本、闭集噪声和开集噪声[28]、[42]。例如,DSOS [26]利用预测-标签插值分布的碰撞熵作为标签

提出的方法:本节详细介绍了TempoCL,这是一种专门设计用于解决开集和闭集标签噪声问题的时间半监督对比学习网络。其整体架构如图2所示。表1总结了论文中使用的符号。在第3.2节中,定义了问题。第3.3节阐述了TempoCL的整体工作流程,而第3.4节两阶段自适应样本选择和第3.5节多视角时间对比学习提供了关于TASS的详细描述

数据集:为了评估TempoCL的性能,使用了几个基准时间序列分类数据集。具体而言,从UEA [49]中选择了10个代表性数据集。此外,还纳入了三个大规模数据集,HAR [50]、ECG5000 [51]和RacketSports [49]。

遵循先前研究的惯例[28]、[52],我们在开集和闭集噪声环境中评估了TempoCL的鲁棒性。闭集噪声通过随机替换一定比例rclos来引入

结论:本文提出了TempoCL,一种用于受开集和闭集噪声标签影响的时间序列数据的时间半监督对比学习框架。它整合了TASS,克服了预设阈值方法的局限性。此外,MvTCL通过同尺度一致性的多视角和不同尺度互补性的多视角增强了模型的噪声鲁棒性,捕捉时间序列数据的微观和宏观信息。在

CRediT作者贡献声明:Jiarong Liu:撰写——审阅与编辑,撰写——初稿。Kaixiang Yang:概念化。Shuanghua Yang:概念化。Yujue Zhou:可视化,验证。

利益冲突声明:作者声明以下财务利益/个人关系,这些可能被视为潜在的利益冲突:Yujue Zhou报告与云南大学的关系,其中包括:. Yujue Zhou有专利待批。作者没有声明其他可能影响所提交工作的关系或活动。如果有其他作者,他们声明没有已知的竞争财务利益或个人关系

Jiarong Liu|Kaixiang Yang|Shuanghua Yang|Yujue Zhou
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号