面向类别不平衡的半监督持续学习:基于最近邻一致性增强的置信度优化方法

《Sensors》:Bias Calibration for Semi-Supervised Continual Learning Zhong Ji, Zhanyu Jiao, Deyu Miao and Chen Tang

【字体: 大 中 小 】 时间:2026年04月12日 来源:Sensors 3.5

编辑推荐:

  为解决半监督持续学习中伪标签分配偏差与历史知识遗忘问题,研究人员提出NNCSL(Nearest Neighbor Consistency Semi-supervised Learning)方法,引入Mean Entropy Maximization(MEM)均衡类别分布,结合Nearest Neighbor Distillation(NND)保持时序一致性,并通过Confidence-Enhanced Learning(CEL)提升伪标签置信度,有效减少确认偏置累积,为动态环境下的少标注数据学习提供新思路。

  
在人工智能快速发展的浪潮中,让机器像人类一样“终身学习”成为核心挑战。现实场景中,数据往往如溪流般持续涌来——今日的医疗影像、明日的工业检测样本,新类别层出不穷,而标注成本高昂使得大量数据“沉默无标签”。传统半监督学习虽善用未标注数据,却难逃“灾难性遗忘”:学新忘旧;更棘手的是,伪标签分配常因类别不平衡产生偏差,相似类别的干扰让模型陷入“确认偏置”的泥潭,预测信心节节败退。如何让模型在动态世界中平衡新知识吸收与旧记忆保留?如何提升伪标签的可靠性?《Sensors》刊载的研究给出了创新解法。
研究者采用多模块协同框架,以带标注的历史样本为锚点,通过软最近邻分类生成伪标签,设计MEM损失强制类别分布均匀,用NND约束跨时间步特征一致性,再经CEL阈值筛选与非目标类分布优化提升置信度。实验依托标准半监督持续学习数据集,对比基线验证有效性。

3.3. NNCSL方法构建

伪标签生成与一致性约束

面对未标注样本,研究者先用弱增强视图经网络提取特征,计算其与所有标注样本特征的余弦相似度,通过温度参数φ缩放后归一化为概率分布,即软伪标签。公式(1)定义加权聚合:对未标注样本u的特征zu,s与标注样本l的特征zli,求exp(zu,s·zli/φ)后归一化,再乘真实标签yk得到伪标签q。强增强视图则以此伪标签为目标,用交叉熵损失?SNN约束一致性(式(2))。

MEM:打破类别预测垄断

单纯聚合易致某类被过度预测。研究者引入Mean Entropy Maximization(MEM)正则项:计算当前批次未标注样本伪标签的平均分布,对其施加熵最大化(式(3)),迫使各类别预测概率趋于均等。但持续学习中新旧数据分布差异会导致错误均匀化,因此需过滤历史样本,仅对当前分布做MEM。

线性分类器与历史知识固化

标注数据同时训练线性分类器,输出vk与真实标签yk计算交叉熵损失?LIN(式(4))。针对遗忘难题,设计Nearest Neighbor Distillation(NND):保存上一时刻模型fθt-1,对同一未标注样本分别用t-1时刻与t时刻模型提取特征,各建最近邻分类器得伪标签wt-1、wt(式(5)),以KL散度H(·)约束二者一致(式(6))。最终总损失为三部分加权:?NNCSL=?SNN+λMEM?MEM+λNND?NND(式(7))。

3.4. 置信度增强学习(CEL)

为缓解相似类导致的确认偏置,研究者用阈值τ筛选目标类:若伪标签qi的最大值超τ,则令对应si为1,其余为0,形成硬选择向量Si∈{0,1}C。对未选中类别施加额外监督,推动其预测趋向均匀分布,从而提升目标类的预测置信度,减少误差积累。

结论与意义

该工作巧妙融合半监督与持续学习优势,用MEM破解类别不平衡,NND维系历史关联,CEL加固伪标签可信度。实验证明,其在典型任务上显著优于基线,尤其长序列场景下遗忘率更低。这不仅为少标注场景的动态学习提供实用方案,更为探索模型“终身成长”的稳健性奠定基础,未来可延伸至医疗诊断、自动驾驶等高风险领域,让AI的学习之路既稳且准。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号