基于持续学习时变正则化的噪声标签图像鲁棒分类方法研究

针对深度神经网络在噪声标签图像分类中易过拟合的问题，研究人员提出持续学习时变正则化（CLTR）算法。该研究将噪声标签学习视为持续学习过程，通过动态调控清洁/噪声参数更新方向，显著提升模型抗干扰能力。实验表明CLTR在合成与真实噪声数据集上均优于现有方法，代码已开源。

　　

在计算机视觉领域，图像分类性能高度依赖大规模标注数据集，但现实场景中通过众包或自动标注获取的数据常包含错误标签（噪声标签）。深度神经网络（DNN）虽具有强大学习能力，却会在训练过程中逐渐记忆这些噪声标签，导致模型过拟合、泛化性能下降。现有方法如小损失策略和静态正则化虽能部分缓解问题，但存在忽略清洁样本、依赖超参数或缺乏参数更新方向控制等缺陷。更关键的是，噪声标签会干扰网络参数更新轨迹，类似持续学习中的"灾难性遗忘"现象——新知识的学习导致旧知识被覆盖。

针对这一挑战，新疆大学（Xinjiang University）的研究团队在《Pattern Recognition》发表创新研究，首次将噪声标签学习重构为持续学习任务，提出持续学习时变正则化（CLTR）方法。该方法通过动态分解网络参数为清洁参数与噪声参数，并引入基于验证集预测曲线自动生成的时间系数，实现了对参数更新方向的精准调控。实验证明CLTR在CIFAR-10等6个含合成/真实噪声的数据集上均取得最优性能，且无需预设噪声分布假设。

关键技术方法包括：1）参数分解技术，将网络权重区分为清洁/噪声相关组分；2）时变正则化设计，通过验证集预测动态生成正则化系数；3）持续学习框架，将每个训练周期视为独立任务。研究采用TITAN RTX显卡和PyTorch框架，在合成噪声（对称/非对称噪声）和真实噪声（WebVision）数据集上进行验证。

【理论分析】
研究发现噪声标签导致参数更新方向偏离（图1b），类比持续学习中的灾难性遗忘现象。通过理论推导证明，传统方法因固定约束强度无法适应训练不同阶段的噪声干扰差异。

【方法论】
CLTR核心包含三阶段：1）参数分解阶段，采用类似EWC（Elastic Weight Consolidation）的Fisher信息矩阵区分参数重要性；2）动态调控阶段，清洁参数在早期训练强化更新，噪声参数则受强约束；3）自适应性调节，时变系数α_t = 1 - p_clean(t)自动反映噪声影响程度，其中p_clean(t)来自验证集预测准确率。

【实验结果】
在CIFAR-10/100含60%对称噪声条件下，CLTR分类准确率分别达91.3%和73.5%，显著优于Decoupling（+5.2%）和Co-teaching（+7.8%）等方法。在真实噪声数据集WebVision上，Top-1准确率较MentorNet提升4.6%。消融实验证实时变系数设计使模型对超参数敏感性降低72%。

该研究开创性地将持续学习机制引入噪声标签领域，提出的动态参数控制策略为DNN鲁棒训练提供新范式。相比传统方法，CLTR具有三大优势：1）无需噪声分布先验；2）通过自生成系数避免超参数调优；3）参数更新轨迹可视化（图3）增强了方法可解释性。研究获得科技创新2030重大项目（2022ZD0115800）等基金支持，相关代码已在GitHub开源。未来工作可探索CLTR在医学图像分析等对标签噪声敏感领域的应用。