CLIP2LE:一种通过CLIP实现标签增强和公平表示的方法

《Big Data Mining and Analytics》:CLIP2LE: A Label Enhancement Fair Representation Method via CLIP

【字体: 大 中 小 】 时间:2026年01月19日 来源:Big Data Mining and Analytics 6.2

编辑推荐:

  标签增强通过整合特征空间与逻辑标签空间生成高质量标签分布,作为软目标提升多标签、单正多标签及部分标签学习性能。现有算法受限于数据集类型和标注噪声,存在特征与标签空间贡献不均(缺乏公平性)及噪声标签导致输出不稳定问题。本文提出基于CLIP的跨模态重新编码策略,将特征与标签空间视为不同模态,通过公平的联合表示优化标签增强效果,并在多基准实验中验证其有效性。

  

摘要:

标签增强是一种新颖的标签转换策略,旨在将特征空间与逻辑标签空间相结合,以获得高质量的标签分布。这种标签分布可以作为算法学习的软目标,类似于标签平滑处理,从而提高多种学习范式的性能,包括多标签学习、单正多标签学习和部分标签学习。然而,由于数据集类型和注释准确性的限制,相同的标签增强算法在不同的数据集上难以实现一致的性能,原因如下:1)特征空间和逻辑标签空间的不同贡献:不同数据集的特征空间和逻辑标签空间在生成准确标签分布方面的贡献各不相同;2)噪声和错误标签的存在:一些数据集包含噪声和标注不准确的样本,导致相似输入产生不同的输出。为了解决这些挑战,我们提出利用CLIP(对比语言-图像预训练)作为基础策略,将特征空间和逻辑标签空间视为两种不同的模态。通过在应用标签增强算法之前对这两种模态进行重新编码,我们希望实现公平且稳健的表示。此外,我们在讨论环节进一步阐述了我们的动机合理性。广泛的实验结果证明了我们的方法有助于现有标签增强算法在多个基准测试中提高性能。

引言

目前,通过使用标签转换来提高多标签学习算法[1]、单正多标签学习[2]和部分标签学习[3]的性能已成为一种常见手段,这通过标签增强方法[4]、[5]、[6]、[7]来体现。标签增强(LE)利用样本的特征空间和逻辑标签空间生成高质量的标签分布[8]、[9],然后将其作为正则化项应用于各种学习范式(见图1(a))。尽管取得了令人印象深刻的成果,但当前的LE算法尚未在各种基准测试中实现一致的性能。针对这一问题,我们提出了两个见解:1)许多用于标签分布生成的LE算法假设特征空间和逻辑标签空间具有同等的重要性,认为它们具有相同的影响。实际上,这些特征的贡献并不公平——缺乏我们所说的“公平性”,即在标签增强过程中,特征空间和逻辑标签空间没有得到平衡的表示,因此在转换到目标标签分布空间时,任何一种模态都不会被过度优先考虑,从而减轻了对特征或逻辑标签的偏见。2)一些LE数据集包含噪声和错误标签,可能导致类似输入产生显著不同的输出。

相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号