随机逼近方法在对比学习中的应用

《Neural Networks》:Stochastic Approximation to Contrastive Learning

【字体: 大 中 小 】 时间:2026年05月19日 来源:Neural Networks 6.3

编辑推荐:

  Erland B. Olsson | 杨志荣摘要对比学习通过将正样本(相似的例子)拉近,将负样本(不相似的例子)推开,从而学习从输入到输出的映射关系。这种方法在计算机视觉的广泛应用中得到了验证,涵盖了图像分类、目标检测、视频处理等多个领域,并在自然语言处理、音频与语音、图论、推荐

  
Erland B. Olsson | 杨志荣

摘要

对比学习通过将正样本(相似的例子)拉近,将负样本(不相似的例子)推开,从而学习从输入到输出的映射关系。这种方法在计算机视觉的广泛应用中得到了验证,涵盖了图像分类、目标检测、视频处理等多个领域,并在自然语言处理、音频与语音、图论、推荐系统以及多模态学习中也展现出类似的重要性和影响力。尽管正确的对比学习方法通常能够取得最先进的结果,但传统方法存在重大局限性:它们依赖于对正负样本的任意定义,并且无法在小批量优化中进行分解。因此,这些方法需要较大的批量大小来有效处理正负样本之间的权衡。这种方法会浪费大量计算资源在可能具有极小学习价值的负样本上。为了解决这些问题,我们提出了一种新的方法,将对比学习重新表述为一个基于I-散度(Kullback-Leibler散度的非标准化变体)的矩阵逼近问题。我们的目标函数可以在实例对之间进行分解,从而实现高效的随机逼近算法,即使在负样本较少的情况下也能取得良好的性能,同时利用邻居嵌入来增强效果。此外,我们将缩放因子进行了扩展,使其能够自适应地突出具有更高学习潜力的正样本,从而减少来自负样本的计算浪费。我们的目标是证明:即使使用较小的批量大小,每张图像只有一个负样本,我们的方法也能超越现有的对比学习方法,并在整体性能上与使用更大批量大小的其他最先进方法在ImageNet数据集上竞争。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号