通过轻量级的可学习数据增强技术来提升自我监督表示学习的效果

《Scientific Reports》：Enhancing self-supervised representation learning through lightweight learnable data augmentation

　　```

摘要

数据增强在自监督学习中起着核心作用，因为增强后的数据视图的质量和多样性会显著影响学习到的表示效果。然而，大多数现有的自监督方法依赖于固定的随机增强流程，而更具适应性的方法往往需要耗费较高的计算资源，例如复杂的策略搜索、对抗性训练或额外的优化步骤。在本文中，我们提出了一个基于极端学习机（ELM）的轻量级、可学习的增强框架，用于自监督视觉表示学习。该框架能够预测图像特定的变换参数，并通过一个可微分的增强操作符应用这些参数，从而在引入最小计算开销的同时实现与表示模型的联合优化。该框架被集成到了三种代表性的自监督学习方法中：SimCLR、BYOL和SimSiam。在CIFAR-10、CIFAR-100和Tiny ImageNet数据集上的广泛实验表明，与现有的基线方法相比，所提出的方法在大多数情况下都能提升线性评估性能。特别是在CIFAR数据集上，该方法取得了显著的性能提升；即使在更具挑战性的Tiny ImageNet基准测试中，也同样表现出色。进一步的类别难度分析显示，所提出的增强策略显著提升了难类别的学习性能，表明该方法在面对困难类别时具有更强的鲁棒性，同时保持了整体的竞争性表现。总体而言，这些结果表明，轻量级、可学习的增强方法能够有效地提升不同框架和数据集上的自监督表示学习效果。