通过改进的表示学习与伪标签技术最大化无标注数据的应用价值

《IEEE Open Journal of the Computer Society》：Maximizing Unlabeled Data Utility with Improved Representation Learning and Pseudo Labeling

　　

摘要：

一种有效的半监督表示学习方法涉及两个并行网络——一个可训练网络和一个动量网络。输入图像的两种增强版本会通过这些网络来预测其输出，从而学习到相应的表示。然而，这种方法往往无法充分发挥其潜力。我们发现了数据利用方面的两个主要问题：（1）需要较大的批量大小，这在内存受限的环境中会降低效率；（2）在后续任务中会排除未标记的数据。我们采用两步法来解决这些限制。首先，我们将原始图像和增强后的图像都纳入可训练网络，并添加加权损失项，以利用额外的输入提升学习效果。在预训练之后，通过使用两个相同的教师-学生网络，在元学习框架中生成伪标签，其中教师网络通过接收来自学生的反馈逐步提升性能。我们的方法——基于伪标签的表示学习（RLPL），能够在现有方法一半的批量大小下实现更高的精度，从而提升表示学习的效果。在STL-10、CIFAR-10和SVHN数据集上，RLPL的平均性能提升率为6.12%，具体提升幅度则在2.7%到15.74%之间。相关代码可在https://github.com/atik666/rlpl获取。