《Big Data and Cognitive Computing》：Exploring Public Health Perspectives on Travel Behavior Using a Machine Learning Approach: Thailand Case Study
Manlika Seefong,
Panuwat Wisutwattanasak,
Kestsirin Theerathitichaipa,
Pattarawadee Prasomsab,
Nisa Dackuntod,
Thanapong Champahom and
Rattanaporn Kasemsri
编辑推荐：
自监督学习（Self-supervised learning, SSL）已成为一种强大的表示学习范式，通过优化几何目标（如对数据增强的不变性、方差保持和特征去相关）无需标签即可学习。然而，现有大多数方法在欧几里得空间（Euclidean space）中运行，限
自监督学习（Self-supervised learning, SSL）已成为一种强大的表示学习范式，通过优化几何目标（如对数据增强的不变性、方差保持和特征去相关）无需标签即可学习。然而，现有大多数方法在欧几里得空间（Euclidean space）中运行，限制了其捕获非线性依赖关系和几何结构的能力。在本研究中，研究人员提出Kernel VICReg，一种新颖的自监督学习框架，将VICReg目标拉入再生核希尔伯特空间（Reproducing Kernel Hilbert Space, RKHS）。通过将损失项（方差、不变性和协方差）中的每一项进行核化，研究人员获得一个基于双中心核矩阵（double-centered kernel matrices）和希尔伯特-施密特范数（Hilbert–Schmidt norms）的通用公式，从而无需显式映射即可实现非线性特征学习。研究人员证明，Kernel VICReg在具有挑战性的条件下减轻了表示坍塌（representational collapse）的风险，并在表现出非线性结构或有限样本范围的数据集上提升了性能。在MNIST、CIFAR-10、STL-10、TinyImageNet和ImageNet100上的实证评估显示，与欧几里得VICReg相比，Kernel VICReg取得了持续改善，尤其是在非线性结构显著的数据集上提升更为明显。UMAP可视化仅作为嵌入几何的定性说明，不用于校准或统计验证。研究人员的结论表明，将SSL目标进行核化是连接经典核方法与现代表示学习的一个有前景的方向。
**论文解读：Kernel VICReg——通过核化自监督学习目标实现非线性表示学习**
**研究背景与问题**
自监督学习（Self-supervised learning, SSL）近年来成为表示学习领域的主导范式，其核心优势在于无需人工标注即可从数据自身结构中学习有效特征。代表性方法如SimCLR、BYOL、VICReg和Barlow Twins等，通过施加不变性、方差保持和特征去相关等目标，取得了显著性能。然而，这些方法大多在欧几里得空间（Euclidean space）中操作，依赖二阶统计量或?2距离来刻画潜在表示。经过多层非线性变换后，潜在表示往往栖息于高度非线性的流形（manifold）上，而欧几里得假设难以充分捕获这种复杂几何结构，导致表示坍塌（representational collapse）风险增加，尤其是在小样本或非线性结构突出的数据集上。现有将核方法引入SSL的工作，如基于希尔伯特-施密特独立准则（Hilbert–Schmidt Independence Criterion, HSIC）或最大均值差异（Maximum Mean Discrepancy, MMD）的方法，通常仅将核用作相似性度量或正则化项，而非系统性提升整个损失函数的结构。因此，研究人员提出Kernel VICReg，旨在将VICReg的完整目标从欧几里得空间提升至再生核希尔伯特空间（Reproducing Kernel Hilbert Space, RKHS），从而在隐式高维特征空间中实现非线性特征学习，同时保留VICReg原有的坍塌预防机制。该研究发表在《Big Data and Cognitive Computing》。
**主要关键技术方法**
研究人员采用以下关键技术方法：1) **核化损失函数**：将VICReg的方差、不变性和协方差三项损失分别通过核技巧（kernel trick）重新定义于RKHS中。方差项利用双中心核矩阵（double-centered kernel matrix）的特征值，通过核主成分分析（kernel PCA）关联；不变性项通过跨视图核矩阵的迹距离（trace distance）计算；协方差项采用协方差算子的希尔伯特-施密特范数（Hilbert–Schmidt norm）。2) **双中心核矩阵与方差-协方差算子**：证明RKHS中的协方差算子与双中心核矩阵成比例，从而将损失计算转化为对核矩阵的操作。3) **多种核函数选择**：实验采用线性核、径向基函数（Radial Basis Function, RBF）核、拉普拉斯（Laplacian）核和有理二次（Rational Quadratic, RQ）核，以评估不同核诱导几何先验的影响。4) **大规模近似策略**：为应对计算复杂度，讨论Nystr?m方法和随机傅里叶特征（Random Fourier Features, RFF）作为可扩展方案。样本队列来源为公开基准数据集：MNIST、CIFAR-10、STL-10、TinyImageNet和ImageNet100。
**研究结果**
**5.1. 与基线的比较**：在ImageNet100和TinyImageNet上，Kernel VICReg（特别是Laplacian和RQ核）在顶部-1线性探测准确率上显著优于欧几里得VICReg。值得注意的是，VICReg在TinyImageNet上发生坍塌，而Kernel VICReg保持稳定。在MNIST和CIFAR-10上，Kernel VICReg同样一致优于VICReg，其中Laplacian核在MNIST上达到98.50%，RQ核在CIFAR-10上达到86.18%。迁移学习实验（CIFAR-10预训练至STL-10）显示，Kernel VICReg的泛化能力更强，尤其RQ和Laplacian核表现最佳。
**5.2. 进一步分析与见解**：UMAP可视化显示，标准VICReg的聚类细长、缺乏紧凑性；线性核Kernel VICReg改善了聚类分离度；Laplacian核则产生近乎圆形、等距的聚类，表明RKHS提供了更有效的局部结构保持。对核超参数（如多项式核的度数和截距、RBF核的带宽）的鲁棒性分析表明，性能对超参数敏感，需要仔细调优。
**5.3. 实现细节**：模型采用ResNet-18编码器加3层MLP投影器，在PyTorch中实现。使用Adam优化器，学习率10
-3，批次大小512，余弦学习率调度。数据增强遵循标准SSL协议。超参数（α, β, ζ）在不同数据集和核上进行了有限搜索，最佳值见论文表4。
**5.4. 计算复杂度与实证开销**：对于标准批次大小（≤2048），Kernel VICReg的开销可忽略；对于更大批次，Nystr?m或RFF可降低复杂度至线性或准线性。
**讨论与结论**
讨论部分指出，核化方差正则化与核PCA密切相关，而协方差正则化与HSIC（希尔伯特-施密特独立准则）相联系，可解释为最小化RKHS中的特征依赖性，促进多样化解缠特征。核的选择作为归纳偏置，不同核适应不同数据结构，如Laplacian适合边缘/纹理主导数据，RBF适合平滑几何，RQ为多尺度实用折中。理论分析（命题1和定理1）证明了Kernel VICReg在RKHS中防止坍塌的机制以及捕获非线性方差的能力。结论部分翻译如下：研究人员提出了Kernel VICReg，这是VICReg的一个原则性扩展，将自监督学习目标从欧几里得空间拉入再生核希尔伯特空间（RKHS）。通过使用双中心核矩阵和希尔伯特-施密特范数在核空间中重新定义不变性、方差和协方差项，该方法无需显式特征映射即可捕获复杂的非线性结构。在多个数据集上的实证结果展示了该核化公式的鲁棒性和有效性。Kernel VICReg优于其欧几里得对应物，尤其是在具有挑战性的场景（如TinyImageNet）中，标准VICReg发生坍塌。此外，核诱导的表示在迁移学习任务中表现出优越的泛化能力，如STL-10上的改进所示。通过UMAP可视化进一步揭示，核化促进了更紧凑、等距的聚类结构，尤其是在Laplacian核下。这些发现表明，核方法为增强自监督学习提供了自然且强大的手段。虽然该研究聚焦于VICReg，但该框架可轻松扩展至其他SSL目标（如Barlow Twins和SimCLR），为核化SSL的未来研究开辟了有前景的途径。该研究通过展示RKHS结构整合有意义地改善了自监督模型的稳定性和表现力，为连接经典核理论与现代表示学习做出了贡献。
