《Frontiers in Complex Systems》:Convergent evolution in neural representation space: emergent order in deep belief networks
编辑推荐:
深度信念网络(Deep Belief Networks, DBNs)在无类别监督条件下学习分层生成模型。研究人员探究该无监督层级如何重组数据、是否暴露潜在类别结构,以及独立初始化的网络是否能发现对应的内部表征。在MNIST、Fashion-MNIST和KMNI
深度信念网络(Deep Belief Networks, DBNs)在无类别监督条件下学习分层生成模型。研究人员探究该无监督层级如何重组数据、是否暴露潜在类别结构,以及独立初始化的网络是否能发现对应的内部表征。在MNIST、Fashion-MNIST和KMNIST数据集上,研究人员追踪了类别几何与可访问性、表征维度、输入重建和自由生成。研究发现,尽管学习过程中从未获得标签,全局类别组织通常随深度增强。早期层次经常使类别身份更易提取,而更深层次则形成日益紧凑的表征,其中相关特征被反复学习。然而,全局类别几何与分类器可访问性可能发生分歧,表明更有序的表征并非在每个类别边界上都均匀地更具信息性。独立训练的DBNs收敛到紧密相关的深度特定表征几何与神经元响应特征,表明学习到的层级结构强烈受数据和训练过程约束。更深的生成路径也产生更广泛的可识别自由样本群体,同时保留较少关于个体输入的信息。综上,这些结果表明无监督深度遵循一条可重复的表征重组路径,其中类别结构、可访问性、压缩、重建和生成仍然是不同但相互作用的属性。
深度信念网络(Deep Belief Networks, DBNs)在深度学习的复兴中曾扮演关键角色。Hinton等人提出的逐层贪婪预训练策略,通过每次训练一个受限玻尔兹曼机(Restricted Boltzmann Machine, RBM)来构建深度生成模型,为后续监督微调提供了可行的初始化途径。随着残差连接、改进初始化方法和端到端学习的发展,DBNs逐渐淡出主流应用,但其独特性质使其成为研究无监督分层学习对表征作用的透明模型系统:其训练不需要类别标签,每层局部训练允许分别检查表征变换,且整个层级既可作编码器也可作生成模型。已有研究虽表明无标签表征可以包含类别相关信息,但类别相关几何与可访问性如何随无监督层级演化、如何与压缩和生成相互关联、以及独立初始化的网络能否形成对应内部组织,这些问题仍未得到系统解答。
研究人员在MNIST、Fashion-MNIST和KMNIST三个数据集上训练了逐层贪婪的DBNs,通过广义判别值(Generalized Discrimination Value, GDV)跟踪全局类别几何,用线性逻辑探针和径向基函数支持向量机(Radial Basis Function Support Vector Machine, RBF-SVM)评估类别可访问性,用重建误差量化输入保留程度,用有效维度刻画压缩程度,用居中核对齐(Centered Kernel Alignment, CKA)比较独立网络的表征收敛性,并借助冗余引导剪枝和自由生成实验检验功能角色。研究表明:无监督深度可靠地改善全局类别几何;早期层次使类别身份更易提取;更深层次形成日益紧凑的低维表征,其中多个神经元学习到相似特征;全局类别几何与探针精度在深层发生分歧,原因是少数困难类别边界持续恶化;独立训练的DBNs收敛到高度相似的深度特定表征几何与神经元响应特征;更深的生成路径产生更广泛的可识别自由样本群体,但保留较少的个体输入信息。这些结果共同表明,无监督深度遵循一条可重复的表征重组路径,其中类别结构、可访问性、压缩、重建和生成是不同但相互作用的属性。
在技术方法上,研究人员使用三个结构相同但视觉统计不同的基准数据集:MNIST(手写阿拉伯数字)、Fashion-MNIST(服装图像)和KMNIST(日本草书字符),各含60,000张训练图像和10,000张测试图像,均为28×28灰度图。网络为784维可见层后接10个隐含层(每层100个神经元)的Bernoulli-Bernoulli RBM堆叠,采用一步对比散度(Contrastive Divergence, CD-1)逐层贪婪训练,不使用动量、权重衰减或微调。关键评估工具包括GDV、线性逻辑探针、高斯核探针、RBF-SVM、参与比有效维度、CKA表征相似性、基于权重余弦相似性与激活相关性的冗余引导剪枝,以及外部卷积神经网络(Convolutional Neural Network, CNN)评估自由生成质量。统计推断以5个独立初始化网络为统计单元。
在结果方面,首先,类别分离、抽象化与紧凑表征的逐层涌现。三个数据集的GDV随深度持续下降,显示未知类别在表征空间中形成日益不同的区域;重建误差随深度单调增加;有效维度随深度显著降低。较窄网络在极深处出现类别分离反转,说明宽度决定层级能否持续形成有用新结构。其次,无监督类别分离的控制实验表明,两步对比散度(CD-2)复现CD-1轨迹;未训练网络和权重洗牌网络无法复现GDV下降;局部预激活已包含类别几何,sigmoid非线性并非来源;随机二值采样削弱分离且随递归传播累积。
第三,冗余特征学习被确认为维度崩溃的起源。仅保留单神经元方差的维度远高于实际有效维度,表明维度崩溃源于神经元间相关性而非静默神经元;深层激活相关性和权重余弦相似性同步增加,归一化权重矩阵的有效维度同步下降。第四,全局类别几何与类别可访问性互补性质被揭示。前几层可提高探针精度;深层GDV继续改善而探针精度下降。逐对GDV分析显示,大多数类别对变得更好分离,但少数困难对(如MNIST的4与9、5与8)在几何和混淆率上同时恶化,导致全局几何与局部可访问性背离。
第五,独立训练的DBNs表现出强收敛性。对应层的CKA值高,跨层比较在MNIST上100%准确识别匹配深度;神经元最优匹配的响应相关性随深度增加,H1权重向量也可跨种子匹配,显示数据和局部学习过程强烈约束表征路径。第六,冗余引导剪枝验证了重复特征的功能角色。与随机剪枝相比,引导剪枝在所有条件下保留更高有效维度,线性探针精度略有优势但GDV效果不一致,说明重复特征贡献低维性但并非普遍不可替代。第七,自由生成与重建呈相反深度依赖。更深截断产生更高外部分类器置信度、更低的特征Fréchet距离和更多有效生成类别;但重建的类别一致性下降,KMNIST在深处丢失最多类别信息。
讨论部分指出,独立网络在无监督条件下收敛到相似表征,表明输入统计、架构和局部生成学习共同构成强约束,使系统趋向表征空间中的受限区域而非任意内部编码。这一发现与柏拉图表征假说(Platonic Representation Hypothesis)的局部形式一致,但限于固定架构、数据集和学习规则,且区别于受监督训练驱动的神经崩溃(neural collapse)现象。研究结论可概括为:无监督深度遵循一条可重复的表征重组路径,其中类别结构、可访问性、压缩、重建和生成仍然是不同但相互作用的属性。