超越拓扑：拓扑正则化提升卷积神经网络的鲁棒性并重塑表征

《Neurocomputing》：Beyond topography: Topographic regularization improves robustness and reshapes representations in convolutional neural networks

　　

拓扑卷积神经网络（TCNNs）是一类可模拟大脑空间与功能组织特征的计算模型。然而，不同类型的拓扑正则化如何在端到端训练中影响鲁棒性、表征结构与功能组织仍不明确。研究人员以施加于倒数第二层拓扑网格的两种局部空间损失为对象，分别研究权重相似性（WS）与激活相似性（AS）。WS的目标是惩罚邻近单元输入权重向量之间的差异；AS的目标是惩罚邻近单元在刺激上的激活模式差异。与匹配的非拓扑对照模型相比，两种正则项总体上都提高了对输入扰动的鲁棒性，降低了激活稀疏性，并改变了单元层级的调谐特征。在更大规模设置中，拓扑正则化还提升了对对抗攻击的鲁棒性。WS而非AS可稳定提升对权重扰动的鲁棒性，并产生更强的功能局部化特征。AS与WS还会改变方向调谐、对称性敏感性和偏心度特征。结果表明，局部拓扑正则化可在端到端训练中提升鲁棒性，同时系统性重塑表征结构，而其效应强烈依赖于相似性约束的具体施加方式。

本文围绕拓扑正则化在卷积神经网络（CNN）中的计算效应展开。研究背景在于，拓扑模型能够通过二维网格上的局部相关性，模拟皮层样空间组织，并已被证明可产生接近生物视觉系统的功能图样，但其计算后果，尤其是对鲁棒性与表征学习的影响，仍缺乏系统比较。当前问题主要有两点：一是局部相关性究竟是只带来“类脑”空间排布，还是还能提高抗噪声、抗扰动能力；二是不同的局部拓扑约束方式是否会导致不同的表征结构。为此，研究人员在标准分类框架下，将拓扑损失直接并入任务目标，比较了AS与WS两种局部正则化，并与不含拓扑约束的控制模型进行严格配对。
在小规模实验中，研究人员以MNIST和CIFAR-10为对象，构建带有11×11拓扑瓶颈的CNN，考察分类准确率、对读出权重扰动的稳定性、对输入噪声的鲁棒性、激活熵与稀疏性、有效维度、功能局部化、方向/偏心度调谐及专家单元分布；在大规模实验中，进一步将方法扩展到ResNet34，并在ImageNet100上验证可扩展性。研究结论显示，拓扑正则化并非仅改变网格上的空间排列，而是会系统性地改变内部表征空间：WS更有利于权重扰动稳定性、功能局部化与表征压缩，AS则更偏向于通过高相关、低熵的共享响应模式实现正则化目标。该研究发表于《Neurocomputing》，重要意义在于说明局部拓扑约束可作为一种兼具生物启发性与机器学习实用性的正则化策略，在部分条件下同时提升性能与鲁棒性。
研究方法主要包括：构建带11×11或16×16拓扑瓶颈的CNN/ResNet34模型；采用联合损失函数，将交叉熵与局部空间正则项结合；分别使用AS与WS两种局部拓扑损失；在MNIST、CIFAR-10与ImageNet100上进行端到端训练或微调；并通过权重扰动、输入腐蚀、对抗攻击、代表性相似性分析、Moran’s I、有效维度与AUC等指标评估鲁棒性和表征组织。
4.1. Accuracy
研究人员比较了控制组、AS与WS模型的测试准确率。结果显示，控制组通常准确率最高，但在MNIST上，低强度正则化时AS与WS均可达到接近或略高于控制组的表现；在CIFAR-10上，较强拓扑正则化会带来一定准确率下降，且WS下降更明显。
4.2. Robustness
在权重扰动下，WS在MNIST与CIFAR-10中均保持了更稳定的表征几何和更小的准确率下降，优于AS与控制组；在输入腐蚀下，AS往往对多种噪声更鲁棒，尤其在MNIST与CIFAR-10中表现突出。
4.3. Activation entropy, sparsity and effective dimensionality
拓扑正则化总体降低了PoZ（Percentage of Zero）并改变激活熵。WS通常具有更低稀疏性；有效维度方面，MNIST中AS与WS均表现出随λ增大而下降的趋势，CIFAR-10中的结果则呈现数据集依赖性。
4.4. Functional localization metrics
功能共定位分析显示，WS使相关单元在网格上更接近，体现出更强的功能局部化；AS则更容易出现高阈值下的广泛连接，局部性较弱。
4.5. Reorganization of angular and eccentricity tuning under topography
拓扑正则化重塑了方向与偏心度调谐。MNIST中AS与WS增加了对称性调谐并减少了方向调谐；CIFAR-10中趋势相反。两种数据集里，AS与WS都显著减少了偏向中心位置的响应。
4.6. Expert units
所有模型都形成了专家单元，但AS通常产生更多高专家度单元；拓扑训练改变了专家单元在类别间的分布平衡与选择性，且这种变化具有数据集依赖性。
5.1–5.2. ResNet34扩展与准确率
在ResNet34/ImageNet100上，AS与WS在验证和测试准确率上与控制组基本匹配，说明拓扑正则化未损害性能。
5.3. Smaller shifts in network representations under WS regularization
表征几何分析表明，AS对主干网络表征改变更大，而WS对控制组更接近；在拓扑瓶颈层，WS较好保留了主干特征，而AS引起更明显的表征转换。
5.4. Topographic organization and wiring
WS产生更强的空间自相关与更低的PoZ，同时保持较高熵；AS则导致极强的整体相关性，但功能局部化不明显，说明其更接近全局冗余式组织。
5.5. Effective dimensionality
AS的原始有效维度很低，但经L2归一化后显著恢复，说明其低ED主要来源于共享的图像级共同增益信号，而非真正的信息压缩；WS的低ED在不同归一化下仍然稳定，说明其确有表征压缩效应。
5.6. Robustness
在权重噪声下，WS更能维持类别权重相似结构并减少准确率下降；在白噪声、粉噪声与中心遮挡下，拓扑模型多具优势，但在椒盐噪声下控制组并不弱于拓扑模型。对抗攻击分析显示，WS在FGSM与fooling-image设置中通常更稳健，AS优势较弱。
讨论部分表明，拓扑正则化能够在监督分类框架下带来双重收益：一方面提高对输入扰动、权重扰动和部分对抗攻击的鲁棒性，另一方面重塑内部表征结构。WS在多数关键指标上优于AS，尤其体现在读出权重稳定性、功能局部化与真实的低维压缩；AS虽然也能提高鲁棒性，但更容易通过网格内共享响应和整体相关性来满足正则目标，其相关结构未必意味着更强的信息组织。研究人员指出，鲁棒性与准确率之间并非总是此消彼长，在适当的正则强度下，拓扑模型可同时保持性能并增强稳定性。总体而言，局部拓扑正则化不仅是类脑空间组织的建模工具，也可能成为提升深度网络鲁棒性的有效机制。