揭示神经网络中虚假记忆效应：关键神经元在虚假相关性下的记忆机制研究

本研究针对机器学习模型在虚假相关性（spurious correlations）下对少数群体（minority groups）表现失衡的问题，首次系统揭示了“虚假记忆”（spurious memorization）现象。研究人员通过梯度与权重分析发现，少数群体的记忆集中于少量关键神经元（critical neurons），并提出对比学习框架消除此类记忆，显著提升最差组准确率（WGA）。该成果为理解神经网络记忆机制提供了新视角，发表于《Nature Communications》。

　　

在机器学习领域，模型依赖虚假相关性（spurious correlations）导致的性能失衡问题长期困扰研究者。例如，区分奶牛与骆驼的图像分类任务中，模型可能错误关联背景（草地或沙漠）而非主体特征，导致少数群体（如“沙漠中的奶牛”）测试准确率骤降。这种失衡现象不仅影响模型可靠性，更可能加剧现实应用中的系统性偏见。传统研究多从数据分布或损失函数角度切入，而耶鲁大学等机构的研究团队首次从记忆效应（memorization）视角揭示了关键神经元（critical neurons）的核心作用。

研究团队通过两阶段实验展开探索。第一阶段采用非结构化追踪（unstructured tracing）和结构化追踪（structured tracing），结合梯度与权重准则，发现少数群体的记忆仅依赖极少量神经元（如Top-3）。如图2所示，剪除这些神经元使少数群体训练准确率下降11.96%，而对多数群体影响微乎其微。第二阶段提出对比学习框架，通过对比目标模型与剪枝辅助模型的特征，抑制虚假记忆。如图6所示，该方法在ResNet-50和ViT-Small上分别提升最差组准确率（WGA）16.87%和23.83%，验证了关键神经元对性能失衡的驱动作用。

关键技术方法包括：1）基于梯度/权重的关键神经元识别；2）动态剪枝构建辅助模型；3）NT-Xent损失函数实现特征对齐；4）MSE损失增强监督信号。实验使用Waterbirds和CelebA数据集，模型预训练采用ImageNet权重。

研究结果分为三部分：
1. 关键神经元的存在验证
通过剪枝、随机初始化和噪声注入实验，证实少数群体记忆集中于少量神经元。如图3所示，高梯度神经元同时具有高权重，两类准则筛选的神经元分布高度重叠。

2. 结构化追踪的层级分布
热图分析（图7）显示关键神经元分布于网络早期层，而非仅集中于末层，表明记忆机制具有空间分散性。

3. 虚假记忆的干预验证
对比学习框架通过抑制关键神经元的记忆行为，使模型注意力从虚假特征（背景）转向核心特征（鸟类主体），如图10所示。

结论指出，虚假记忆是性能失衡的核心机制——多数群体记忆由全局网络完成，而少数群体依赖脆弱的关键神经元。该研究为理解神经网络记忆编码提供了新范式，其提出的干预框架可推广至语言模型等其他领域。讨论部分强调，消除虚假记忆是构建可信医疗AI的关键步骤，未来将探索跨模态应用。论文由Chenyu You、Haocheng Dai等合作完成，发表于《Nature Communications》。