神经网络中的分阶段剪枝再现了大脑发育中的选择性与脆弱性之间的权衡关系

《Scientific Reports》：Phased pruning in neural networks recapitulates selectivity–fragility trade-offs in brain development

　　

摘要

在发育过程中，突触修剪会优化神经回路，但异常的修剪过程与神经发育障碍有关。在此，我们利用任务驱动的神经网络表明，修剪的时机和程度对功能结果有着决定性影响。那些仅在初始高度连接期之后才进行大量修剪的神经网络，虽然能增强对干扰信号的抵抗能力，但却容易受到内部噪声的影响而变得脆弱。相比之下，适度修剪虽能保持网络的稳定性，却会让其更容易受到干扰。通过线索利用测试发现，那些最稀疏的神经网络所表现出的所谓“模糊容忍度”其实大多是人为现象：在早期密度为10%时，这些网络会部分忽略任务线索，而当密度达到20%及以上时，依赖线索的切换功能依然完好。进一步的后期修剪实验表明，大量修剪带来的选择性优势是具有条件性的且非单调的，只有在早期密度较高时才能最为稳定地体现出来。当后期修剪发生在早期过度生长之后时，这些权衡效应会更加明显，因为这为神经回路向高选择性结构的发展提供了缓冲。这些研究结果揭示了发育阶段的差异是决定神经回路是走向专业化还是保持灵活性的关键因素，同时从计算角度解释了自闭症相关的一种特征——即高度的选择性与对干扰的脆弱性共存，同时也指出了构建高效稀疏神经网络的相关原理。