《PLOS Computational Biology》：The curriculum effect in visual learning: The role of readout dimensionality
编辑推荐：
视觉知觉学习的泛化在不同任务间存在差异。以往的研究表明，训练课程对于泛化可能是不可或缺的，但目前尚缺乏相关的理论解释。研究人员通过利用视觉知觉学习的人工神经网络模型并与人类进行比较，提出了一种解释视觉学习泛化与课程效应的理论。研究人员发现，由易到难的顺序训练改
视觉知觉学习的泛化在不同任务间存在差异。以往的研究表明，训练课程对于泛化可能是不可或缺的，但目前尚缺乏相关的理论解释。研究人员通过利用视觉知觉学习的人工神经网络模型并与人类进行比较，提出了一种解释视觉学习泛化与课程效应的理论。研究人员发现，由易到难的顺序训练改善了人类和人工神经网络的泛化能力。然而，当简单和困难条件交叉混合时，人类和人工神经网络表现出不同的行为：人工神经网络的泛化表现差于顺序训练，而人类虽然维持了良好的表现，但个体间存在较大差异。通过研究在不同课程下训练的人工神经网络模型，研究人员证明了依赖于低维神经群体的模型表现出更优的泛化能力。这种读出子空间的维度直接由训练课程决定：早期从简单任务开始学习的学习者形成了较低维度的子空间，并且泛化得更好。该理论提供了一个将课程设计、视觉知觉学习泛化与神经群体维度联系起来的机制框架。
视觉知觉学习使人类能够通过练习提高视觉感知能力，但这种学习改善往往局限于训练条件，难以泛化到未见过的新条件，这限制了其在现实世界中的应用推广。以往研究表明，训练任务的顺序和结构对学习的泛化有显著影响。从易到难的训练顺序可以促进泛化，不同任务的交叉混合也可能带来益处，但目前缺乏解释特定训练课程如何影响学习泛化的理论基础。为了理解序列和交叉课程在何种情境下更具优势，并探究其背后的神经计算机制，研究人员开展了这项研究。他们假设，不同学习课程的有效性取决于训练期间大脑招募了多少不同的视觉特征来解决任务。从易到难的课程促使学习者依赖更少且更核心的视觉特征，从而在面对新条件时具有更好的泛化能力。该研究对比了人类和人工神经网络的感知学习，揭示了课程设计影响泛化的机制。这项重要的研究成果发表在《PLOS Computational Biology》上，为理解大脑学习的神经计算基础以及设计最优化的训练康复方案提供了理论支持。
研究人员使用了基于AlexNet架构并在ImageNet上预训练的卷积人工神经网络模型，并在其各层到输出层之间添加了跳跃连接以模拟神经读出机制。样本队列来源于37名视力正常或矫正正常的受试者，他们在家通过个人电脑远程参与了方向辨别实验。受试者被随机分配到三种训练课程中：仅训练困难任务的非顺序组、由易到难的顺序组以及随机混合易难任务的交叉组。研究团队对模型和人类的准确率进行了对比统计，并运用主成分分析、有效秩计算以及方向选择性指数分析等计算方法，深入剖析了模型读出子空间的结构特征和维度变化。
在视觉学习任务与人工神经网络模型方面，研究人员在方向辨别任务中训练了卷积人工神经网络模型和人类观察者。通过比较角度分离程度不同的任务，研究结果成功再现了视觉知觉学习的主要行为特征：任务越难，泛化能力越低。对模型权重的分析显示，学习主要发生在读出连接权重中，而层间卷积权重的变化极小。这表明直接的跳跃连接将学习导向了读出权重，而非刺激的感官表征本身，这与神经生理学发现相符。
在课程对人工神经网络模型和人类的影响方面，研究对比了三种训练方式。结果表明，与仅进行困难任务的非顺序训练相比，顺序课程和交叉课程都显著提高了人类和人工神经网络模型的泛化准确率。然而，两者之间存在差异：在人工神经网络模型中，顺序课程的泛化表现显著优于交叉课程；但在人类观察者中，顺序课程和交叉课程的泛化表现却没有显著差异。交叉条件下人类表现出了极大的个体间差异，这促使研究人员进一步探究了其背后的原因。
关于交叉条件下的内隐课程预测泛化的研究，结果发现人类在交叉训练中会自发形成一种“内隐课程”。观察者在前半段时间主要从简单样本中学习，随后逐渐专注于困难样本。通过定义“课程指标”来量化这种内隐课程，研究表明该指标与人类观察者的泛化表现呈显著正相关。在模型中，研究人员通过改变早期训练中简单与困难样本的比例来人为干预其内隐课程，同样发现早期高比例简单样本的训练能够带来更好的泛化表现。这证实了无论是人类还是模型，早期形成更强烈的由易到难内隐课程都能促进更好的学习泛化。
在读出子空间维度解释不同课程的泛化差异方面，研究提出泛化能力主要取决于特征空间的维度。分析发现，模型的读出权重表现出高度偏态分布，主要由约150个具有最大权重的神经元决定了读出子空间，这些神经元具有截然不同的视觉特征偏好。结果显示，读出子空间的有效秩与模型的泛化准确率呈显著的负相关。具有较低维度读出子空间的模型学习泛化表现更好。通过对比不同干预比例下的模型，进一步证实了能够引导出最低维读出子空间的训练课程，其泛化能力最强。
在低维读出子空间包含更多方向选择性神经元的研究中，通过杰卡德指数分析发现，不同课程的最终读出子空间由不同的神经元集合构成，顺序和交叉模型具有更高的相似度。测算方向选择性指数表明，顺序和交叉课程模型中的神经元对刺激方向具有更高的选择性。这表明，低维读出子空间泛化能力更强是因为它们主要依赖提供建模所需必要且充分的边缘方向等基本视觉特征，而不依赖于非必要的冗余特征。
关于早期训练决定读出子空间维度的研究，结果表明读出子空间的神经元在训练最初的200步左右就已经确定，并在随后的训练中基本保持不变。利用主成分分析比较代表模型的结果显示，不同课程的表征特性呈现连续变化，包含简单和困难样本的课程表征更为相似，而非顺序课程差异最大。这解释了为何早期的简单任务能够建立一个低维且易于复用的子空间，使得后续的困难任务得以在该子空间内继续学习。研究人员通过冻结非顺序训练模型中除预定义低维读出子空间外的所有读出权重，证实了在预置低维子空间中学习困难任务能够显著改善泛化。
在讨论部分，研究人员总结了该研究的核心结论：不同训练课程通过决定早期训练形成的读出子空间维度来影响泛化能力。从易到难的学习课程引导学习者聚焦于更少、更核心的视觉特征，从而形成低维且鲁棒的神经表征。这种机制不仅在模型中得到验证，也解释了人类在学习过程中的个体差异。此外，该研究还指出，这种机制理论可以推广到医疗诊断培训及教育领域的课程设计中，提示了针对不同个体和任务设计定制化、复杂化学习课程的实用价值。未来的研究需进一步采用具备生物学合理性的学习规则，并探索不同人工神经网络架构特性对该机制普遍性的影响。
