神经元、星形胶质细胞和人工智能

研究人员假设，一种被称为变压器的强大人工智能模型可以通过神经元和星形胶质细胞网络在大脑中实现。这项工作可以深入了解大脑是如何工作的，并帮助科学家理解为什么变形金刚在机器学习任务中如此有效。

　　

一项最新研究揭示了星形胶质细胞在人脑中的潜在作用，并借助神经科学和机器学习探讨了其与变压器（transformer）的联系。

人工神经网络是一种普遍存在的机器学习模型，可训练以完成多种任务。其名称源于结构上受到生物神经元处理信息方式的启发。约六年前，科学家发现了新型神经网络模型——变压器，其可实现前所未有的性能，例如通过近乎人类的精度从提示生成文本。变压器是OpenAI的ChatGPT和谷歌的Bard等人工智能系统的基础，然而，如何使用生物成分构建变压器仍是一大挑战。

近期，麻省理工学院、麻省理工学院-IBM沃森人工智能实验室和哈佛医学院研究人员提出了一个假设，揭示了星形胶质细胞在大脑中的潜在作用。他们认为，由神经元和其他被称为星形胶质细胞的脑细胞组成的生物网络能像变压器一样进行同样的核心计算。星形胶质细胞是脑中大量存在的非神经元细胞，与神经元交流，并在生理过程中发挥作用，如调节血液流动。然而，科学家仍对这些细胞在计算方面的作用缺乏了解。

这项最新研究以开放获取的形式发布在《美国国家科学院院刊》上，研究人员从计算角度探索了星形胶质细胞在大脑中的作用，并构建了一个数学模型，展示了如何利用星形胶质细胞与神经元一起构建生物学上合理的变压器。这一假设不仅启发未来的神经科学研究，探索人类大脑如何工作，还为机器学习研究人员提供了思路，以解释变压器在各种复杂任务中成功的原因。

“大脑比我们开发的人工神经网络更优秀，但我们并不了解大脑如何工作。思考生物硬件和大规模人工智能网络之间的联系具有科学价值。这是人工智能的神经科学，人工智能的神经科学，”麻省理工学院-IBM沃森人工智能实验室的研究人员、该研究论文的资深作者Dmitry Krotov说。

变压器的工作方式与其他神经网络模型不同。例如，经过自然语言处理训练的循环神经网络将句子中的每个单词与由前一个单词确定的内部状态进行比较。然而，变压器会同时比较句子中的所有单词，从而产生预测，这一过程被称为自我关注。为了使自我关注发挥作用，变压器必须以某种形式的记忆保存所有的单词，但这是在神经元的交流方式下似乎不可能实现的。

然而，几年前，研究一种稍微不同类型的机器学习模型(称为密集关联记忆)的科学家意识到，这种自我关注机制可能发生在大脑中，前提是至少三个神经元之间存在通信。这为星形胶质细胞的通信方式提供了线索。

数字3起了关键作用。“在神经科学中，这些被称为星形胶质细胞的细胞不是神经元，它们与神经元形成三向连接，即所谓的三方突触，”主要作者麻省理工学院大脑与认知科学系的博士后Leo Kozachkov说。“当两个神经元交流时，一个突触前神经元将一种叫做神经递质的化学物质传递给连接它和突触后神经元的突触。有时，星形胶质细胞也连接在一起——它在突触周围缠绕着一个又长又细的触手，形成一个三部分的突触。”

一个星形胶质细胞可以形成数百万个三方突触。星形胶质细胞收集一些神经递质，这些神经递质流经突触连接处。在某种程度上，星形胶质细胞可以向神经元发出信号。因为星形胶质细胞的运作时间比神经元长得多——它们通过缓慢地提高钙反应然后降低钙反应来产生信号——这些细胞可以保存并整合神经元传递给它们的信息。通过这种方式，星形胶质细胞可以形成一种记忆缓冲区。

“如果你从这个角度考虑，那么星形胶质细胞对于我们需要在变压器内执行注意力操作的精确计算来说是非常自然的，”克罗托夫补充说。

构建神经元-星形胶质细胞网络

有了这个见解，研究人员形成了他们的假设：星形胶质细胞可以在变压器的计算中发挥作用。然后他们着手建立一个神经元-星形胶质细胞网络的数学模型，该网络将像变压器一样运行。他们采用了组成变压器的核心数学概念并基于对文献的深入研究和神经科学家合作者的指导开发了星形胶质细胞和神经元在大脑中交流时的简单生物物理模型。

然后，他们以某种方式将这些模型结合起来，直到得出了一个描述变压器自我关注的神经元-星形胶质细胞网络方程。有时候，我们发现我们想要实现的某些事情无法合理地实现。所以，我们必须想出变通办法。论文中有一些东西非常仔细地近似于变压器结构，能够以生物学上合理的方式与之匹配。通过他们的分析，研究人员表明，他们的生物物理神经元-星形胶质细胞网络理论上与变压器相匹配。此外，他们还进行了数值模拟，将图像和文本段落输入变压器模型，并将其与模拟的神经元-星形胶质细胞网络的反应进行比较。两者都以相似的方式回应提示，证实了他们的理论模型。在一个多世纪的大脑记录中，星形胶质细胞一直保持着沉默，是大脑中最丰富、但探索最少的细胞之一。释放我们大脑另一半的计算能力的潜力是巨大的。这项研究开辟了一个迷人的迭代循环，从理解智能行为如何在大脑中真正出现，到将破坏性假设转化为展示类人智能的新工具。研究人员的下一步是实现从理论到实践的飞跃。他们希望将模型的预测与生物实验中观察到的结果进行比较，并利用这些知识来完善或可能反驳他们的假设。此外，他们的研究还暗示，星形胶质细胞可能与长期记忆有关，因为网络需要存储信息，以便将来能够对其采取行动。克罗托夫说，进一步的研究可以进一步调查这个想法。由于很多原因，星形胶质细胞对认知和行为极其重要，它们的运作方式与神经元根本不同。我对这篇论文最大的希望是，它能催化计算神经科学领域对神经胶质细胞，特别是星形胶质细胞的一系列研究。

参考文献:Building transformers from neurons and astrocytes” by Leo Kozachkov, Ksenia V. Kastanenka and Dmitry Krotov, 14 August 2023, Proceedings of the National Academy of Sciences