树突神经元复杂性与AI注意力机制的生物学类比及神经启发式基础模型研究

《Nature Communications》：Dendritic computation bridges neuroscience and foundation models

　　

摘要

一种主流观点认为，尽管神经科学在历史上对人工智能有所启发，但近年来人工智能的演进主要由基础模型的规模扩大所驱动，神经科学的作用已微乎其微。我们挑战了这一观点，通过建立简化的树突神经元模型与AI基础模型核心注意力机制之间的生物学类比。我们表明，AI的注意力机制直接映射到源于树突组织的内部神经元复杂性，而非简单点神经元的单纯神经间连接。这种重新概念化不仅为超越将核心AI方法仅视为抽象数学运算的理解提供了神经科学视角，还为利用神经科学见解以突破规模法则、可持续推进现代AI发展的神经启发式基础模型铺平了道路。作为该范式的一个示例，我们引入了一个受树突启发的复杂性框架，并设计了一种具有树突启发式稀疏计算的混合注意力基础模型，该模型在增强记忆容量的同时降低了计算需求。我们的模型支持50M上下文窗口——相当于大约40卷莎士比亚全集——展现出卓越的长期记忆能力。这项工作开创了一种利用神经内动态驱动现代AI持续发展的范式，同时也为理解树突计算机制提供了一条潜在路径。