从认知地图的神经采样实现目标导向的想象和规划

《Nature Machine Intelligence》：Neural sampling from cognitive maps enables goal-directed imagination and planning

　　

人工智能系统正变得越来越智能，但在能耗和训练需求方面成本极高。相比之下，研究人员的大脑仅需20瓦的能量，即可进行在线学习并能瞬时适应不断变化的条件。这引出了一个问题：是什么数据结构、算法和学习方法使大脑能够实现这一点，以及这些方法能否移植到人工设备中。研究人员正在针对智能的一个核心特征——规划和解决问题的能力，包括涉及从未遇到过状态的新问题——来探讨这一问题。在此，研究人员审视了大脑可能用于实现这一目标的三种工具：认知地图（cognitive maps）、随机计算（stochastic computing）和组合编码（compositional coding）。研究人员将这些工具整合到一个透明的神经网络模型中，并展示了其在灵活规划和问题解决方面的能力。重要的是，这种方法适用于通过内存计算（in-memory computing）和其他节能的神经形态硬件（neuromorphic hardware）实现。特别地，它仅需要自监督的局部突触可塑性（self-supervised local synaptic plasticity），适用于片上学习（on-chip learning）。因此，大脑智能的一个核心特征——生成从未遇到问题解决方案的能力——并不需要深度神经网络或大型语言模型，并且可以在节能的边缘设备（edge devices）中实现。

### 论文解读：从认知地图的神经采样实现目标导向的想象与规划

#### 研究背景与问题

当前人工智能系统在性能上不断提升，但伴随而来的是巨大的能耗和训练需求。相比之下，人脑仅需约20瓦的能量即可在线学习并瞬时适应环境变化。这促使研究人员探究大脑用于高效规划与问题解决的核心机制。实验证据表明，认知地图（cognitive maps）——一种通过编码状态与动作之间关系来组织学习经验的数据结构——是大脑规划的关键工具。然而，现有模型在应对新目标、新约束以及组合域（compositional domains）中的问题时，常需大量重新学习或计算开销。此外，大脑如何利用认知地图实现目标导向的想象（goal-directed imagination）和采样（sampling），尤其是在非空间抽象概念空间和组合任务中，仍缺乏统一的神经模型解释。本研究旨在整合认知地图、随机计算（stochastic computing）和组合编码（compositional coding）这三种大脑可能使用的工具，构建一个透明且节能的神经网络模型，以验证其在不依赖深度神经网络或大型语言模型的情况下，能否实现灵活规划和问题解决。该研究发表在《Nature Machine Intelligence》。

#### 关键技术与方法

研究人员采用以下关键技术方法：基于网格细胞系统（grid-cell system）的二维空间认知地图模型，利用路径积分更新位置编码；认知地图学习器（CML, cognitive map learner）及其生成式变体（GCML, generative cognitive map learner），通过自监督局部突触可塑性规则学习状态和动作的嵌入（embeddings），实现预测编码；逆模型（inverse model）以权重矩阵形式将状态差异映射为动作，采用Hebbian学习规则；在动作选择中注入高斯噪声，使模型成为概率生成模型，实现目标导向采样。所有学习规则均为局部可塑性，适用于片上学习（on-chip learning）和神经形态硬件（neuromorphic hardware）实现。样本队列来源包括二维空间探索轨迹、随机图（32节点）以及剪影分解任务（构建块来自文献22的人类实验）。

#### 研究结果

**Sampling from a 2D cognitive map reproduces brain data on imagined spatial trajectories（从二维认知地图采样再现了关于想象空间轨迹的大脑数据）**
研究人员使用基于网格细胞的标准认知地图模型，并通过局部可塑性学习逆模型。在二维空间探索后，模型在噪声驱动下生成目标导向的想象轨迹。这些轨迹在多样性、绕开障碍物（如新屏障）方面与啮齿动物海马体回放（replay）数据定性相似，并能泛化至未探索区域。结果表明，该模型可解释实验中观察到的灵活绕行现象。

**Sampling from learnt cognitive maps for abstract concept spaces enables generic problem-solving through goal-directed imagination（从学习到的抽象概念空间认知地图采样通过目标导向想象实现通用问题解决）**
研究人员采用CML的生成式扩展GCML，在随机图（32节点）上学习认知地图。GCML通过噪声注入生成多种启发式路径，其长度接近最优解，相当于k-最短路径问题的在线启发式求解。高噪声水平产生更多样化的解，当节点附带奖励时，高噪声可找到更高累积奖励的路径。这表明GCML能提供问题解决方案的“菜单”，并具有自纠正的归航启发式能力。

**Sampling from cognitive maps with compositional structure enables strong generalization of problem-solving（从具有组合结构的认知地图采样实现了问题解决的强泛化）**
研究人员将剪影（silhouette）分解任务（NP-hard问题）作为组合域测试。GCML通过训练从5个构建块（BBs, building blocks）的分解示例中学习认知地图，并在测试中成功泛化至8个BBs的剪影，成功率接近完美。此外，模型还能处理部分分解和组合（添加BBs）任务，无需重新训练。这表明组合性质的认知地图支持对从未遇到状态的规划，通过目标的几何方向感引导动作选择。

#### 讨论与结论

讨论部分指出，该模型整合了随机性、认知地图和组合计算，在三个不同场景中验证了其有效性，但存在局限性，如U形障碍物需要高噪声水平，可能影响稳定性。未来工作可探索从学习到的概率分布中采样，以更好捕捉模型不确定性，并与贝叶斯框架（如规划作为推理）连接。研究结论翻译如下：总之，研究人员引入了GCML作为一种支持目标导向采样的神经采样模型。因此，它极大地扩展了神经采样在人工智能中的应用范围。特别地，它支持推动更节能的人工智能解决方案用于规划和问题解决。GCML的局部学习机制使其适用于探索过程中的自监督片上学习。此外，GCML的（虚拟）动作选择机制适用于使用忆阻器交叉开关阵列（memristor crossbars）的内存计算，实现了独立于环境大小和动作选择选项数量的最小动作选择延迟。因此，GCML为创建能够利用目标导向想象（通常称为幻想）来寻找困难和新颖任务解决方案的边缘设备铺平了道路。