超越线性加和：从神经与生物动力学推断交互阶数

《Cell Reports Methods》：Moving beyond linear summation to infer interaction order from neural and biological dynamics

　　

摘要专业翻译 循环神经网络（RNN）被广泛用于建模神经及其他生物动力学过程，然而其核心计算假设通过线性加和及逐点非线性实现两体交互。真实生物系统往往包含协同机制，包括树突门控、神经调质、胶质细胞-神经元耦合以及转录因子二聚化，这些机制天然产生高阶交互。因此，现有建模方法在判断观测动力学是否需要此类交互方面能力有限。研究人员开发了TBRNN框架及一种交互阶数检测程序，用以检验两体、三体或混合交互对记录轨迹的最佳解释。 亮点 • 三体循环网络是通用逼近器 • 低秩理论将交互阶数与模型秩联系起来 • 匹配容量模型比较可从轨迹推断交互阶数 • 生物系统揭示两体、三体或混合交互 摘要 研究人员引入了三体循环神经网络（TBRNN），这是一种显式纳入二次三体交互的循环模型。研究表明TBRNN是通用逼近器，并将低秩循环神经网络（RNN）理论扩展至相应的低秩TBRNN框架，使模型秩有助于区分两体与高阶动力学。在经典神经科学任务上，TBRNN展现出与标准RNN不同的解几何结构，表明高阶交互重塑了可达动力学区域，而非仅仅重新参数化两体模型。基于这些结果，研究人员开发了一种实用的模型比较程序，可直接从观测轨迹推断交互阶数。将该框架应用于合成系统、基因调控模型及神经记录，可区分两体、三体及混合交互结构。研究结果拓宽了神经科学中可解释动力学模型的空间，并为探测生物网络中的高阶交互提供了一种通用方法。

论文解读

一、研究背景与问题

循环神经网络（RNN）是计算神经科学中建模神经群体动力学的主流工具，其核心计算假设为：突触前神经元活动通过线性加权求和汇聚到突触后神经元，再经逐点非线性激活函数产生输出。这一假设本质上将神经元之间的交互限制为两体（成对）交互，即连接权重矩阵W_ij所描述的单一突触耦合关系。

然而，真实生物系统中的交互机制远比线性加和复杂。在树突层面，同一树突分支上共定位的多个突触输入可产生乘法性门控效应，形成三体加和事件；神经调质通过改变突触前后神经元之间的有效连接强度，充当突触中的第三体；胶质细胞活动同样可调节突触传递。在基因调控网络中，转录因子常以二聚体形式发挥作用，二聚体的稳态浓度由两个单体浓度的乘积决定，这天然地在调控方程中嵌入高阶项。此外，现代机器学习架构如门控循环单元（GRU）、Transformer和现代Hopfield网络均通过门控或注意力机制隐式实现高阶元素交互。

上述生物物理事实提出了一个关键问题：给定观测到的动力学轨迹，如何判断其背后的交互结构是两体、三体还是混合阶数？传统RNN框架缺乏显式的高阶交互项，难以回答这一问题。研究人员据此提出了三体循环神经网络（TBRNN）框架及相应的交互阶数检测程序。

二、研究内容与主要结论

研究人员围绕四个核心问题展开系统研究：TBRNN的表达能力、低秩推断框架的建立、与标准RNN解空间的差异，以及实际数据中的三体特征检测。

主要结论如下：

第一，TBRNN是通用逼近器。通过扩展Hornik等人的经典证明，研究人员证明了任意开环动力系统均可由TBRNN以任意精度逼近，表明TBRNN与标准RNN具有同等的表示能力，二者差异不应归因于容量不同。

第二，低秩TBRNN可建立有效的低维动力学。研究人员推导出低秩TBRNN的序参量动力学方程，发现其呈现半二次形式——与低秩RNN的半线性动力学形成鲜明对比。这一差异为通过模型秩区分交互阶数提供了理论基础。

第三，TBRNN与RNN在经典任务上产生定性不同的解。在1-bit flip-flop任务中，RNN因tanh非线性奇对称性而具有镜像对称的固定点结构，而TBRNN打破这一对称性。通过中心核对齐（CKA）和多重尺度分析（MDS）比较，TBRNN的解空间与RNN和GRU均有显著分离。

第四，交互阶数可从轨迹数据中推断。研究人员开发了基于归一化参数计数（NPC）的模型比较程序，在合成系统、MultiFate基因调控模型和两个真实神经记录数据集上成功区分了两体、三体和混合交互结构。

三、关键技术方法

研究人员主要采用了以下几项关键技术方法：

TBRNN架构：将标准RNN的两体连接矩阵W替换为三阶连接张量??，显式纳入三体交互项。

低秩TBRNN推断（LINT）：从网络轨迹直接推断低秩连接张量，与张量成分分析（TCA）、张量列（TT）和slice-TCA等直接张量分解方法相比，LINT能精确恢复正确秩。

交互阶数检测算法：以归一化参数计数（NPC）为统一容量度量，拟合不同秩的RNN、TBRNN和高阶循环神经网络（HORNN）模型，比较匹配容量下的预测性能（R2），据此判定主导交互阶数。

通用逼近性证明：扩展Stone-Weierstrass定理证明框架，将定义域限制在(0,1)ⁿ以处理不可分离性和二次依赖问题。

四、研究结果分述

TBRNN是通用逼近器：通过修改Hornik等人的经典证明，研究人员证明了任意开环动力系统可由TBRNN以任意精度逼近，为后续模型比较奠定了表达能力基础。

低秩TBRNN推断：在3-bit flip-flop任务上，全秩TBRNN训练的轨迹在PCA空间中呈现与标准RNN相同的几何结构。LINT方法在低秩拟合中显著优于TCA、TT和slice-TCA三种直接张量分解方法，且仅LINT能精确恢复正确秩3。不同初始化训练的TBRNN在连接张量??上不相关，但在有效连接张量??_eff上高度相关，表明有效连接张量是动力学的不变表征。

扩展解空间：在1-bit flip-flop任务中，RNN因tanh奇对称性具有镜像固定点对，而TBRNN打破此对称性，固定点呈正相关排列。30个模型（RNN、TBRNN、GRU各10个）的CKA-MDS分析显示，TBRNN与RNN和GRU的距离均大于RNN与GRU之间的距离，即使约束输入输出矩阵与RNN完全一致，TBRNN仍占据独特的解空间区域。

合成数据验证：在3-bit flip-flop和正弦波生成两个任务上，分别以RNN（纯两体）、TBRNN（纯三体）和HORNN（混合阶数）作为教师模型，训练三种架构的学生模型。结果显示，架构匹配的师生组合达到性能阈值（R2=0.9）所需的NPC最低；架构不匹配时需额外增加NPC（正弦任务中RNN学生拟合TBRNN教师需额外6 NPC，HORNN学生需额外11 NPC），体现了交互阶数错配的秩惩罚效应。

MultiFate基因调控推断：N-MultiFate模型的常微分方程结构包含二聚化介导的Hill函数调控项，可解释为全秩但高度稀疏的三阶连接张量。在NPC匹配比较中，TBRNN始终取得最高预测性能，HORNN未优于TBRNN，表明该系统的动力学由纯三体交互主导。轨迹模拟进一步显示，TBRNN能可靠地将相同初始条件的轨迹分离到正确的高、低浓度吸引域并收敛至相应固定点，而RNN轨迹常出现延长瞬态且无法稳定在预期稳态。

神经记录数据集：在Mante数据集（非人灵长类前额眼动区727个神经元，情境依赖决策任务）上，HORNN在NPC匹配比较中始终取得最高性能，表明该系统的神经动力学需要两体与三体交互的混合表征。在MC-MAZE数据集（猕猴初级运动皮层M1和背侧前运动皮层PMd，延迟到达任务，采用变分序贯蒙特卡洛vSMC推断框架）上，RNN在可比NPC下取得最高性能，三体模型未提供额外改进，表明两体交互足以捕获该任务神经群体动力学的主要结构。

五、讨论与结论

讨论部分要点：

关于"两体是否足够"的争论，Merchan和Nemenman认为许多生物系统中的高阶相关可约化为两体统计量，而Bairey等人、Battiston等人、Ganmor等人及Millán等人则证明高阶交互在生态系统多样性、群体集体行为、神经群体编码和尖峰网络时空动力学中具有不可约化的作用。本研究通过TBRNN架构和检测方法为这一争论提供了实证工具。

任务可在由潜在维度（秩）和交互阶数构成的二维空间中定位：MultiFate系统位于高秩、三阶区域；Mante任务由混合交互主导；MC-MAZE任务由两体动力学充分描述。这些差异可能反映各系统执行的计算类型——运动皮层平滑低维轨迹与两体循环动力学一致，而情境依赖决策任务涉及感觉证据与情境信号的非线性整合。

该框架可推广至三阶以上交互。NPC作为统一容量度量，可扩展至任意阶数交互张量模型的公平比较。局限性方面，全交互张量参数随阶数呈O(N^k+1)增长，实际依赖低秩参数化（O(k·R·N)）保证可行性；若低秩模型无法达到性能饱和，算法可评估稀疏全秩模型。

研究结论：TBRNN扩展了RNN框架，在保留其有利性质的同时引入生物启发的三体交互。该框架通过秩与交互阶数之间的权衡，为合成系统、神经记录和基因调控任务提供了原理性推断工具。不同神经系统的检测结果（Mante数据集为混合交互、MC-MAZE数据集为两体交互）表明，有效交互结构因任务和脑区而异，这为理解生物网络的计算组织提供了新视角。