《Frontiers in Computational Neuroscience》:Approximate matrix exponential: a fast and accurate solver for Markov kinetic models of ion channels
编辑推荐:
提出了一种用于模拟离子通道Markov动力学模型(Markov kinetic models)的新方法;此类模型具有生物学真实性但难以模拟。计算解析解(analytic solution)的成本高得不可行,因此必须使用数值方法(numerical method
提出了一种用于模拟离子通道Markov动力学模型(Markov kinetic models)的新方法;此类模型具有生物学真实性但难以模拟。计算解析解(analytic solution)的成本高得不可行,因此必须使用数值方法(numerical methods)。该新方法构建传播子矩阵(propagator matrix)——即解析解算子——的分段多项式近似(piecewise polynomial approximation)。与先前的数值方法相比,该新方法快一个数量级且更准确,但它限于具有一个或两个输入变量(input variables)的模型,并且其时间复杂度随模型状态数(model states)呈二次方缩放。伴随程序ame将该新方法应用于NEURON模拟器(NEURON simulator)。为进行比较,解析解也被添加到NEURON中。该新方法在最先进的图形处理单元(Graphics Processing Unit, GPU)上对数万至数十万个模型实例实现实时性能。该方法将使大规模神经元模拟(large-scale neuronal simulations)能够使用更详细的离子通道模型。
研究背景:神经元由许多组件构成,因此真实的神经元计算模型也由许多软件组件构成。研究人员在组件数量与质量之间面临权衡:简化神经元模型不忠实于生物学,但易于大量模拟;基于电导的神经元模型具有生物学真实性,但模拟极为耗时。Markov动力学模型(Markov kinetic models)描述离子通道等物理组件,是神经科学基础之一。Hodgkin与Huxley曾用其描述产生动作电位的离子通道。离子通道是跨神经元膜传导带电离子的 macromolecules,其电导由构象状态控制。孤立离子通道的分子动力学可建模为分段确定性Markov过程(piecewise-deterministic Markov process),离散化构象状态后得到有限状态Markov跳跃过程,神经元模拟中进一步离散时间得到离散时间Markov链。神经科学关注的分子有大量物理状态,但许多状态功能上不可区分;Hodgkin–Huxley风格模型状态很少,模拟快但缺乏去敏感化等重要特征。多数神经科学现象可用十几个状态或更少建模。Markov动力学模型构建流程包括分离离子通道并测量电化学性质、设计动力学方案、优化参数以匹配实验数据。确定性方程通过建模概率捕捉随机性,状态s表示模型状态上的概率分布,主方程为ds/dt=Q(i)s,Q(i)为转移率矩阵,解析解涉及传播子矩阵P(i)=e
Q(i)Δt。解析解计算成本过高,需数值方法。显式积分法(explicit integration methods)如forward Euler、Runge–Kutta–Chebyshev计算简单,时间复杂度随状态数二次,但可能数值不稳定;隐式积分法(implicit integration methods)如backward Euler、Crank–Nicolson稳定且准确,但需通过Gaussian消元求解方程组,时间复杂度三次,NEURON模拟器默认使用。问题在于:Markov模型生物真实但难以大规模模拟,亟需既快速又准确的求解方法。
研究人员提出近似矩阵指数(Approximate Matrix Exponential, AME)方法,通过构建传播子矩阵函数的分段多项式近似来推进模型状态。结论是:AME比此前数值方法快一个数量级且更准确,但仅限一个或两个输入变量,时间复杂度随模型状态数二次增长。伴随程序ame将该方法应用于NEURON;解析解也被加入NEURON以作比较。AME在最先进GPU上对数万至数十万模型实例达到实时性能。该方法的重要意义在于使大规模神经元模拟能够使用更详细的离子通道模型。
主要关键技术方法:AME方法在输入空间规则网格上构建传播子矩阵(propagator matrix)的分段多项式近似,使用线性最小二乘回归拟合样本;利用Chapman–Kolmogorov方程将样本积分周期由Δt扩展至1个单位,并以标准基向量和误差目标通过贪婪算法控制分区;对化学浓度输入采用log
2(i+?)预条件;用爬山法优化多项式形式以提升吞吐;保持状态向量概率归一化;采用模板化C/C++代码生成、批处理与缓存优化。基准模型包括AMPA、NMDA、Nav与Kv离子通道,来自Balmer et al.、Kampa et al.、Balbi et al.、Johner,并通过ModelDB(登录号266925、50207、230137)和GitHub(Kv)获取。
研究结果:
3.1 Exact integration in NEURON(NEURON中的精确积分):NEURON 9.1将matexp求解器方法引入NMODL语言,以给出解析解;该功能在nmodl-transpiler中实现,而未在nocmodl中实现。它对线性时不变KINETIC块,在每个时间步和每个动力学模型实例计算传播子矩阵。计算矩阵指数主导该方法的速度与精度。NEURON使用Eigen库中Higham算法的实现,精度在单位舍入范围内。该方法因精确而可作为研究近似方法的优良参考。
3.2 Fast integration in NEURON(NEURON中的快速积分):ame程序为NEURON实现AME方法。该命令行程序处理包含Markov动力学模型的NMODL文件,模型必须位于KINETIC块中;输出新的NMODL文件,供nrnivmodl程序编译。ame程序要求预先给定时间步和温度,且此后不得改变,否则它们会成为传播子矩阵函数的参数;时间步和温度被固定并烘焙进近似。ame还要求输入域,近似跨度覆盖该域;模拟时越界输入被裁剪到域内;仅允许一个或两个输入。该程序使用SciPy库中Al-Mohy与Higham算法计算矩阵指数,该算法在速度和精度上改进了Higham算法。ame程序为开源MIT许可,位于PyPI,为Linux开发,安装命令为$ pip install matexp。
3.3 Benchmarking the methods(方法基准测试):研究人员比较backward Euler(bE)、矩阵指数(matrix exponential, ME)和AME方法的速度与精度。由于测量依赖具体模型,研究人员使用包含多个离子通道模型的基准集。该数据集含四个独立来源、七个动力学方案、99个模型。来源包括Balmer et al.的AMPA、Kampa et al.的NMDA、Balbi et al.的Nav九个亚型、Johner的Kv四个动力学方案应用于23个亚型共88个模型。模型来自ModelDB和GitHub(Kv)。部分模型对ame程序数值不稳定,传播子矩阵计算精度不足,导致输入分区数与近似精度之间非单调,matexp程序检测到该失败模式并拒绝这些模型。
3.4 Accuracy comparison(精度比较):研究人员以解析解为ground truth测量数值方法的积分误差,即1 ms积分后状态向量任一分量的最大绝对误差。通过隔离模拟每个模型10,000个实例、1 ms,并随机初始化状态向量与输入向量来估计。bE方法为一阶精度,其误差与时间步直接成正比;AME方法控制自身精度,不受时间步影响。本实验中AME误差目标为10
?3,对测试的所有状态与输入向量均达到该目标。
3.5 Accuracy in context(情境中的精度):研究人员研究积分方法如何影响动作电位(action potential, AP)模拟。由于AP在全脑传递信息,AP时序误差会迅速级联。研究人员将八个离子通道组合进单室神经元以产生AP,并比较不同条件下首个AP的时序。模型神经元单室表面积为500 μm
2,膜电容为1 μF/cm
2,漏电导为0.001 S/cm
2,插入Nav
1.1、Nav
1.4、Nav
1.6、Kv
1.1(6状态)、Kv
1.2(6状态)、Kv
1.6(6状态)、Kv
2.1(11状态)、Kv
2.2(6状态)。温度为37 °C。模拟先静息100 ms,再用10 μA电流钳刺激100 ms,产生AP序列。bE为一阶精度,AP延迟与时间步成正比;ME和AME受NEURON二阶精度限制,因为NEURON用Crank–Nicolson方法求解神经元电缆方程,故AP延迟与时间步平方成正比。将AME误差目标降为10
?4、10
?3、10
?2、10
?1且时间步固定0.001 ms时,AP时序随误差目标减小而收敛,至10
?3达到收敛;10
?2产生较小时序误差;10
?1则完全未能产生AP。
3.6 Speed comparison(速度比较):研究人员用NEURON测量速度:建模1,000个单室神经元,每个含AMPA、NMDA、Nav
1.1、Kv
1.1(4状态)、Kv
1.1(6状态)、Kv
1.1(11状态)、Kv
1.1(13状态);状态向量随机初始化,输入向量随机化并保持恒定;模拟1 ms,时间步0.025 ms,温度37 °C;Caliper库测量推进各模型类型的时间。按运行速度排序始终为AME第一、bE第二、ME第三。该测试在AMD Ryzen 9 9950X3D2上进行。
3.7 GPU acceleration(GPU加速):GPU等专用计算机大幅优于CPU等通用计算机。AME方法适合GPU,因为其积分过程不含条件分支。研究人员用与AME内部速度优化相同的方法,在最先进GPU上测量AME速度;只有GPU持续运行并使近似保持在缓存中时才能达到这些速度。假设GPU专用于该任务,可对 tens 至 hundreds of thousands 模型实例达到实时性能。在NVIDIA B200上,时间步0.025 ms、温度37 °C、误差目标10
?3时,AMPA为0.308 ns/step/instance,吞吐2,000;NMDA为1.22,吞吐1,000;Nav
1.1为0.112,吞吐220,000;Kv
1.1(4状态)为0.0594,吞吐420,000;Kv
1.1(6状态)为0.096,吞吐260,000;Kv
1.1(11状态)为0.21,吞吐120,000;Kv
1.1(13状态)为0.298,吞吐86,000。
3.8 Time complexity(时间复杂度):AME方法的计算复杂度主要由分段多项式近似主导。分段近似用预计算结果替代昂贵计算,从而将时间复杂度降低至访问内存的复杂度,而内存访问并非常数。计算机具有不同速度和大小的缓存层级,因此AME时间复杂度是近似大小的函数。近似大小又是误差目标、时间步和模型的函数。速度与精度之间存在权衡,由误差目标控制。时间步对时间复杂度的影响与误差目标相同。模型本身的可近似难度也影响时间复杂度。近似大小随模型状态数呈二次增长,随输入变量数呈指数增长,因此三个或更多输入的模型计算上不可行。
讨论部分总结:Markov动力学模型比Hodgkin–Huxley形式更富表达力。Markov模型可表示离子通道构象状态,而Hodgkin–Huxley风格模型仅表示一维门控变量。然而Markov模型因构建和模拟困难而在计算神经科学中利用不足;相反,Hodgkin–Huxley风格模型有丰富目录且具有简单解析解。随着快速准确模拟方法的出现,Markov动力学模型应在计算神经科学中占据更显著位置。未来工作需开发设计Markov动力学模型的工具;当代工具有时产生数值不稳定模型,原因之一是转移率矩阵Q中数值过大,导致矩阵指数计算中出现大浮点舍入误差;例如含指数函数的转移率方程可能不稳定,解决方式是使用更小或有界的转移率重新表述模型,如sigmoid或double sigmoid函数。未来工作还需编制即用型离子通道模型目录;离子通道是神经元构建模块之一,建模每种离子通道将能建模每种神经元;当前基准缺失许多离子通道类型且含许多次优模型,尤其每个Kv亚型有多个模型,尚未确定哪些足够准确用于神经元模拟。理想目录可为每种离子通道选取一个模型,或注释各模型特征以指导使用者。AME方法虽限于两个输入但适用广泛。大量常见建模离子通道确实只有一个输入,包括多数电压门控离子通道;配体门控离子通道通常只结合一个内源性配体,但可与许多外源性化学物质结合,这与AME不兼容;少数离子通道接受三个或更多内源性输入,如NMDA受体接受膜电位、细胞外谷氨酸浓度和细胞外甘氨酸浓度。Q的非零结构不显著影响AME:精度由用户定义的误差目标控制,不受动力学方案特定状态转移影响;速度也基本不受Q非零结构影响,因为AME全程使用稠密矩阵;对不可约Markov链,P总是全非零,AME对P的近似也稠密;稀疏性通常无法在全部输入范围内利用。因此Markov动力学方案拓扑不影响AME适用性。AME时间复杂度随模型状态数二次增长,优于解析解和隐式数值积分的三次复杂度;AME不适合状态数极大的模型,如分子动力学模型;若大模型可约简为功能等价的小模型,则AME可模拟。AME将精度与时间步解耦;积分误差在1 ms时间周期上测量,该时长因对离子通道活动具生理相关性而选择;误差目标可独立于时间步表达;由于积分误差是状态概率的最坏情况误差界,其线性累积,长期误差界可通过将误差目标按感兴趣时间周期缩放来近似。AME高度准确且数值稳定;积分误差相对输入基本随机,因为输入与误差的相关性在分段区域边界重置;数值不稳定受分段区域大小限制。AME的主要缺点是构建近似计算成本高,ame程序在先进计算机上处理单个模型可长达一小时;一旦构建,近似可无限分发和复用;但近似针对执行ame内部性能基准的硬件优化,长期硬件改进可能使优化失效,需重建和重新优化。
研究结论翻译:总之,AME方法提供了一组独特的权衡。它比此处评估的替代方法更快且更准确。然而,它仅适用于具有一个或两个输入以及少量状态的Markov动力学模型。构建和优化近似很耗时。它要求固定的模拟配置:温度、时间步以及NMODL文件中的所有PARAMETERS都变为CONSTANTS,以便将其烘焙到近似中。这些是该方法的固有限制;它们无法被解决,只能被缓解。尽管有这些约束,该方法为包含越来越真实离子通道的神经元模型铺平了道路。