《Frontiers in Neuroscience》：RNDC-Lab: a real-time calcium imaging-based adaptive neural decoding framework
编辑推荐：
引言：实时神经解码（real-time neural decoding）对精准神经调控（precise neuromodulation）至关重要，其在脑疾病治疗中的关注度日益增加。本文提出 RNDC-Lab，一种用于设计、优化和实验实时、基于钙成像（calci
引言：实时神经解码（real-time neural decoding）对精准神经调控（precise neuromodulation）至关重要，其在脑疾病治疗中的关注度日益增加。本文提出 RNDC-Lab，一种用于设计、优化和实验实时、基于钙成像（calcium imaging）的端到端神经解码系统的计算框架。
方法：RNDC-Lab 将钙成像预处理与使用紧凑深度神经网络（Deep Neural Networks, DNNs）的自适应神经解码相整合。RNDC-Lab 支持神经解码模型的动态重训练（dynamic retraining）与推理（inference）并行进行，从而对输入钙成像信号统计特性的变化提供鲁棒性。研究人员将 NDSEP 与 NeuroGRS 整合到 RNDC-Lab 中；前者和后者分别是近期开发的用于神经解码与信号提取、以及 DNN 模型优化生成的工具。由此形成首个基于钙成像且具有动态、基于 DNN 解码模型的实时神经解码系统。本文还引入若干模拟数据集，以辅助使用 RNDC-Lab 进行系统评估与实验，并更广泛地作为任意神经解码模型与系统实验的资源。RNDC-Lab 的实验能力进一步由四个新数据集增强——Brain Phantom、N80、N90 和 Reward Learning（用于多类分类，multiclass classification）数据集——研究人员在本工作中将其引入，作为配合 RNDC-Lab 使用的伴随资源。
结果：为展示 RNDC-Lab 的能力，研究人员开展大量实验以评估所提出框架的功能与性能。实验纳入上述模拟数据集以及从小鼠模型采集的真实钙成像数据。研究结果表明，RNDC-Lab 系统与 NDSEP 和 NeuroGRS 结合后，可从真实和合成钙成像数据中实现高效且准确的实时神经解码。此外，结果证明了 RNDC-Lab 的动态模型重训练能力，并刻画了涉及解码性能与执行时间之间的相关权衡。
讨论：尽管本文使用 NDSEP、NGSynth 和 NeuroGRS 中的组件具体展示 RNDC-Lab 的能力，但 RNDC-Lab 严谨的基于数据流（dataflow-based）架构使这些组件能够被选择性替换为以不同算法或实现提供相同通用功能的替代模块（例如，用于运动校正（motion correction）或模型重训练（model retraining）的新模块）。这使 RNDC-Lab 成为在整体实时框架背景下实验神经解码新方面的强大工具。
研究背景与问题：微型钙成像（miniature calcium imaging）可在自由活动哺乳动物中光学监测神经元活动，具有单细胞空间分辨率和亚秒时间精度，并支持持续数周的慢性记录。然而，基于钙成像的实时神经解码系统仍较少，许多前期工作面向特定实验配置或仅聚焦单个处理与解码功能，从实验演示到完整端到端实时神经解码系统的转化仍不充分。实际实时系统需在有限计算资源下满足处理截止时间，且神经信号分布可能随时间变化，需要在不中断推理的情况下更新解码模型。神经调控（neuromodulation）和脑机接口（Brain-Computer Interfaces, BCIs）均为闭环过程，需要实时神经解码提供预测反馈。因此，研究人员提出 RNDC-Lab，一种可复用、基于数据流（dataflow）的软件框架，用于设计、实现、集成和评估端到端实时钙成像神经解码系统。该框架聚焦前端神经解码能力，未包括与物理刺激或反馈设备的集成。其意义在于支持算法、机器学习模型与软件实现之间的协同设计和权衡优化，并服务于未来神经调控系统与 BCI 的原型设计。
关键技术方法：RNDC-Lab 采用基于数据流的 LIDE（Lightweight Dataflow）框架，将 NDSEP 作为实时神经元检测与活动提取（Real-time Neuron Detection and Activity Extraction, RNDAE）前端，NeuroGRS 作为紧凑 DNN 模型准备后端，NGSynth 作为推理后端；使用数据流调度图（Dataflow Schedule Graph, DSG）中的 snd/rec actor 与消息传递接口（Message Passing Interface, MPI）实现并行训练与推理，并通过动态加载替换更新模型。样本来源包括：Brain Phantom 来自体外小鼠脑 phantom 与 Miniscope-v4 采集；MSN 数据来自 Barbera et al. 的小鼠背侧纹状体 D1 中型多棘神经元（medium spiny neurons, MSNs）开放场钙成像；N80、N90 和 Reward Learning 为模拟数据集。
研究结果：
4.1 Datasets：研究使用模拟与真实数据集评估 RNDC-Lab。4.1.1 Brain Phantom Dataset：使用体外小鼠脑 phantom，以琼脂糖和牛奶模拟散射，荧光聚苯乙烯微球作为神经元替代物，Miniscope-v4 以 30 Hz、752 × 480 像素采集，LED 开/关定义“active/inactive”类别。4.1.2 N80 dataset：包含 80 个模拟神经元、5 天、每天 600 帧，采用带加性噪声的整合发放模型，突触权重逐日增强，并引入翻转率（flip rate, FR）形成标签噪声和分布漂移。4.1.3 Reward learning dataset：模拟奖赏学习任务，30 个神经元中仅 14 个可观测，成像采样率 10 Hz，瞳孔直径被离散为基线、低参与和高参与三类标签。4.1.4 N90 dataset：90 个模拟神经元分为三组，1200 帧，模拟 jGCaMP7F，使用 η、α、β 控制噪声、运动与旋转。4.1.5 Medium spiny neurons：使用真实 MSN 钙成像数据，记录 D1 MSN 于开放场行为，三个 5 分钟会话、每会话 3000 帧、10 Hz，速度超过 3 cm/s 且持续至少 0.5 s 定义为 ambulation 二值标签，数据经预处理后输入。
4.2 Systems evaluated in experiments：提出系统为集成 RNDC-Lab、NDSEP、NeuroGRS 和 NGSynth；runtime baseline 不使用 RNDC-Lab 的动态加载和数据流通信 actor，不能并行训练与推理，数据通过文件传递；static mode 禁用模型更新，仅用首批样本训练一次。实验用于证明实时端到端解码、模型更新对概念漂移的有效性以及各功能单元正确性。
4.3 Motion correction experiments：系统使用增强相关系数（Enhanced Correlation Coefficient, ECC）算法进行欧氏运动校正，比较第一帧、静态均值图像和动态均值图像作为参考。动态均值 100 帧较静态均值减少超过 4 ms 且平衡准确率相当；动态均值 238 帧时最高准确率达 96%；200 帧平均运行时较高，300 帧时降低。
4.4 Runtime experiments：使用 Brain Phantom 的 1000 帧、400 × 400 像素图像，在 Intel Core i7-14700 桌面计算机上运行。推理图中 actor 总最大运行时间静态模式为 72.755 ms、动态模式为 73.996 ms，均值分别为 20.558 ms 和 20.934 ms。训练图中模型合成占主导，静态模式约 3.42 s，动态模式约 3.44 s 至 5.37 s，均值约 4.55 s。端到端预测延迟静态均值 58.86 ms，2/297 帧超过 100 ms；动态均值 81.93 ms，57/297 帧超过 100 ms；动态模式 95th 百分位为 123.46 ms，静态为 78.19 ms。动态模式额外均值延迟约 23 ms。
4.5 Decoding experiments：主要采用平衡准确率（balanced accuracy）评价，以应对类别不平衡。4.5.1 Multiclass classification experiments：在 Reward Learning 数据集上评估三状态解码，高奖赏气味注入电流为 0.50、0.55、0.60，低奖赏固定为 0.45；固定 REFERENCE_COUNT=400。平衡准确率随电流增加而升高，从约 0.6415–0.6458 升至 0.7333–0.7352；动态模式在 I=0.50 和 I=0.60 略优于静态，但差异很小。I=0.60 动态模式混淆矩阵显示 Class 0 召回率 0.973，Class 2 为 0.767，Class 1 为 0.466，主要错误为 Class 1 被判为 Class 0。
4.5.2 Dynamic mode for distribution shifts：使用 N80 数据集比较静态与动态模式。验证实验表明各日数据可学习，且 day1 分布与其他日不同，cross-trained GTM-MLP、GTM-LR、GTM-SVM 均显示跨日性能下降。动态模式在 day2 至 day5 多数情况下优于静态模式，Variation 2 中动态模式表现更高。更新率 updateRate 为 50、100、150 帧时，Variation 1 总体平衡准确率几乎不变，Variation 2 从 150 降至 100 时略有提高。
4.5.3 Decoding performance and verification of functional modules：使用 N90 数据集、27 个模拟数据流、updateRate=300。MLP 解码器在真实神经元脉冲信号上平衡准确率接近 1，在 NDSEP 提取信号上约 0.92；RNDC-Lab 动态模式结果与 MLP 解码器相似。不同噪声水平 η∈{0.1, 0.2, 0.3} 下最终解码性能相似，表明 NDSEP 提取相较真实信号存在一定信息损失，但可接受。
4.5.4 Decoding performance under motion and rotation：使用 N90 数据集和 27 个模拟数据流，在 η=0.1、0.2、0.3，α=0、3、6，β=0、1、2 条件下评估。旋转增加时平衡准确率有一定下降，尤其 η=0.3、α=6 时更明显；在 η≤0.2 时运动未导致下降；在 η=0.3 且 β≥1 时运动可导致下降。总体在最高噪声、最高运动和最高旋转下从 0.925 降至 0.842，表现稳定。
4.6 Decoding and runtime experiment on real-world calcium imaging data：使用 MSN 预处理数据，静态与动态模式均以前 500 帧初始训练，动态模式每 500 帧更新，预测 501–9000 帧。动态模式总体预测准确率 0.649，高于静态模式 0.608。运行时间上，推理图 actor 总均值约 11.07 ms 与 11.17 ms；训练图中模型合成占主导，静态模式约 9.90 s，动态模式最大约 10.55 s、均值约 5.88 s、最小约 3.83 s，且合成与推理并行，避免直接推理延迟。
讨论与结论翻译：RNDC-Lab 是面向钙成像实时神经解码系统的软件框架。研究人员利用该框架开发了集成 NDSEP、NGSynth 和 NeuroGRS 的实时神经解码系统。NDSEP 作为前端 RNDAE 子系统完成神经元检测、运动校正和神经信号提取；NeuroGRS 作为模型准备子系统生成高效紧凑 DNN 模型；NGSynth 作为后端推理子系统。RNDC-Lab 提供接口、集成与优化框架，并支持动态模型更新。四个新数据集增强其实验能力。动态加载和并行数据流建模使系统能够高效集成组件并支持动态更新。实验证明模型更新能力及其解码性能与执行时间权衡。静态模式对 100 ms 帧处理约束的截止期错过率为 0.67%，动态模式为 19.19%。动态模式适用于底层神经数据分布显著变化且适应收益足以证明额外计算成本合理的环境；结果并非表明动态模式普遍优于静态模式，而是证明在实时神经解码系统中纳入模型适应的可行性并揭示权衡。未来工作包括改进动态模型更新的效率和选择性，检测概念漂移，并使用原始在体钙成像记录评估完整 RNDC-Lab 工作流。研究局限在于未与物理刺激或反馈硬件集成，且当前实验聚焦商品计算平台而非嵌入式部署；实验集中于一光子钙成像，未来将扩展至双光子钙成像验证。
