《Frontiers in Computational Neuroscience》：Integrating deep learning 3D tracking and biophysical EOD modeling for precise, noninvasive computational neuroethology in freely swimming weakly electric fish
编辑推荐：
记录自由游动的弱电鱼在自然行为和社会交互中的运动对神经行为学家构成持续挑战。大多数物种是夜行性的；因此，用于视频记录的照明常常破坏其自然行为。已有大量工作利用浅水缸、红外照明或间接运动推导来解决该问题。虽然通过鱼自身的电信号推断位置也已被探索，但在三维（3D）
记录自由游动的弱电鱼在自然行为和社会交互中的运动对神经行为学家构成持续挑战。大多数物种是夜行性的；因此，用于视频记录的照明常常破坏其自然行为。已有大量工作利用浅水缸、红外照明或间接运动推导来解决该问题。虽然通过鱼自身的电信号推断位置也已被探索，但在三维（3D）中仍是一个有前景但基本未解决的问题。研究人员引入了一种开源、多模态、数据驱动的方法，作为基于电信号进行三维追踪的第一步。该方法应用于脉冲型鱼种Gymnotus carapo，将三维姿态与自发电场动态联系起来。这项概念验证研究利用一个深水缸、外周电极阵列和多相机系统记录自由游动的动物。使用深度学习算法，研究人员从视频记录中重建三维骨骼轨迹，实现了每个坐标约0.8 mm的空间精度。随后，研究人员模拟了在追踪期间映射到骨骼结构上的三种电荷分布模型所产生的电势。通过将这些模拟与实验记录进行比较，研究人员评估了前向建模框架的一致性以及每个模型的相对性能。结果表明，与更简单的传统偶极子样模型相比，生物启发的非对称电荷分布能更好地再现实验观察。此外，研究人员开发了一个专用工具，用于精确、无创地研究沿电器官的电荷分布。该工具有助于评估将身体姿态与电信号产生联系起来的生物物理模型。这些发现表明，成对的电和空间数据集可能支持基于机器学习在黑暗深水环境中实现无视频三维追踪方法的发展。这些结果也可能有助于设计新型仿生电定位系统。展望未来，该方法可扩展到多只动物，并适用于其他脉冲型或波型电鱼，从而为在神经行为学研究中整合解剖学、运动、电感觉和电发生提供一个框架。
**论文解读：整合深度学习三维追踪与生物物理EOD建模用于自由游动弱电鱼的无创计算神经行为学**
**研究背景与问题**
弱电鱼（weakly electric fish）是神经行为学研究的典范模型，因为它们能够产生电器官放电（Electric Organ Discharge, EOD），形成振荡或脉冲电场，用于电定位、远距离通信、物种识别和觅食。然而，记录自由游动弱电鱼在自然行为和社会交互中的三维（3D）运动一直面临挑战：多数物种为夜行性，视频所需的照明会干扰自然行为；浅水缸、红外照明或间接运动推导等方法虽有一定进展，但高保真度的三维追踪，尤其是对脉冲型鱼种，仍是一个尚未充分解决的问题。此外，同步记录电信号与视频以实现无光环境下的追踪，对于理解神经活动与行为的耦合至关重要。
**研究内容与结论**
为解决上述问题，研究人员开发了一种开源、多模态、数据驱动的方法，首次尝试基于电信号进行三维追踪。以脉冲型弱电鱼Gymnotus carapo为模型，研究人员构建了深水缸、外周电极阵列和多相机系统，同步记录自由游动鱼类的视频与EOD信号。利用深度学习算法（DeepLabCut和Anipose）从视频中重建三维骨骼轨迹，空间精度约0.8 mm/坐标。随后，将三种电荷分布模型（对称偶极子SPSC、对称位置非对称电荷SPAC、生物启发的非对称位置与电荷ASYM）映射到骨骼结构上，模拟各电极处的电势，并与实验记录比较。结果表明，生物启发的非对称电荷分布模型（ASYM）能最好地再现实验观察，比传统对称偶极子模型更准确。研究还开发了专用工具用于无创研究电器官电荷分布。该工作为未来基于机器学习、无需视频的三维追踪方法奠定了基础，并可能为仿生电定位系统设计提供启示。论文发表在《Frontiers in Computational Neuroscience》。
**关键方法技术**
1. **实验系统**：采用深水缸（37×37×31 cm）、8电极三维阵列（不锈钢导线，直径0.2 mm）和三台USB摄像头（C270 HD，1280×960像素，30 fps），同步记录电信号（50 kHz采样）与视频。数据采集自一只16 cm长的Gymnotus carapo个体（样本来自巴西圣保罗当地渔民，共8只用于训练和校准，最终数据集来自单一个体）。
2. **深度学习三维追踪**：使用DeepLabCut（ResNet-50骨架，基于PyTorch后端）检测头部、躯干中点和尾尖三个关键点；训练集含2,375帧（95%训练，5%验证），经迭代主动学习精炼，过滤后RMSE为4.59像素（测试集）。利用Anipose进行三角化三维重建，结合ChArUcO标定（平均重投影误差0.75像素），施加几何体段约束和时域正则化（平滑参数6，中值滤波窗口7帧）。
3. **生物物理模拟**：采用准静电近似，通过库仑定律和镜像法（至三阶，共26个镜像电荷）计算虚拟水箱中电荷分布产生的电势。模型包括：SPSC（对称位置与对称电荷，±Q）、SPAC（对称位置非对称电荷，±Q3和±Q4独立）、ASYM（非对称位置与非对称电荷，前后电荷位置随波形变化）。电荷大小经拟合实验包络确定。
**研究结果**
**3.1 实验包络提取与鱼取向分析**
从电极阵列时间序列中提取每个脉冲的V3和V4峰值，构建包络（重采样至1/30 s以匹配视频帧率）。共检测3,545个脉冲，平均放电率50.6脉冲/秒。包络翻转与鱼相对于电极的朝向变化一致，证明电信号动态编码了鱼的位置和姿态。
**3.2 三维追踪及其与EOD包络动态的相关性**
基于视频的三维骨骼追踪（1,936帧，约64.5 s）显示头部、躯干中点和尾尖轨迹。手动验证确认81%的帧中关键点定位正确（排除因角落视觉伪影导致的错误帧）。点对点对应分析表明，局部幅度最大值、极性反转与运动学事件高度吻合，验证了电包络可反映鱼的空间轨迹与朝向。
**3.3 包络模拟与电荷分布模型比较**
对三种模型进行包络模拟，并拟合电荷大小。SPSC模型无法再现实验中的V3-V4幅度不对称性；SPAC模型可通过独立调整Q3和Q4（相差约40%）部分改善，但所得不对称度（-40.5%）远超实验值（-21%）；ASYM模型在保持Q3和Q4几乎相等（ΔQ<5%）的情况下，得到不对称度-19.3%，最优地拟合了实验数据，并能捕捉到低幅度下的极性反转序列。
**3.4 模型脉冲不对称性**
在静态虚拟鱼上模拟经典头-尾脉冲，SPSC模型不对称度为零，SPAC模型为-40.5%，ASYM模型为-19.3%，最接近实验的-21%。
**3.5 结果比较分析**
基于所有有效帧的统计（SSE、SAE、Q-Q图平均模型失配），模型性能随结构真实性增加而提升：ASYM模型最优，SPAC次之，SPSC最差。但ASYM在电极Y上出现系统性偏差，提示电荷位置存在待优化空间。
**3.6 从包络失配分析到电荷分布精炼**
通过逐帧检查电极Y的ASYM模拟与实验包络，发现于t≈6.7 s附近出现趋势反相（模拟幅度增加而实验减小）。结合鱼图像与追踪骨架，分析指出ASYM模型中将V3正电荷置于头部-躯干中点段1/3处过于尾向，导致距离电极Y变化错误。若将正电荷向吻侧移动约5 mm（约段长1/10），则可纠正此偏差并消除极性反转延迟。这为后续采用圆弧形骨架替代线性段、精确优化电荷坐标提供了诊断方法。
**讨论与结论**
研究同时获取视频与电生理记录是神经行为学中关联神经动态与行为的关键，但实施困难且常具侵入性。所提方法提供了开源、易实现的解决方案，结合多电极阵列、同步多相机视频、深度学习追踪及基于追踪的电势模拟。尽管使用商用USB摄像头，仍能达到高时间分辨率（30 fps）并支持闭环刺激。非线性放大器确保无信号饱和，总噪声约1 mV。手动验证显示追踪精度0.8 mm/坐标，81%帧正确。模拟结果表明，生物启发的非对称电荷分布（ASYM）优于对称偶极子模型，且非对称空间分布（而非电荷大小差异）是解释实验不对称性的关键。该工作验证了整合空间与电数据集的方法，为未来基于机器学习的无视频三维追踪奠定了基础，并可扩展至多动物及多种电鱼。此外，该方法可非侵入性研究电器官内部结构，并支持迭代精炼模型。结论指出，同步视频与电记录工具对于理解电鱼在黑暗浑浊环境中的神经行为机制至关重要，所获集成数据集是训练精确无视频三维追踪方法的第一步。
