Nature Methods未来科技：3D深层神经网络可精确重建自由行为

研究人员揭示了对行为自由的动物进行三维跟踪的下一步

　　

动物不断响应大脑的指令而运动。目前，尽管有先进的技术可以根据神经活动来测量这些指令，但是却缺乏用于量化自由移动动物自身行为的技术。这种无法测量大脑关键输出的能力限制了我们对神经系统及其在疾病中的变化的理解。

杜克大学和哈佛大学研究人员的一项新研究引入了一种自动化工具，该工具可以轻松捕获行为自由的动物的行为，并通过单个摄像机精确地重建其三维（3D）姿态，而无需标记。

这一重要成果公布在Nature Methods杂志上。

在最新这篇论文中，杜克大学Timothy W. Dunn和哈佛大学Jesse D.Marshall描述了一种新的3D深层神经网络：DANNCE（33-Dimensional Aligned Neural Network for Computational Ethology）。

该研究是继该团队于2020年在Neuron中发布的突破性的行为监控系统CAPTURE（Continuous Appendicular and Postural Tracking using Retroreflector Embedding）后，又一重要的成果。CAPTURE使用运动捕捉和深度学习来连续跟踪自由行为动物的3D运动。捕捉对动物的行为产生了前所未有的详细描述。但是，它需要使用专门的硬件并将标记物附加到动物上，这给使用带来了挑战。

Dunn说：“有了DANNCE，我们可以减轻这一要求。DANNCE即使在看不见身体的情况下也可以学会跟踪，这增加了可以使用该技术的环境的类型。我们需要这种不变性和灵活性来测量自然环境中的运动，从而更有可能重建这些动物的复杂行为。”

DANNCE可以在广泛的物种中工作，并且可以在实验室和环境中重现，从而确保其对动物乃至人类的行为研究都具有广泛的影响。它具有专门的神经网络，专门用于从视频进行3D姿势跟踪。一个关键方面是其3D特征空间以物理单位而不是相机像素为单位。这使该工具可以更容易地在不同的相机布置和实验室之间进行归纳。相反，以前的3D姿态跟踪方法使用的是经过量身定制的二维（2D）姿态检测神经网络，该网络难以适应新的3D视点。

Marshall说：“我们将DANNCE与旨在执行类似任务的其他网络进行了比较，发现DANNCE的性能优于它们。”

（生物通：万纹）

原文标题：

Timothy W. Dunn, Jesse D. Marshall, Kyle S. Severson, Diego E. Aldarondo, David G.C. Hildebrand, Selmaan N. Chettih, William L. Wang, Amanda J. Gellis, David E. Carlson, Dmitriy Aronov, Winrich A. Freiwald, Fan Wang, Bence P. Ölveczky. 2021. Geometric deep learning enables 3D kinematic profiling across species and environments. Nature Methods. DOI: 10.1038/s41592-021-01106-6