《Current Opinion in Neurobiology》:The behavior biopsy: Interpreting animal behavior as embodied, situated, and hierarchical
编辑推荐:
这篇综述创新性地提出“行为活体检测”概念,倡导整合AI、计算机视觉和物理引擎等前沿技术,超越传统固定分类的范式,对具身、情境化和层次化的动物行为进行多维度、定量化评估,从而深刻理解行为背后的结构及其神经机制,为神经科学与行为学研究开启了新路径。
理解动物行为需要超越单一、标准化的行为学范式,走向更全面的评估。本文提出,行为源于三个基本原则:具身性、情境性和层次性。尽管这一观点早已有之,但近期在物理引擎、计算机视觉和多模态语言模型等领域的突破,使得对这些方面的定量测量成为可能,从而推动了“行为活体检测”这一多维、细致评估框架的发展。
具身性
身体既是行为的赋能者,也是其约束。例如,鸟类的翅膀结构使其能够飞翔,却也限制了精细操作能力。同样,人类的两足行走解放了双手,却约束了四足奔跑的能力。这些结构约束通过特定的生物力学机制起作用。实际行为通常被限制在低维子空间内,由协同作用所定义。物理引擎(如MuJoCo、OpenSim、MyoSuite)的进步,特别是具有可微分物理和大规模并行处理能力的新版本,使得在仿真中模仿动物行为、构建能再现特定行为的脑模型成为可能。这些工具为探究行为如何产生及其生物力学基础提供了前所未有的计算平台。
情境性
情境同样既赋能也约束行为,它直接决定了可以执行的任务。即使是实验室环境中微小的饲养条件变化,也能显著改变动物的行为表型和应激反应。要理解行为为何在特定情境下产生,需要捕捉动物行为展开的完整环境背景。计算机视觉工具(如运动恢复结构、图像分割、姿态估计、Segment Anything Model)的发展,使得重建环境(如珊瑚礁、稀树草原)和量化动物与环境间的互动成为可能。这为在实验室内外研究动物-环境交互作用提供了强大手段。
迈向多模态语言模型
传统的深度学习系统将输入(如视频、姿态、音频)分类到预定的、缺乏语义的行为类别中。相比之下,多模态语言模型能够利用自然语言的灵活性来描述世界。例如,CLIP等视觉语言模型经过训练,可以将图像与对应描述对齐,从而识别训练中从未见过的概念。这类模型能够整合视频、姿态、音频和环境背景等多种模态,为更全面的行为理解提供了有希望的路径。它们不仅能识别特定行为,还能回答关于视频的详细问题,这对研究动物行为的神经科学家极具价值。
层次化行为理解
行为本质上是层次化的,由空间和时间上嵌套的子程序构建而成。遵循Anderson和Perona的框架,我们可以将行为划分为三个层级:顶层是活动,即满足动机需求的广泛行为类别(如觅食、逃跑、交配);中层是动作,代表特定的行为模式(如嗅探、咀嚼、追逐);底层是行为的运动基元,代表无法进一步分解的基本动作(如单一步伐或肢体伸展)。我们认为,具身性对较低层级的行为影响更大,而情境性对较高层级的影响更强。例如,环境可能因为有猎物而提供觅食机会,但狩猎序列如何分解为运动基元,则关键取决于动物的身体结构。利用对比学习或生成式方法,可以从姿态轨迹中进行层次化的无监督分析,但构建能够识别这些不同层次的系统,仍需结合多种计算机视觉工具来重建环境与动物。
迈向易于使用的系统
行为分析流程正日益结合多种工具。一个新兴研究方向是探索智能体系统,它能在执行用户定义的任务时使用这些工具。例如,AmadeusGPT结合了语言模型的推理能力与姿态估计、SAM、空间推理等专业工具,来编写代码以回答特定的分析问题。这类系统可以灵活整合多种模态,同时为用户屏蔽技术复杂性。更重要的是,如果系统输出代码,用户还可以验证所创建的解决方案。除了视频分析,语言模型驱动的搜索程序还能自主生成和评估来自人类与动物行为的符号认知模型,展示了智能体范式如何更广泛地支持行为科学发现。
结论
人工智能,特别是多模态语言模型、强化学习以及物理引擎的进步,使我们能够以新的活力重新审视具身的、情境化的行为,并在研究大脑如何产生行为时重新思考我们的概念框架。整合日益增多的模态涉及巨大的计算和内存成本,一个关键的研究方向将是找到有效整合多数据流的方法。我们相信,新兴工具将进一步增强我们在自然环境中研究行为的能力,并使我们更接近定量测量完整动物“全部运动”的目标。这些对大规模行为的定量见解也将有助于逆向工程其背后的神经回路。尽管这仍然是一个重大的开放挑战,但数字孪生技术将是开展这项工作的关键工具。