《Avian Research》：Beyond accuracy: AI-based bird behavior automated recognition toward ecological understanding
编辑推荐：
理解鸟类行为是鸟类生态学、保护生物学和进化生物学的基础。传感技术与人工智能（AI）的进步使得能够在前所未有的尺度上自动检测鸟类活动。然而，当前模型尽管在基准数据集上表现优异，却正面临一个关键局限：这些模型常常缺乏生态学可解释性，在不同领域间泛化能力差，并且未能
理解鸟类行为是鸟类生态学、保护生物学和进化生物学的基础。传感技术与人工智能（AI）的进步使得能够在前所未有的尺度上自动检测鸟类活动。然而，当前模型尽管在基准数据集上表现优异，却正面临一个关键局限：这些模型常常缺乏生态学可解释性，在不同领域间泛化能力差，并且未能充分捕捉行为固有的时间连续性和功能结构。本综述分析了2019年1月至2026年2月期间发表的79篇论文，这些论文通过谷歌学术使用“鸟类”和“行为识别”等关键词筛选获得，聚焦于使用AI进行鸟类特异性研究的文献。综述综合了自动化鸟类行为识别在视觉、声学和基于传感器的模态方面的最新进展，涵盖了从受控圈养系统（包括家禽）到复杂野生环境的广泛场景。研究人员系统地审视了数据集、计算框架和评估协议，重点关注行为检测与理解之间差距背后的三个关键挑战：（i）跨数据集和模态的行为标注不一致；（ii）跨领域的有限泛化能力，通常源于模型依赖数据集特定的相关性；（iii）当前评估指标与行为生态学本质之间的不匹配。研究人员认为，取得进展需要从以精度驱动的优化转向基于语义的多模态行为表征。将动物行为学知识融入数据集构建、模型设计和评估，对于构建能够进行情境推理和生态推断的行为智能系统至关重要。通过桥接AI与行为生态学，本综述勾勒出一条通往跨种群和生态系统尺度的、可扩展、可解释且具有生态学意义的鸟类行为分析路径。
主体内容总结
1. 引言
行为是有机体与其环境之间的主要接口，塑造着生态相互作用、进化和保护成果。在鸟类中，行为支配资源利用、捕食者规避、繁殖以及对环境变化的响应，并为更广泛的生态模式提供关键见解。传统基于直接观察和手动标注的方法虽具可解释性，但劳动和时间密集，限制了其在空间和时间维度上的可扩展性。近期传感技术（包括视频系统、音频记录器和可穿戴传感器）的发展，使得大规模行为数据收集成为可能。同时，人工智能（AI）的进步提供了从多模态数据中提取行为信息的工具，将行为生态学转变为一种可扩展的自动化范式。然而，在自动化行为检测与行为理解之间仍存在明显差距。当前方法通常旨在优化分类或检测性能，但这些指标并未捕捉行为的时间连续性、层级组织或生态相关性。更根本的是，该领域面临一个“意义鸿沟”：与计算机视觉中涉及将低级感官信号映射到标签的“语义鸿沟”不同，“意义鸿沟”关乎这些标签能否关联到生物学功能、生态背景和进化起源。换言之，当前的AI系统通常能有效识别动物在做什么，但在解释行为为何发生、其功能是什么或如何进化方面仍然薄弱。在Tinbergen框架内，现有方法主要在近因解释层面运作，而功能和进化层面的问题大多未得到解决。例如，一个视觉模型可能检测到展翅或啄食，一个声学模型可能从频谱-时间特征中分类出领地鸣叫或接触叫声，但这些输出很少能揭示该行为在特定生态背景下是否反映求偶、体温调节、攻击、配偶吸引、领地防御或警报信号。这一局限性因数据集特定的标注和碎片化的行为本体论而加剧。与以往孤立讨论算法或应用场景的综述不同，本综述首次以鸟类为中心进行综合，系统整合了数据集、感知模态、AI方法和生态学解释，突出了技术上挑战和新兴机遇。
2. 用于鸟类行为识别的数据集
2.1. 鸟类研究中的行为数据模态
鸟类行为包括迁徙、觅食、性展示和社会展示以及筑巢。基于AI的鸟类行为识别主要依赖于三种互补的数据模态：视觉、声学和基于可穿戴传感器的数据及其多模态组合。视觉数据通常来自视频系统，保留了与姿态、运动和互动相关的时空信息，提供最强的行为语义和环境背景，但受限于遮挡、光照变化和远距离观测。声学数据通过音频记录器捕获发声行为，可实现连续、非侵入式的大尺度监测，但缺乏姿态和社会背景信息。可穿戴传感器数据（加速度计、陀螺仪、GPS记录器）直接测量身体运动和运动动态，提供个体水平的活动节律和能量消耗信息，但行为语义和社会背景往往缺失。这些模态提供互补且部分重叠的视角，促使多模态框架的发展。
2.2. 圈养鸟类数据集
圈养鸟类数据集在标准化养殖条件或受控实验室/动物园环境中收集，构成鸟类行为识别研究的重要部分。可控的光照、固定相机配置和稳定的环境参数确保了数据采集的一致性和系统性行为标注。大多数圈养数据集依赖单一感知模态。基于视觉的系统广泛用于估计采食量、分类蛋鸡行为模式和检测异常行为。声学监测主要用于捕捉应激或求救叫声以评估福利。可穿戴传感器提供个体水平的连续运动数据，用于识别坐、站、进食、饮水、行走和理羽等基本行为。尽管应用导向的研究众多，但圈养鸟类行为研究很大程度上依赖内部收集的专有数据集，公开可用的大规模基准仍然有限。
2.3. 野生鸟类数据集
与圈养数据集不同，野生鸟类数据集在多样化的自然栖息地中获取，数据收集常涉及长距离观测、遥感系统和自主设备。基于视觉的野生数据集通常由相机陷阱、无人机、长焦相机或事件相机记录，涵盖湿地鸟类精细行为、巢穴行为和跨物种评估。声学数据集在野生环境中尤为重要，因为茂密植被或大空间尺度可能限制视觉观测，自主记录单元和动物携带麦克风被广泛用于收集发声数据以推断交配、领地、警报和社会行为。可穿戴传感器数据集进一步提供自然栖息地中的个体水平运动信息，记录活动模式和栖息地利用。近期工作开始结合多种数据源，例如同步音频-视频数据集和多传感器设备，显示出从单模态向多模态数据集的逐步转变。
2.4. 圈养与野生监测的趋同
尽管圈养和野生数据集在非常不同的条件下收集，但它们为行为研究提供了互补视角。圈养系统在受控稳定环境中开发，密集标注和标准化行为类别支持精细监督学习和方法开发。相比之下，野生数据集在异质性自然栖息地中收集，常受环境变异性、稀疏标注和多个体交互影响。这种趋同不仅是使用相似传感器，更是在圈养与野生研究之间建立反馈循环。圈养研究为精细模型提供受控训练数据，而野生研究提供评估鲁棒性的生态测试场。近期野生监测的进展（如多视角追踪、跨物种基准和大规模追踪基础设施）改善了在生态复杂条件下的行为研究，而圈养数据集仍对开发和测试精细识别方法有价值。
3. 自动化鸟类行为识别的计算框架
3.1. 视觉模态：揭示时空行为模式
视觉方法构成了自动化鸟类行为分析的支柱，从简单检测发展到复杂推理。本综述将方法分为六个功能范式。单帧目标检测提供最快推理速度，适合实时边缘部署，但缺乏时间背景使其易受遮挡和背景变化影响。姿态估计方法输出关键点坐标，实现精细运动学分析，但需要大量人工标注。时间序列模型显式学习行为动态，在性能与效率之间存在权衡，状态空间模型提供了有吸引力的效率-性能平衡。视觉-语言模型代表向零样本泛化的范式转变，解决标注瓶颈，但计算需求高。多目标追踪和三维重建解决群体中的个体身份和空间结构，但设置成本高。专门化传感方法在常规相机失效的挑战性场景中表现出色，但生态适用性窄。
3.2. 声学模态：解码声音通讯和隐藏行为
声学监测为鸟类行为分析提供了不可或缺的模态，特别是研究声音通讯、隐秘活动和视觉受限或夜间条件下的行为。被动声学监测已成为长期生态观测的关键基础设施。最直接的声学方法是基于事件的检测，模型识别对应特定行为的离散声学事件，但需要大量标注且难以处理多只个体的重叠叫声。基于状态的分类模型分析较长时间窗口内的声学信号以推断持续行为状态，产生生态上有意义的时问活动预算，但对环境噪声敏感且需场地特定训练。无监督声学发现提供无需预定义标签即可揭示行为模式的途径，优先考虑可扩展性和假设生成而非可解释性。
3.3. 可穿戴传感器模态：追踪运动动态和活动节律
可穿戴传感器提供连续的个体水平运动和能量消耗测量，特别适合研究视觉不可见或长时间展开的行为。最广泛采用的方法是基础运动学分类，将原始加速度信号分段并提取统计和频域特征，输入经典机器学习分类器，优点是简单和低计算成本，但难以处理复杂行为。当研究问题需要更高行为分辨率时，精细行为表型分析集成多传感器模态或利用深度学习，能区分细微行为，但需要更多计算资源和能源。时间与状态空间建模方法建模行为的序列结构，产生活动预算和行为状态占用等生态上有意义的输出，但需要更长的训练序列和更高计算资源。
3.4. 多模态集成：迈向鸟类行为的整体理解
鸟类行为通过姿态、发声和运动共同表达，单一模态方法不可避免地遇到歧义。最常见的视觉-音频融合方法结合视频的空间丰富性与音频的非视距覆盖，但对时间对齐高度敏感。音频-可穿戴融合正在成为连接发声行为与个体运动和生理背景的有力方法，解决了呼叫者身份识别这一持续挑战，但需要捕捉和标记动物。最全面但要求最高的三模态融合提供最丰富的行为描述，能够解决单模态无法识别的行为，但设置极其复杂且成本高昂。
