头戴式4π全向相机系统实现自由飞行哈里斯鹰在自然环境中位置与朝向的三维同步追踪及空中行为量化

《Nature Methods》：Head-mounted camera for reconstructing outdoor behavior in freely flying birds

　　

在自然环境中捕捉动物执行复杂任务（如猎物追捕与捕获）时的行为精细细节，是一项极具挑战性的工作。对于猛禽而言，常用的追踪方法（如轻量级全球定位系统（Global Positioning System，GPS）与惯性测量单元（Inertial Measurement Unit，IMU））无法同时追踪鸟类的位置以及身体部位运动或运动外部物体的细节。研究人员设计了一种头戴式、无束缚的4π（4π球面度）相机系统，该系统与高分辨率环境扫描相结合，实现了对自由飞行的哈里斯鹰（Harris's hawk，Parabuteo unicinctus）在野外进行空中追捕时的头部位置与朝向的详尽三维测量。这一稳定的头戴式成像方法能够在自然环境中重建飞行轨迹，并对头部运动、光流（optic flow）与目标位置进行精细量化，刻画鸟类在追踪并捕获空中目标过程中的动态行为。

【研究背景与问题】在自然环境中捕捉动物执行复杂任务（如猎物追捕与捕获）时的行为精细细节，是动物行为学研究领域长期面临的难题。过去十年发展的多种高分辨率动物追踪方法，大多依赖实验室环境中同步布设的高速、高分辨率相机阵列；此类方法虽能记录动物自由行为并重建视觉场景，却限制了环境的复杂性与空间尺度，导致动物行为谱系被简化，而自然环境的巨大空间范围也使需要重叠视场的成像式三维重建难以实施。基于全球导航卫星系统（GNSS，通过卫星星座解算位置与时间信息的导航系统）的追踪方法可将动物轨迹与已数字化的地形图关联，但对体重载荷能力有限的动物，其空间精度仅在米级；后处理运动学（post-processing kinematics，利用事后差分技术提升卫星定位精度的方法）虽可实现高精度定位，却仍无法测量头部朝向，且高增益天线要求无遮挡的信号接收环境，对小型或轻量动物而言过于笨重。上述局限共同制约了对动物与环境特征、猎物或同类等目标之间交互作用的测量。

【研究内容、结论与意义】为突破上述限制，研究人员设计了一种头戴式、无束缚的4π（4π球面度）相机系统，结合高分辨率环境扫描，对野外自由飞行的哈里斯鹰（Parabuteo unicinctus）执行空中追捕任务时的头部位置与朝向进行了详尽的三维测量，实现了自然环境中飞行轨迹重建与头部运动、光流（optic flow，运动引起的视觉图像运动模式）及目标位置的精细量化。该成果发表于《Nature Methods》，为复杂自然环境中动物行为、感知与交互研究提供了全新技术路径。

【关键技术方法】研究人员以定制210°等距鱼眼镜头组与双图像传感器构建6 g全向相机（单镜头视场210°，受传感器限制工作于190°至210°，两台相机以60 Hz、1,920×1,080 px²分辨率录制并合成360°全景），搭载100 Hz惯性测量单元（IMU，Xsens MTi-1，集成三轴加速度计、陀螺仪与磁力计）；位置数据经卡尔曼滤波（Kalman filter，融合多源观测以抑制噪声的递推估计算法）整合IMU加速度与三角测量（triangulation，依据多条视线方向交汇解算三维坐标的方法）结果以降低噪声；相机标定采用ChArUco标定板与自研软件完成，环境三维模型由无人机摄影测量（photogrammetry，利用航空影像重建地表三维模型的技术）扫描获取，位置与朝向采用“地标方向角最小化初始化＋重投影误差最小化”的两步法解算。样本队列包括1只在1 m×1 m arena内自由探索的Lister Hooded大鼠，以及2只在约11,000 m²、四周环树的草坡场地内接受训练的哈里斯鹰。

【研究结果】

头戴式4π相机系统。镜头采用等距设计以最小化视场内像素分辨率的变化，标定后整个视场内的重投影误差较低，双相机图像可拼接为完整全向视场；含磁吸附头戴部件与22.5 g背包电池的整机质量为40.5 g，约为鹰平均体重（865 g与922 g）的5%。

4π系统实现头部位置与朝向的精确追踪。在1 m×1 m的室内arena中，该系统与六台外部相机同步追踪自由活动大鼠：头部位置与朝向估计的平均绝对差异分别为4.1 mm（中位数3.6 mm）与1.1°（中位数1.0°），表明仅凭4π相机即可同时精确估计位置与旋转。

无束缚设计实现对自由飞行哈里斯鹰的行为量化。研究者扫描约11,000 m²草地环境（静止空气中厂商标称水平精度1 cm、垂直精度3 cm）生成三维模型，提取栖木、地面标记与树顶共26个地标进行轨迹推断，并与机载地面标定相机比较：八次飞行共5,318个采样点，轨迹平均绝对差异为22.9 cm，经卡尔曼滤波整合IMU数据后降至20.4 cm，误差降低58%。由于4π视场使地标在动物任意姿态下大概率可见，地标丢失率仅为2%，远低于仅依赖前向相机的16%，相当于将检测地标的有效视场翻倍；移除三个及以上地标会显著增加追踪误差。

4π系统实现周围物体追踪与行为量化。对于地面目标，将相机视线向量与环境扫描网格求交即可恢复其位置（移除栖木重建位置的平均绝对误差为21.0 cm），且在较远距离与较高角速度范围内保持稳定；对于空中抛射目标，则假设计入空气阻力、不计风力的弹道模型，由追逐阶段的多个帧推断初始位置、初速度与阻力参数以重建轨迹，与外部多相机追踪相比平均误差为34 cm。视频分析还显示：追捕阶段头部运动保持连续，捕获后转为阶梯式头部扫视（head saccade，快速的跳跃式头部转动），扫视角速度标准差在捕获后显著升高（73.62°/s对32.53°/s，Brown–Forsythe检验P=1.58×10^?13）；扫视幅度与峰值角速度呈强线性关系（R²=0.97，P=1.89×10^?28），每次转向由可变数量的扫视序列组成，其总体效应是将静止目标逐步移近身体正前方。

【讨论与结论】在讨论部分，研究人员指出，该无束缚头戴式行为成像系统无需布设外部追踪相机，即可在户外环境中测量动物的导航行为与精细行为结构，并支持对地面及空中活动动物在自然环境中与目标交互作用的研究；但可靠的场景整体映射仍需来自多个角度的环境影像，不能完全依赖动物自身的飞行轨迹。研究结论部分表明：自由飞行的猛禽在飞行过程中，以平滑的头部轨迹使空中目标始终保持在头部正前方，直至完成目标捕获；捕获之后则引发一系列头部扫视，以实现向下一栖木目标的转向。该研究将头戴式4π成像、复杂环境重建与高分辨率行为重建相结合，为在复杂自然环境中研究动物行为、感知与导航开辟了新的途径。