ManuTrace：一种基于HTML的、用于从视频中手动提取运动轨迹数据的界面

《Ecology and Evolution》：ManuTrace: An HTML-Based Interface for Manually Extracting Movement Trajectory Data From a Video

　　

追踪动物运动为理解行为策略与生态适应提供了基础洞察。近期自动视频分析的发展使得从录像中提取运动轨迹成为可能。然而，有效的自动追踪通常要求对录制环境进行精细调整以及对软件参数进行迭代调优，这在获得可分析数据前会耗费大量用户在熟练度与试错流程上的成本。在对试点或机会性录制的视频进行探索性分析时，快速从有限数量的视频中提取轨迹往往比通量更重要，使得此类设置成本成为实际障碍。在此，研究人员介绍了ManuTrace，一个基于HTML的、用于从视频中手动提取轨迹数据的界面。在该工具中，用户交互式地播放、暂停和拖拽视频，并通过鼠标点击记录目标位置，中间帧的位置通过自动插值（interpolation）补全，所得轨迹以CSV文件导出以供下游分析。作为演示，研究人员从自然条件下与追踪优化条件下录制的白蚁（termite）群体视频中提取了轨迹。自动化工具显示出高度依赖于录制条件与个体行为的追踪精度，在不利条件下往往需要大量人工修正。相比之下，ManuTrace在不同录制条件下均能稳定提取轨迹，在20分钟内处理完一段1800帧、含12个个体的视频（总计21,600个坐标）。该软件由一个单HTML文件构成，可在任意现代网页浏览器中运行且无需安装，适用于多种环境。凭借其简洁性与可移植性，ManuTrace可作为自动追踪工具的补充，既是轨迹分析的入门入口，也可用于教学目的。

论文解读：《ManuTrace》在《Ecology and Evolution》中的研究贡献

一、研究背景与问题提出

在行为生态学与相关领域中，从视频录像中提取和分析运动轨迹已成为标准且强有力的方法。动物（尤其是社会性或群居物种）的移动轨迹反映了其资源搜索、威胁规避及环境探索策略，多一个体的轨迹还能揭示相互作用、协调与集体组织模式。近年来，基于机器学习和计算机视觉的自动视频追踪工具快速发展，如DeepLabCut、SLEAP、idTracker.ai、UMA Tracker、FlyTracker及TRex等，实现了大规模、高分辨率的轨迹提取，适合高通量或长期监测研究。

然而，自动追踪工具的采用面临与数据分析本身不同的挑战，尤其在探索性研究背景下。要实现可靠性能，通常需要大量前期投入：理解特定工具的工作流、配置计算环境、优化照明/背景/相机设置等录制条件以满足算法要求（常超出人眼可辨范围）。此外，追踪性能受录制条件、目标物种和分析目标影响很大，工具选择高度依赖具体情境，往往需实践评估后才能确定。因此，用户常陷入参数调优、模型选择和事后修正的迭代试错循环，有时需交叉尝试多个工具才能获得可分析数据。虽然这对大数据集或重复实验是值得的，但对于试点研究、探索性分析或机会性录制的视频而言，首要目标是快速判断某实验设置能否产生有生物学意义的行为模式，此时高昂的技术优化成本反而成为障碍。

生物研究本质上依赖“观察—设计—解释—假设修正”的反馈环。当自动追踪作为轨迹分析的唯一入口时，由软件需求和录制约束驱动的技术优化，可能延迟由行为解释驱动的生物评估反馈。如图1概念所示，技术优化与生物评估形成两个独立反馈环。在探索性研究中，快速迭代生物反馈环往往比最大化数据通量更重要，而自动流水线因需长期技术优化，可能推迟完善实验设计所需的生物学洞察。

手动追踪常作为此类情境下的后备方案，但现有软件也有局限。通用平台（如ImageJ）或自定义脚本常需用户在帧导航、坐标测量和数据管理间切换，工作流碎片化且认知负担重；许多工具并非为连续轨迹重建设计，难以生成平滑、可复现的运动表达；部分基于浏览器的标注平台依赖浏览器—服务器架构或服务器端处理，可能受上传速度和服务器负载影响，并对用户视频数据的处理带来实际顾虑；专用桌面应用常需安装或系统特定设置，在教育场景或异构计算环境中限制可及性。因此，尽管概念简单，手动追踪长期缺乏一个兼顾直观操作、快速反馈和可复现数据输出的专用平台。

为此，研究人员开发了ManuTrace，一个交互式、基于HTML的应用，用于从视频中手动提取轨迹数据。用户可在播放、暂停和拖拽中通过鼠标点击记录目标位置，中间帧位置通过自动插值重建连续轨迹。该软件为单HTML文件，无需安装、无外部依赖、无互联网连接，可在任意现代浏览器运行。以可及性、可移植性和直观操作为设计原则，ManuTrace支持在广泛录制条件下快速提取轨迹。

二、主要关键技术方法

研究人员以两白蚁物种（Hodotermopsis sjostedti和Zootermopsis nevadensis）的群体内个体间相互作用为对象开展示范。视频来源包括：（1）自然条件下（接近日常实验室饲养，未针对自动追踪优化，智能手机录制）；（2）追踪优化条件下（统一背景如黑墨水滤纸、Raspberry Pi相机录制）。此外，为获得基准真值（ground truth），研究人员用Python自定义脚本生成合成视频：模拟12个智能体在二维空间的相关随机游走（correlated random walk），背景采用分形噪声（静态/动态时变），智能体渲染为圆形标记，真实轨迹导出为CSV。

轨迹提取对比：手动工具为ManuTrace（基线采样间隔0.2 s，可按速度调整，最大1.0 s，中间帧三次样条插值）；自动工具选取idTracker.ai（6.0.9）、UMA Tracker（Release-15）、TRex（v2.0.0），参数按各工具文档与视觉检查调整（如ROI、背景减除、颜色滤波、二值化、形态学闭运算、最大速度、尺寸滤波等），自动工具输出不插值，缺失记为NA。

实证视频无基准真值，以追踪错误（漏检、身份交换）评估；合成视频以最近邻欧氏距离衡量检测误差。白蚁运动活性以总移动距离量化，用线性混合效应模型（固定效应：物种、录制条件；随机效应：视频编号）分析。

三、研究结果

5.1 基于实证视频的跨工具追踪结果比较

研究人员比较了ManuTrace与三种自动工具在自然条件和追踪优化条件下的结果。自动工具追踪性能（以错误频次而非相对基准真值的位置精度评估）受录制条件影响显著。idTracker.ai在自然条件下报告错误项158–857（均值346.5），优化条件下134–356（均值213.0），对应约4小时与2小时人工修正时间。UMA Tracker受背景异质性与培养皿表面光源反射影响，自然条件下常将非动物区域误识为个体，每人约需30分钟修正。TRex的背景减除降低背景复杂度影响，但相同参数应用于同条件不同视频时性能波动大，仍需额外调参。

个体行为特征也影响性能。两白蚁物种内个体运动活性差异大；TRex在两条件下均易漏检低活性个体（与官方文档一致）。昆虫聚集（社会昆虫常见）引发身份交换与轮廓检测失败，降低表观追踪个体数，即便在优化条件下仍存在，限制无人工修正的自动追踪可用性。

相比之下，ManuTrace仅要求物体在视频中视觉可辨，在不同录制条件下性能稳定。自然与优化条件下，从1分钟视频（1800帧）提取12个个体轨迹至多需20分钟，显著短于测试条件下自动工具所需的人工修正时间。

5.2 不同录制条件下白蚁运动活性的比较

自然录制条件下，两物种多数个体聚集且移动有限；追踪优化条件下观测到更高运动活性（图4a）。基于ManuTrace轨迹，研究人员量化了每个体在两种物种、两种条件、每条件3段视频、每段12个体下的运动活性（图4b）。线性混合效应模型显示：录制条件对总移动距离有显著主效应（χ2=8.48, df=1, p=0.00359）；物种与录制条件的交互作用也显著（χ2=9.51, df=1, p=0.00205），表明不同物种对录制环境的运动响应不同。

5.3 基于合成视频与基准真值的比较

各方法追踪精度在方法和背景条件间差异明显（图5）。自动工具在正确检测点上位置偏差通常小，说明检测成功时可高精度；但所有自动工具都偶发大偏差，对应错误检测或匹配失误。UMA Tracker误差模式独特：因强制返回预设数量检测，在难以可靠分割时也会给出检测，导致困难条件下频繁大位置误差。

背景条件强烈影响性能。特别是在时变噪声下，所有自动方法的大偏差频率和缺失检测数均明显上升，说明时变背景结构显著降低自动流水线稳定性。

相反，ManuTrace所得轨迹在各条件下均稳定，位置偏差保持在较窄范围，体现手动追踪对视觉噪声和时变背景的稳健性。

不过，即便在自动方法表现较好的条件下，ManuTrace也表现出系统性更大的位置偏差，可达约10像素。这是因为ManuTrace并非每帧记录，而是对手动标注帧间做三次样条插值；插值误差在无检测失败时引入一基线位置偏差。

四、讨论与结论翻译总结

通过多工具比较，本研究强调不同追踪方法在录制条件和行为情境中存在明显权衡。自动工具根据背景属性和目标生物行为特征各有优势，高效数据获取需仔细匹配录制条件与追踪算法。与合成基准真值对比揭示两类方法的误差结构差异：自动方法在检测成功时位置误差低，但易突发大偏差与缺失；ManuTrace引入较为一致的插值相关偏差，但避免灾难性追踪失败。由于仅要求个体在视频帧中视觉可辨，ManuTrace可在多样录制条件下稳定、可预测地提取轨迹。

跨录制环境的白蚁行为比较进一步显示，仅为满足追踪算法技术要求而优化的录制条件，可能给行为测量带来非预期偏差。ManuTrace在对比鲜明的录制环境下提供一致数据质量，因而可用来评估和验证录制条件自身的行为效应。本研究中，优化视频的白蚁足够可检测，常规计算机视觉工具在有利条件下能恢复轨迹；但许多具生物学相关性的场景——尤指野外——以异质复杂背景、遮挡和变化光照为特征，除非大量模型训练或工作流优化，否则自动追踪可靠性下降。在此类情境中，ManuTrace可在不大幅改变实验环境的前提下促进轨迹提取。

尽管自动工具可能通过大量参数调优和事后修正提升性能，但优化本身耗时。当可用视频数量有限时，反复调参与人工修正的时间可能超过自动化节省的时间。在探索性研究、试点实验或机会性视频分析中，ManuTrace的广泛适用性和最小设置需求提供实用优势，尽管通量低于全自动方法。此外，ManuTrace可用于精炼和整合自动工具生成的轨迹片段（tracklets）。因为身份追踪常在遮挡或频繁交互下失败，通过分割、合并和重新分配轨迹段，可实用地修正碎片轨道并提升整体一致性。

软件采用相关的实际考量进一步凸显差异。本文比较假设自动工具已妥善安装配置；实践中，部署多个追踪工具的初始设置和排障可能是实质障碍，当需评估多个工具以选定合适工作流时更甚。部分自动工具需高性能计算资源（大内存或专用GPU），也可能限制可及性。相比之下，ManuTrace仅需标准浏览器与基本视频播放硬件，无需安装或互联网，极低技术门槛降低了初期数据探索和试用分析壁垒。

ManuTrace对离散时间点位置采用三次样条插值重建连续轨迹，是常用方法，但——如所有插值——必然对未观测运动施加假设，在快速或高度不连续运动中可能不成立（Long 2016; Tremblay et al. 2006）。不过，与合成数据基准真值比较显示，本研究中插值偏差较小且稳定，测试条件下约10像素内。该误差反映插值不确定性而非检测失败，应与自动追踪输出中的突发大偏差区别解释。此外，必要时用户可对全部帧标注，例如通过固定间隔子采样完全标注轨迹、应用三次样条插值并将重建轨迹与原数据定量比较，以评估采样间隔影响。重要的是，插值适用性取决于下游分析：总轨迹长度等粗粒度指标可能较稳健，而瞬时速度或转向频率等高频敏感量可能受影响（Codling and Hill 2005; Rosser et al. 2013）。当插值假设被违反时，样条函数应主要视为轨迹构建的可视化辅助，而非定量估计的唯一来源。

更一般地，ManuTrace的优势需与其局限一并考虑。由于非全自动化，标注长视频或多人个体数据集耗时，软件并非取代高通量自动追踪流水线。手动标注还可能引入观测者相关变异；但可通过预定义寻帧步长在固定时间间隔记录位置来部分标准化时间分辨率，在需要时定量控制时间采样。此外，ManuTrace限于基于图像平面的二维追踪，不捕获深度或三维姿态，适用于平面运动模式分析。

综合而言，研究结果将ManuTrace定位为自动追踪工具的补充而非替代，优化用于探索性与小规模分析。通过最小化设置成本与技术壁垒，ManuTrace实现视频录制、轨迹提取与生物学解释间的快速反馈。这种加速反馈在实验设计早期、录制条件与分析目标仍在打磨阶段尤为宝贵。结合自动方法，ManuTrace为轨迹分析提供了灵活、可及的入口，在保留反映自然生物背景的实验条件的同时，支持稳健的行为推断。