开发并评估一种用于量化儿童微活动的计算机视觉算法

本研究开发了计算机视觉模型量化幼儿手与口、物体与口接触行为，通过追踪3D关键点计算手嘴距离，当距离低于阈值时记录接触事件。在25名6-18月龄儿童家庭视频数据验证下，模型对接触事件的识别准确率达96-99%，且发现物体到口接触频率（27次/小时）显著高于手到口接触（3次/小时）。

　　

摘要

背景

估计微动作（例如，手与物体接触以及手与口接触的频率）对于模拟儿童的环境暴露情况至关重要，但由于需要手动从预先录制的视频中标记这些行为，因此这项工作在时间和人力成本上颇具挑战性。

目标

我们的目标是开发并评估一种计算机视觉模型，以量化幼儿的微动作。

方法

该视觉模型是通过使用四台Go-Pro相机同时拍摄的视频片段进行训练和验证的。这些视频记录了25名6至18个月大的儿童在马里兰州巴尔的摩市家中玩耍的场景。我们利用计算机视觉技术，通过识别和追踪3D关键点（如儿童的眼睛、手、手腕、肘部等的位置）来评估儿童的姿势。我们还实现了自动测量功能，以追踪每个视频帧中儿童手与口之间的距离。当距离达到预设的最低阈值时，模型会记录一次“接触事件”。我们将该模型识别的三种微动作（左手与口、右手与口以及物体与口接触）的事件时间和数量与人工行为编码的结果进行了比较。

结果

我们的方法能够准确识别儿童的微动作。检测到的接触事件的时间和数量在第二层统计上具有很高的准确性（96–99%），计数误差极小（每段视频的误差小于0.04–2.18次）。我们观察到物体与口的接触频率高于手与口的接触频率（平均接触次数分别为27次/小时和3次/小时）。

影响

• 本研究开发并评估了一种计算机视觉方法，能够从收集到的视频中准确识别和量化幼儿的手与口及物体与口的接触情况，大大降低了生成土壤和灰尘暴露模型所需微动作数据的成本和负担。