天花板视角手势识别中的域差异研究：基于CeilGest数据集的迁移评估与边缘部署实践

《Sensors》：Quantifying the Frontal-to-Ceiling Domain Gap for YOLO-Based Hand Gesture Recognition in Smart Homes

　　

摘要

基于视觉的手势识别（HGR）系统主要面向正面摄像头视角开发，而智能家居摄像头通常安装在天花板上，从而造成视角引起的域差异。为了研究这一问题，我们收集并手动标注了 CeilGest，这是一个包含 68 名参与者在不同家庭环境中记录的 156,282 帧标注画面的 18 类天花板视角手势数据集。随后，我们使用在 HaGRID 上训练的基于 YOLO 的检测器系统地评估了从正面到天花板的迁移能力，并将其性能与域内 CeilGest 训练模型进行了比较。在相同的天花板视角视频上，正面训练的 YOLOv8n 产生的类别间误分类帧数约为域内模型的 24 倍（在 27,000 帧中分别为 486 和 20）；即使考虑到手势保持过程中的时间依赖性，这一巨大的配对差异依然显著。该影响强烈依赖于类别，受影响最严重的手势的平均精度（AP）下降了多达 5.5 个百分点，而同架构下的总 mAP50 差异为 0.6 个百分点。在正面 HaGRID 上评估的五个 YOLOv8 变体中，mAP50 保持在 0.995，支持选择轻量级的 YOLOv8n 用于边缘部署。完整的天花板视角 HGR 流程使用 NCNN 在 Raspberry Pi 5 上实现，并使用 TensorRT 在 Jetson Orin Nano 上实现。平均推理延迟分别为 74.69 ± 4.72 毫秒和 12.72 ± 0.12 毫秒。在 10 分钟的连续 Raspberry Pi 5 测试中，平均推理延迟增加了 17.6%，结温达到 90.8 ℃ 并出现热节流现象。未评估功耗和 INT8 推理。总体而言，结果表明训练 - 部署视角一致性是天花板安装 HGR 的重要考虑因素，并建立了一个相对于仅正面训练且无域适应的域内监督基准。