一个多模态视觉数据集，用于新生儿重症监护病房（NICU）中护理行为的识别与质量评估

《Scientific Data》：A multimodal vision dataset for nursing action recognition and quality assessment in NICU

　　

摘要

本文介绍了“多模态视觉下的护理行为（NAMV）”数据集，这是一个大规模的多模态同步记录集合，涵盖了模拟新生儿重症监护室（NICU）中的护理流程。该数据集特别关注床边护理过程中的手部操作，旨在支持与工作流程识别和流程质量评估相关的临床研究。根据既定的临床协议，七项高频护理流程被系统地分解为19个子动作，每个子动作都标注了从准备、执行到完成阶段的时间边界。数据采集使用了Orbbec Femto Bolt RGB-D传感器，该传感器集成了RGB相机、深度相机和主动红外照明功能；同时还提供了相应的每帧3D点云数据。值得注意的是，该数据集包含了RGB图像、深度图、红外图像和3D点云。据我们所知，NAMV是首个针对NICU护理流程的多模态数据集，它在子动作和事件层面都整合了多种传感模式以及专家标注的质量评级。这一资源为多模态行为识别、时间分割和技能熟练度建模研究提供了宝贵的基础，重点关注NICU中护士的标准操作行为。其直接应用包括护理操作质量评估、技能熟练度建模以及基于模拟的培训，同时也有潜力支持未来关于护士与婴儿互动的研究。