迈向基于神经形态学/事件视觉的鲁棒跌倒检测技术：跨数据集泛化能力基准测试

《Expert Systems with Applications》：Towards Robust Neuromorphic/Event Vision-Based Fall Detection: Cross-Dataset Generalisation Benchmarking

　　

穆罕默德·齐尚·马苏德（Muhammad Zeeshan Masood）| 穆罕默德·哈姆扎·扎法尔（Muhammad Hamza Zafar）| 西德·库迈尔·拉扎·穆萨维（Syed Kumayl Raza Moosavi）| 弗洛伦斯·德姆罗齐（Florenc Demrozi）| 弗尔坎·肖卡特（Furqan Shaukat）| 菲利波·桑菲利波（Filippo Sanfilippo）

让-莫内-圣艾蒂安大学（Université Jean-Monnet-Saint-étienne），法国圣艾蒂安，42100

摘要

跌倒检测是许多现实世界环境中的关键安全问题，包括智能家居、医疗保健和辅助生活设施、工作场所以及其他室内/室外环境，在这些环境中，人们可能会面临增加跌倒风险的情况。基于视觉的系统因其非侵入性和强大的识别性能而成为一种有前景的解决方案。然而，传统的基于RGB的方法存在局限性，例如对光照条件的敏感性、遮挡问题以及隐私问题。相比之下，事件相机能够以高时间分辨率和低延迟捕捉异步的亮度变化，使它们在具有挑战性的条件下更加稳健。尽管有这种潜力，但由于缺乏大规模数据集和标准化的评估协议，基于事件的跌倒检测的进展仍然受到限制。在本文中，我们基于四个广泛使用的RGB跌倒检测数据集（CAUCA Fall、GMDCSA24、Fall Vision和Multiple Cameras Fall Dataset）进行了基准测试研究，这些数据集使用Metavision Simulator转换为了事件数据。这些数据集被用来训练和评估九种不同的深度学习模型（即I3D、3DCNN、ConvLSTM、MobileNetV3-LSTM、TCN、SwinTransformer、TimeSFormer、EfficientViT和TemporalMotionNet）。为了评估跨领域的泛化能力，我们在一个真实世界事件数据集（Pedestrian Detection, Action Recognition, and Fall Detection (PAF) 数据集）上测试了这些训练好的模型。我们的研究突出了从仿真到实际应用在基于事件的跌倒检测中的挑战，并提供了合成数据和真实事件数据集之间的比较评估。结果表明，虽然TemporalMotionNet在合成数据上取得了高性能（98.65%的准确率），但在真实数据上的性能显著下降，准确率降低了17.25%（在PAF数据集上为81.4%）。转换后的数据集以及评估协议已公开发布（https://github.com/AIBCRG/EventFallDetection），以促进该领域的进一步研究。

引言

跌倒在各种人群和环境中都是一种普遍且严重的安全隐患，包括临床环境（医院、辅助生活设施）、住宅和智能家居、体育和娱乐活动以及工业和工作场所，经常导致严重的伤害、功能下降、失去独立性以及巨大的医疗和经济成本（James等人，2020年）。因此，自动跌倒检测已成为一个长期的研究课题，涉及可穿戴传感器、环境感知和基于视觉的系统（Xefteris、Tsanousa、Meditskos、Vrochidis和Kompatsiaris，2021年）。其中，基于视觉的跌倒检测因其无需用户佩戴或维护专用设备即可捕获丰富的时空信息而受到持续关注（Gutiérrez、Rodríguez、Martin，2021年；Singh、Rehman、Yongchareon、Chong，2020年）。早期的基于相机的方法依赖于轮廓提取（Mirmahboub、Samavi、Karimi和Shirani，2012年）、姿态分析（Lai、Huang、Chao和Park，2010年）和运动历史特征（Feng等人，2017年），而较新的系统则采用深度学习架构来模拟视频流中的复杂时间动态（Auvinet、Multon、Saint-Arnaud、Rousseau、Meunier，2010a；Espinosa、Ponce、Gutiérrez、Martínez-Villase?or、Brieva、Moya-Albor，2019年）。

尽管取得了显著进展，传统的基于RGB相机的跌倒检测系统仍然面临持续的局限性。在具有挑战性的光照条件、运动模糊和遮挡情况下，性能往往会下降，而隐私问题限制了其在现实世界医疗和住宅环境中的部署（Asif、Mashford、Von Cavallar、Yohanandan、Roy、Tang、Harrer，2020年；Gutiérrez、Rodríguez、Martin，2021年）。深度相机可以缓解一些与光照相关的问题，但仍然对遮挡敏感，并且操作范围有限，其使用仍然会引发隐私问题（Gallego等人，2020年）。这些挑战促使人们探索能够提供鲁棒性、效率和隐私保护的替代感知方式。

相比之下，事件相机（也称为神经形态视觉传感器）代表了一种根本不同的感知范式。事件相机不是以固定间隔记录完整的图像帧，而是以微秒级的时间分辨率异步报告每个像素的亮度变化，具有高动态范围和低延迟（Rebecq、Gehrig和Scaramuzza，2018年）。这些特性使得基于事件的视觉在变化的光照条件下特别适合监测快速、微妙的人体运动，而缺乏纹理和外观信息则天然减少了隐私泄露。因此，基于事件的感知在机器人技术、自主系统和人类活动识别领域受到了越来越多的关注（Hu、Liu、Delbruck，2021年；Rebecq、Gehrig、Scaramuzza，2018年）。

然而，基于事件的视觉在跌倒检测中的应用仍然受到大规模、标注好的神经形态数据集有限的可获得性的限制。虽然基于RGB的跌倒检测受益于多个公共基准测试和标准化的评估协议，但基于事件的跌倒检测的相应资源却很少且分散（Zhang、Cui、Chai、Yu、Dasgupta、Mahbub、Rahman，2024年；Zhu、Yuan、Chaney和Daniilidis）。这种数据稀缺性对训练深度模型和进行可复制的基准测试构成了重大障碍。在这种情况下，事件模拟框架——特别是包括RGB到事件的转换工具——因此成为了一种实用解决方案，通过将传统视频转换为接近真实传感器输出的合成事件流来扩展基于事件的数据集（Perot、De Tournemire、Nitti、Masci、Sironi，2020年；Rebecq、Ranftl、Koltun、Scaramuzza，2019年）。

在这项工作中，我们研究了在基于RGB的模拟事件数据上训练的基于事件的跌倒检测模型是否能够有效地泛化到真实的事件相机数据。具体来说，我们使用一个真实的视频到事件模拟流程将多个已建立的RGB跌倒检测基准测试数据集转换为基于事件的数据集，在一致的协议下训练跌倒检测模型，并在纯粹基于事件相机的跌倒检测数据集上评估它们的泛化能力。通过公开发布转换后的数据集，这项工作旨在为神经形态跌倒检测建立一个标准化的基准测试框架，并提供该领域跨数据集和从仿真到真实情况的泛化研究的第一个系统研究。

章节片段

文献综述

我们在Scopus上使用查询（“event camera” OR “neuromorphic camera” OR “event-based vision” OR DVS OR “dynamic vision sensor”） AND (“fall detection” OR “fall recognition” OR “fall monitoring”）进行了结构化的文献搜索，目的是识别神经形态视觉和跌倒检测交叉领域的所有相关研究。尽管搜索范围很广，但只检索到了有限数量的出版物，这表明基于事件的跌倒检测

数据集描述和方法论

为了跨数据集的基准测试和评估，我们将4个基准RGB数据集转换为事件数据，这些RGB数据集的描述在表2中给出。GMDCSA-24、Multiple Cameras、CAUCAFall和FallVision RGB数据集使用Metavision Video-to-Event (V2E)转换器转换为事件流格式，该转换器使用标准的DVS参数，可以从多种RGB源生成合成事件数据。GMDCSA-24包含160个序列（81次跌倒，79次辅助生活活动）

基准模型

为了进行比较分析，我们评估了几种不同的神经网络架构，这些架构涵盖了视频和基于事件的动作识别设计范式。3DCNN和I3D（Caruana、Karpukhin、Yuille和Zhu、Ji、Xu、Yang、Yu，2012年）通过体积卷积捕获时空特征，ConvLSTM（Shi等人，2015年）在通过循环卷积单元建模时间序列的同时保留空间结构，MobileNetV3-LSTM（Howard等人

结论

这项工作建立了第一个标准化的跨数据集和从仿真到真实的基于事件的跌倒检测基准测试框架。通过将四个广泛使用的RGB跌倒检测数据集转换为基于事件的数据格式，并在原生事件相机数据（PAF数据集）上进行评估，我们为推进神经形态跌倒检测的实际应用提供了关键见解。我们的全面评估表明，通过时间差分进行显式运动编码是必不可少的

CRediT作者贡献声明

穆罕默德·齐尚·马苏德（Muhammad Zeeshan Masood）：概念化、方法论、软件、数据管理、写作——原始草稿、写作——审阅和编辑。穆罕默德·哈姆扎·扎法尔（Muhammad Hamza Zafar）：概念化、方法论、软件、数据管理、写作——原始草稿、写作——审阅和编辑。西德·库迈尔·拉扎·穆萨维（Syed Kumayl Raza Moosavi）：软件、数据管理、形式分析、资源、写作——原始草稿、写作——审阅和编辑。弗洛伦斯·德姆罗齐（Florenc Demrozi）：验证、形式分析、概念化、写作

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。