使用深度学习进行跌倒检测,该技术结合了计算方法,基于递归二次分割算法来处理视频帧中的特征信息
《Image and Vision Computing》:Fall d
etection u
sing d
eep l
earning with f
eatures c
omputed f
rom r
ecursive q
uadratic s
plits of v
ideo f
rames
【字体:
大
中
小
】
时间:2025年09月27日
来源:Image and Vision Computing 4.2
编辑推荐:
本文提出基于HEVC编码信息的跌倒检测框架,通过提取视频分块、运动向量和预测残差等空间-时间特征,结合CNN-LSTM架构及多模态融合策略,在RFDS和HQFSD数据集上实现97.2%检测准确率,计算成本降低至传统方法的23%。
本文介绍了一种创新的跌倒检测框架,该框架通过利用高效视频编码(HEVC)标准中嵌入的信息来提高检测的准确性和鲁棒性。跌倒事件是全球范围内导致伤害和死亡的重要原因,尤其是对老年人而言。尽管已有大量研究致力于跌倒检测,但目前大多数系统仍存在局限性,主要体现在对可穿戴传感器的依赖,或者需要对完整的视频进行解码、人体姿态估计等复杂处理。此外,一些简化数据集无法真实反映现实环境的复杂性,从而影响了模型在实际场景中的表现。因此,如何在不依赖传统视觉信息的情况下,实现高效的跌倒检测,成为当前研究的重要方向。
本文提出的方法不同于传统的视觉检测方式,而是直接从视频压缩领域提取信息。HEVC作为一种高效的视频编码标准,其比特流中包含了丰富的运动和结构信息,如编码单元(CU)的分割、运动向量(MV)以及预测残差等。这些信息可以编码出空间和时间上的动态变化,而无需依赖显式的视觉特征。这种基于压缩信息的特征提取方法不仅具有良好的抗干扰能力,而且能够有效应对复杂环境中的挑战,如多个人物的交互、背景变化等。通过提取这些低层次的特征,我们避免了传统视觉特征提取过程中可能存在的偏差和局限性,从而提高了系统的鲁棒性。
在方法设计上,我们提出了一种新颖的特征提取策略,即通过递归的二次分割来获取视频帧中的空间和时间信息。具体来说,我们从视频帧中提取出一系列的RGB图像,这些图像反映了编码单元的大小和分割情况。通过将这些分割决策组织成图像序列,我们能够构建出具有空间和时间特性的特征表示。此外,我们还利用了HEVC中的其他信息,如压缩模式、运动向量和预测残差等,以进一步丰富我们的特征集。这些特征的提取方式不仅避免了对复杂视觉处理的需求,而且提高了模型对多个人物和复杂场景的适应能力。
为了提高模型的性能和鲁棒性,我们引入了多种融合策略,包括特征级融合和分类得分级融合。这些融合方法可以结合不同特征之间的互补性,从而提升整体检测效果。在模型构建方面,我们采用了包括卷积神经网络(CNN)、长短时记忆网络(LSTM)以及CNN-LSTM混合架构在内的多种深度学习模型。通过将这些模型与提取的特征相结合,我们能够构建出更加精准的跌倒检测系统。
实验评估表明,我们的方法在两个具有挑战性的数据集上均表现出色。这两个数据集分别是“现实世界跌倒数据集”(Real-World Fall Dataset, RFDS)和“高质量跌倒模拟数据集”(High-Quality Fall Simulation Dataset, HQFSD)。与以往的研究相比,我们的方法在这些数据集上实现了更高的检测准确率和更强的鲁棒性。此外,由于我们仅使用了四个固定的帧表示来构建深度学习模型,因此计算成本显著降低,每个视频的计算量约为23 GFLOPs,远低于传统方法通常需要处理数百帧所导致的计算开销。
本文的主要贡献包括以下几个方面:首先,我们提出了从视频帧的递归二次分割中提取的新型空间和时间特征,并将这些分割决策组织成图像序列用于特征提取。其次,我们利用了HEVC编码信息,进一步丰富了特征集,从而提高了模型的检测能力。第三,我们基于不同的神经网络架构构建了训练模型,包括CNN、LSTM以及CNN-LSTM混合模型。第四,我们探索了多种融合技术,如特征向量拼接和分类得分融合,以提升模型的鲁棒性和性能。最后,我们通过在两个复杂数据集上的实验验证了所提出方法的有效性,表明其在实际应用中的潜力。
在研究过程中,我们发现传统的视觉检测方法在处理复杂场景时存在一定的局限性。例如,一些基于边界框、人体轮廓或骨骼关键点的特征提取方法,在面对多个人物或复杂背景时容易产生误判。此外,基于深度学习的视觉检测方法虽然在一些简单数据集上取得了良好的效果,但在实际应用中仍然面临性能下降的问题。因此,我们需要一种新的方法,能够充分利用视频压缩领域中的信息,提高检测的效率和准确性。
本文提出的方法通过利用HEVC编码信息,避免了对传统视觉处理的依赖,从而提高了系统的鲁棒性。此外,通过使用较少的帧表示,我们的方法显著降低了计算成本,使其在实际部署中更加可行。在实验评估中,我们发现融合策略在提升模型性能方面起到了关键作用。通过将不同特征进行融合,我们能够有效提升模型对复杂场景的适应能力,提高跌倒检测的准确率。
综上所述,本文提出了一种基于HEVC编码信息的新型跌倒检测框架,通过提取空间和时间特征,结合多种深度学习模型和融合策略,显著提高了检测的准确性和鲁棒性。实验结果表明,该方法在两个具有挑战性的数据集上均表现优异,验证了其在现实应用中的潜力。此外,由于计算成本较低,该方法在实际部署中具有更高的可行性。未来的研究可以进一步探索如何优化特征提取和融合策略,以提升模型在更多复杂场景中的表现。同时,还可以考虑如何将该方法与其他传感器技术相结合,以实现更加全面的跌倒检测系统。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号