《Image and Vision Computing》：Human fall direction classification based on deep learning methods and moth flame optimization
编辑推荐：
摘要：人体跌倒对年轻人群尤其是老年人群的健康构成极大威胁。跌倒的分类与检测是辅助技术领域的关键组成部分，在为大量人群提供重要支持方面具有重要意义，该技术还可扩展应用于监测并警报癫痫及相关疾病患者的癫痫发作与突发跌倒事件。老年人常受多种疾病影响，极易发生跌倒，因
摘要：人体跌倒对年轻人群尤其是老年人群的健康构成极大威胁。跌倒的分类与检测是辅助技术领域的关键组成部分，在为大量人群提供重要支持方面具有重要意义，该技术还可扩展应用于监测并警报癫痫及相关疾病患者的癫痫发作与突发跌倒事件。老年人常受多种疾病影响，极易发生跌倒，因此跌倒检测成为医疗保健中的关键能力。本研究提出一种基于深度学习的自动模型，利用人体跌倒数据集图像对人体跌倒方向进行分类。所使用的数据集包含四个类别：前向跌倒(Forward-fall)、侧向跌倒(Side-fall)、后向跌倒(Back-fall)及非跌倒(non-fall)。所提方法包含五个主要步骤：首先从视频中提取图像帧；第二步进行数据预处理；随后选取三种预训练模型(DenseNet-201、ResNet-101、EfficientNet-b0)及MAKNet-100并根据数据集进行调参；第四步通过迁移学习训练选定模型并提取特征；最后采用飞蛾火焰优化(Moth Flame Optimization, MFO)算法进行最优特征选择，将优选特征输入多种神经网络架构(三层神经网络、窄神经网络Narrow NN、宽神经网络Wide NN、双层神经网络及中等规模神经网络)进行最终分类。研究人员在韩国顺天?大学(Soonchunhyang University)采集的人体跌倒数据集上进行实验，最终准确率达94.5%，计算时间为41 s。与现有方法相比，该方法在准确率方面达到了当前最优(state-of-the-art)性能。
基于深度学习与飞蛾火焰优化算法的人体跌倒方向分类研究解读
该研究发表于《Image and Vision Computing》。随着全球老龄化加剧，跌倒已成为老年人致命及非致命伤害的首要原因，约半数跌倒老人无法自行起身且长时间滞留地面，显著增加死亡率。传统个人紧急响应系统(Personal Emergency Response Systems, PERS)在受试者昏迷或无法触发按钮时失效，而基于可穿戴传感器的方法存在舒适性与依从性问题。现有基于视觉的跌倒检测方法多仅区分跌倒与非跌倒二分类，且常用数据集多在受控环境下采集，对真实复杂场景泛化能力不足，亦缺乏对跌倒方向（前向、侧向、后向）的精细分类——而跌倒方向信息对后续急救评估具有重要参考价值。为此，研究人员开展了基于深度卷积神经网络(Convolutional Neural Network, CNN)结合群智能优化算法的四分类（前向跌倒、侧向跌倒、后向跌倒、非跌倒）人体跌倒方向识别研究，并在韩国顺天?大学自建数据集中取得94.5%的分类准确率，证明了深度迁移学习与飞蛾火焰优化(Moth Flame Optimization, MFO)特征选择相结合在跌倒方向细粒度分类任务上的有效性。
研究人员所用主要关键技术方法如下：使用韩国顺天?大学采集的自建人体跌倒视频数据集（含前向跌倒、侧向跌倒、后向跌倒及非跌倒四类），从视频提取帧并将原始3840×2160像素图像预处理下采样裁剪至320×240像素；选用DenseNet-201、ResNet-101、EfficientNet-b0三种预训练模型及自行设计的MAKNet-100（基于瓶颈模块与自注意力机制、含100隐藏层、参数量较小）进行迁移学习微调并替换全连接层(Fully Connected layer, FC)以提取深度特征；采用Moth Flame Optimization(MFO)算法对融合或单独的深度特征向量进行最优特征子集选择以降低维度；将优选特征分别输入宽神经网络(Wide Neural Network, WNN)、窄神经网络(Narrow Neural Network, NNN)、双层神经网络、三层神经网络及中等规模神经网络进行最终多分类，数据集按8∶2划分训练集与测试集并采用十折交叉验证(10-fold cross-validation)评估。
Litrature review（文献综述）
研究人员综述指出，近年来卷积神经网络(CNN)在图像分割、目标检测与分类等任务中发挥重要作用。已有研究尝试解决非结构化室内环境下的跌倒分类及遮挡影响问题，但多数方法依赖姿态序列识别且数据集受限。本文在此基础上引入预训练CNN深度特征提取并结合群智能优化算法进行特征选择，以提升跌倒方向四分类性能。
Proposed method（提出的方法）
研究人员提出的方法分为五步：①数据准备——从原始跌倒视频中提取图像帧；②预处理与裁剪——将图像缩放裁剪至320×240像素以降低计算复杂度；③深度特征提取——使用经微调并替换全连接层的DenseNet-201、ResNet-101、EfficientNet-b0及自行提出的MAKNet-100（基于瓶颈结构与自注意力机制(self-attention mechanism)，100隐藏层，学习参数较少）进行迁移学习训练并提取深度特征；④基于飞蛾火焰优化(MFO)的特征选择——对各模型提取的特征采用MFO算法筛选最具判别力的特征子集；⑤分类——将MFO优选特征输入多种神经网络架构（三层神经网络tri-layered NNs、窄神经网络Narrow NNs、宽神经网络Wide NNs、双层神经网络bi-layered NNs及中等神经网络Medium NNs）完成四类别分类。
Results and discussion（结果与讨论）
数据集按80%训练、20%测试划分，实验过程采用十折交叉验证确保稳健性。研究结果表明，经过MFO特征选择后的特征输入各类神经网络均获得较好效果，其中最优组合在顺天?大学自建跌倒数据集上达到94.5%准确率，总计算时间为41秒。与现有文献方法对比，所提方法在准确率上优于对比方法，证明深度迁移学习与MFO特征选择融合可有效提升跌倒方向分类性能。此外研究人员比较了不同预训练模型及MAKNet-100的特征提取效果及各分类器的表现差异。
Conclusion（结论）
本研究提出一种结合深度学习与飞蛾火焰优化(Moth Flame Optimization, MFO)算法的人体跌倒方向分类方法。该方法包括五个主要步骤：从视频数据提取帧、图像尺寸调整、利用ResNet-101、DenseNet-201及EfficientNet-b0通过迁移学习进行深度特征提取、特征选择及最终分类。实验在韩国顺天?大学(Soonchunhyang University)采集的人体跌倒数据集上开展，该数据集于不同环境中采集，包含前向跌倒、侧向跌倒、后向跌倒及非跌倒四类。实验结果显示所提方法可达94.5%的准确率及41秒的计算时间，相较既有方法表现出更优的分类精度。
Future work（未来工作）
研究人员指出当前框架仅在所用数据集上评估，未来计划在UP-Fall、UR-Fall等公开基准数据集上验证本框架，并在一致实验设置下与现有state-of-the-art方法及基于姿态估计(pose estimation)的方法进行比较；此外将探索萤火虫算法(Firefly Algorithm)等先进优化技术进一步提升性能。
讨论总结
该研究针对现有跌倒检测多局限于二分类及受控环境数据集的不足，构建了基于深度CNN迁移学习与MFO特征选择的跌倒方向四分类模型，在自建多环境采集数据集上验证了方法有效性，最高分类准确率达94.5%。研究创新点在于引入群智能优化算法进行深度特征优选降低冗余并设计轻量化MAKNet-100网络参与特征提取与对比。局限在于未在多个公开数据集上做横向验证，未来工作拟对此补充并引入更先进的元启发式优化算法。研究成果对开发面向独居老人的智能视频监控辅助看护系统具有实际应用价值。
