一种用于在多种环境中识别可疑人类活动的新分类模型,该模型结合了融合特征块和机器视觉技术
作者:Bushra Mughal, Fernando B. Duarte, Tiago Cunha Reis, Carlos Jorge Dos Santos Lim?o Sebasti?
《Digital》:A Novel Classification Model for Suspicious Human Activities in Diverse Environments Using Fused Feature Block and Machine Vision Techniques
Bushra Mughal,
Fernando B. Duarte,
Tiago Cunha Reis and
Carlos Jorge Dos Santos Lim?o Sebasti?
【字体:
大
中
小
】
时间:2026年04月14日
来源:Digital CS4.8
编辑推荐:
摘要:在复杂且拥挤的环境中自动检测可疑的人类活动仍然是现代监控系统中的一个关键挑战,这主要是由于高误报率、对比度差以及在不同场景中的泛化能力不足。我们提出了一种基于深度融合特征块(DFFB)框架的GM_CNN3D模型,用于分类可疑活动。该模型将手工制作的空间描述符(PCA-HOG
摘要:在复杂且拥挤的环境中自动检测可疑的人类活动仍然是现代监控系统中的一个关键挑战,这主要是由于高误报率、对比度差以及在不同场景中的泛化能力不足。我们提出了一种基于深度融合特征块(DFFB)框架的GM_CNN3D模型,用于分类可疑活动。该模型将手工制作的空间描述符(PCA-HOG和Motion-HOG)与从3D卷积神经网络(3D-CNN)中提取的深度时空特征相结合。首先使用高斯混合模型(GMM)定位运动区域,然后将手工制作的特征和深度特征在维度标准化融合阶段进行连接,接着是一个全连接层和softmax分类。该系统在五个多样且公开可用的数据集上进行了评估:暴力人群、曲棍球斗殴、Kaggle斗殴、电影中的斗殴以及自定义标注的YouTube片段,取得了高达99.12%的准确率、98.7%的F1分数和0.992的ROC-AUC,性能超过了先进的CNN、LSTM和SlowFast模型。所有数据集都包含具有不同照明条件、人群密度和相机视角的真实世界场景,在缺乏标注的情况下手动创建了标注。所提出的方法展示了强大的跨场景性能,使得在实时安全操作中能够实现自动警报并减少误报。
1. 引言
随着技术的进步,数据挖掘的趋势日益增长。在监控视频分析中,可疑人类活动识别(SHAR)是一个具有挑战性的问题。这些活动被分类为正常/常规、可疑和异常。典型的行为可能包括拳击、跑步、行走、慢跑、鼓掌和挥手。人们在公共区域自由执行所有这些行为。另一方面,异常/可疑行为是很少在公共场所发生的受限行为,包括破坏公物、斗殴、抢劫、持有易爆或爆炸性物品、军队奔跑、非法停车以及穿越公共道路和边境地区。最近,监控人类活动变得尤为必要,特别是在任何国家的安全敏感场所。监控视频由安装在敏感公共区域的摄像头捕捉,包括学术机构、政府大楼、监狱、银行和军事基地[1]。这些录制的视频有助于通过跟踪犯罪活动和人群行为来进行图像分析。人们可以在公共区域进行日常活动,但任何不当行为或异常的人类活动都是严格禁止的。由于这些活动对世界其他部分构成威胁,因此有必要提出一个自动系统来跟踪所有可疑活动[2]。这类系统的部分应用包括:教育机构广泛使用视频监控系统来监测员工和学生的活动,以防止盗窃和破坏行为;自动监控系统也监测学生之间的可疑行为和斗殴;它还跟踪教育机构的边界以保护其中的人员[3]。在考试厅中,视频监控也有助于监测学生的异常行为。视频监控系统也广泛用于银行安全。武装抢劫和袭击可以通过监控摄像头进行追踪。自动取款机是犯罪分子的主要目标。银行犯罪分子通过安装设备窃取银行卡上的敏感信息。然而,安装在ATM上的监控摄像头可以追踪此类欺诈和骗局[4]。铁路和公共汽车站是破坏性炸弹的首选目标,因为恐怖分子会在人群密集时留下装有炸弹的背包。因此,提出一种创新的可疑活动识别模型至关重要,该模型能够识别可疑对象和活动并通过警报进行警告。及时识别可疑对象可以迅速将其从公共空间移除,以确保乘客、工作人员和基础设施的安全[5]。交通摄像头用于视频跟踪,捕捉交通画面,并在数据中心显示。它们被放置在主要道路和高速公路的红绿灯处以及标志上方。无论是为了未来研究捕捉交通流量还是为了对任何交通违规行为发出罚单,它们都是视频监控的普遍方式。它们广泛用于交通管理、自动停车场、驾驶员辅助和门禁系统。在车牌识别领域,这是最常用的技术[6]。在大学和其他学术机构中,视频监控用于监控学生行为,以防止盗窃和资源破坏。此类系统有助于阻止学生的不当行为和冲突[7]。它控制大学内部的边界以保护学生和教职员工。图1展示了日常生活中监控视频中的异常和可疑活动示例。图1. 监控视频中的异常和可疑活动示例:(a) 火焰,(b) 被遗弃的物体,(c) 坠落,(d) 错误停车,(e) 暴力,(f) 抢劫。然而,在现有文献中,缺乏一个能够在多样化数据范围内准确操作以识别可疑对象和活动的显著分类模型,尤其是在人群中。文献中提出了一种评估和识别课堂上可疑行为的新方法;学生的面部区域也被识别和监控。最后,使用凸包识别学生的手势有助于提醒监考人员[8]。图2展示了一个样本图像。图2. 考试厅中的可疑活动检测:(a) 将作弊纸条传递给邻座 (b) 可疑活动检测 [9]。视频录制在银行业监控中起着至关重要的作用。摄像头的存在阻止了抢劫和攻击的实施。非法活动的主要目标是攻击自动银行设备。智能视频监控将在繁忙条件下提高监控质量,例如在银行业。在ATM中,它还有助于防止盗窃[10]。自动视频监控系统还可以帮助防止破坏行为、暴力行为和与人群相关的事件,并检测针对公共基础设施(如停车场、边境、监狱、工厂、军事设施和宗教场所)的潜在爆炸或攻击行为。其他拥挤的公共场所,如铁路和公交车站,也是恐怖分子实施爆炸袭击的主要目标区域,因为那里始终有大量人群[11],并且可以在人群中轻易进行可疑活动,例如留下含有爆炸物的行李。需要提出一种智能的可疑活动检测系统。该系统能够识别视频监控画面中的可疑对象和活动,使警报能够采取必要措施来保护乘客的基础设施。
2. 文献综述
简要分析了用于识别可疑人类活动的自动系统。通常,可疑人类活动分为四种类型:行为、攻击性、被遗弃的物体检测、抢劫/抢夺和基于暴力的可疑活动。在这项工作中,我们将仅分析攻击性、暴力、抢劫和抢夺等行为。人类活动通常被分类为四个主要类别:手势、动作、互动和群体活动。在所有人类活动中,手势仅仅是手、头、手臂和脚的移动;动作是由单个个体执行的多种手势的组合。他们的研究发现,互动至少涉及两个参与者,包括两个人或一个人和一个物体,例如计算机或其他电子设备[12]。Mo等人[12]详细阐述了对深度神经网络的一种修改。在这个网络中, incorporated了正则化技术和各种激活函数来实现多层感知器,用于分类12种人类行为,准确率达到81.8%[12]。Wang等人[13]解释说,无人机摄像头捕捉的空中图像中的人的方向不同,因此可能会被感知为倾斜,这可能会影响人类活动识别(HAR)的结果。他们将修改应用到了著名的YOLOv2 CNN模型[14]上,并成功检测到了空中图像中的正常和异常人类活动[13]。Munaro等人[15]表明,为了研究HAR,需要开发一个模型来识别和评估人类行为。最近邻程序旨在使用流估计来识别3D运动中的人类行为。该模型使用从Microsoft Kinect获得的彩色点云数据,并以时间模式作为描述符,通过最近邻程序进行分类[15]。Haresamudram等人[16]明确分解了HAR中的工作亮点描述。在高效的研究中,他们评估了八种不同的组件提取策略,包括常规启发式方法和持续的学习策略描述。他们调查了这些策略在五个基准测试中的识别能力。高级组件学习被整合到常规ARC提示中,与使用端到端学习策略的结果相似或更差,同时为专家提供了更大的适应性,以便他们能够升级框架以解决可穿戴设备中的兴趣点及其限制[16]。二元图像和灰度图像都来自SURF描述符。此外,还采用了四种机器学习方法来分类词袋特征:KNN、决策树、SVM和朴素贝叶斯[16]。超参数优化用于确定机器学习方法的超参数。然后,通过比较二元和灰度图像的活动识别输出,对机器学习方法进行相互评估[17]。Tripathi等人[5]提出了六种可疑活动类型,包括物体识别、盗窃识别、事件识别、非法停车、跌倒识别、暴力识别和火灾检测[5]。Mahor等人[17]提出了一个自动视频监控模型,用于检测和警报可疑人类活动。他们使用深度神经网络从视频流中提取关键活动特征,然后通过双向长短期记忆(Bi-LSTM)模型处理这些特征,以建立帧之间的时间链接,确保准确区分人类运动[17]。该系统的有效性在UCF、UCF101和UCF-Crime数据集的记录上得到了验证,准确率达到96.80%[17]。Arunothayam等人[18]表明,在购物中心、火车站、机场和银行等人流量密集的地方,人类活动识别至关重要,因为安全是主要关切。他们提出了一个系统,可以识别诸如打斗、向他人隐藏某物以及在路边放置某物等人类行为,并检测可疑人员[18]。Ganagavalli等人[19]提出了一种基于视频监控和深度学习算法的自动化犯罪识别和跟踪机制。一个改进的YOLO算法通过调整不同超参数进行了微调,使用14类犯罪活动类别检测到破坏行为的AUC为0.91[19]。Roy等人[20]提出了传统的跟踪系统作为事后工具,以追究抢劫事件的责任人,但仅在事件发生后[20]。在这段文字中,作者提出了一种方法,用于自动检测视频监控中的可疑或攻击性行为。此外,他们还训练了一个支持向量机(SVM),并提取了来自两种类型视频图像的HOG特征:非暴力帧和暴力行为(如踢、拉、打等)。Arumugam等人[21]提出了一种创新的安全监督系统,通过使用深度学习来检测学生中的可疑行为,从而维护教育机构的考试公平性。在这项工作中,他们使用了一个卷积3D网络来进行情绪分析和可疑活动的实时视频分析,整合了手势、情绪和面部识别技术。该模型在4000个训练数据点上进行了评估,对作弊行为的识别准确率达到了97.6%。与上述方法相比,这项工作提供了一个显著改进的可疑活动检测框架,该框架将互补的机器视觉技术战略性地融合到一个连贯的系统中。虽然之前的研究通常依赖于手工制作的特征或单独的深度模型,但我们的方法将基于高斯混合模型(Gaussian Mixture Model)的背景建模、PCA-HOG、Motion-HOG和3D CNN无缝集成到一个统一的分层卷积融合特征块(Hierarchical Convolutional Fused Feature Block,简称HCFFB)中。这种融合设计旨在充分利用每种特征类型的独特优势:PCA-HOG捕捉全局空间模式,Motion-HOG编码运动动态,而3D CNN提取深度时空关系。通过解决单一模态流程的局限性,我们的方法显著提高了辨别能力、抗噪能力和适应不同环境的能力。此外,该框架已在多个高度多样化的实际数据集上进行了严格验证,包括教育机构、拥挤的公共场所和异构的在线监控视频,显示出与传统方法相比一致且更优的准确性和鲁棒性。我们的贡献在于通过在这些基准数据集上的一致性评估证明了该方法的通用性和鲁棒性。需要注意的是,所提出的方法并不能消除具有挑战性的视觉条件的影响;相反,它在类似条件下显示出与基线方法相比具有竞争力和稳定的性能。
3. 材料与方法
在这项工作中,我们提出了一种改进的可疑活动检测方法,利用机器视觉技术和多种数据样本,以提供更准确的解决方案。该研究旨在开发一个能够评估和频繁检测可疑活动的系统,这些活动通常发生在各种环境中。最初,我们选择了多种环境进行可疑活动检测,例如教育机构和拥挤场所,以及来自在线数据集、YouTube和其他公开来源的监控视频。解决这一问题的最佳方法是视频分析,它有助于识别事件并从捕获的视频中提取相关数据。在这项研究的关键部分,我们详细解释了我们所提出方法的深度。我们提出了一种使用基于高斯混合模型的3D卷积框架来检测可疑或暴力活动的方法。首先,输入视频被传递到高斯混合模型中进行背景建模和斑点生成。PCA-HOG和3D CNN模型也被用来挖掘输出序列和特征。PCA-HOG捕捉全局空间模式,Motion-HOG捕捉运动动态,3D-CNN提取层次化时空特征。这些特征被组合起来输入到conv3D模型中,该模型分析活动特征并使用SoftMax分类器进行高效预测或分类。这种融合方式相辅相成,提高了辨别能力和鲁棒性,如表2、表3、表4、表5和表6所验证的那样。图3说明了所提出方法的每一步,以及子节中提供的更多细节。图3展示了监控视频中可疑活动检测方法的图形可视化。
3.1. 数据集与评估策略
第一步是创建用于实验的图像数据集,并将所提出的技术与其他最先进的方法进行评估。为此,使用公开可用的标准数据集和手工制作的视频来设计手工制作的数据集,以评估所提算法的效率。公开可用的数据集,如Hockey Fight和Kaggle Fight数据集,包含了用于标注的真值数据。然而,对于我们的自定义数据集,视频片段是由具有监控视频分析经验的专家手动注释的。所提出的工作中使用的数据集如下:
3.1.1. Kaggle Fight检测数据集
从YouTube上找到的电影和视频中收集了超过100张图片,这些图片可用于讲解有关可疑行为(打架)的内容[22]。
3.1.2. 电影中的可疑活动
电影中的可疑活动是一个重要问题。[23]提出的用于打架检测的数据集包含200个独特的视频片段。这些视频片段包括来自动作电影的打架片段,以及来自公开可用的动作识别数据集的非打架片段。该数据集中的视频平均分辨率为(360 × 250)像素,片段长度限制为50帧。这个数据集中的第一人称视角几乎没有或完全没有相机移动。图4展示了一些代表性的片段。
3.1.3. 教育机构中的可疑活动
教育机构中的可疑活动是一个日益严重的问题。例如,什么构成可疑活动?公众如何报告这些活动?有哪些不同类型的活动被认为是可疑的?涉及的人可能会面临什么样的后果?为此,我们包含了人们在人群中表现出可疑行为的视频,比如触碰他人和做出可疑的手势。这个数据集包含了近100个视频。一些视频是由固定摄像头拍摄的,另一些则来自不同的互联网来源。
3.1.4. 人群中的可疑活动
Crowd是一个新的、去中心化的社交平台,允许您轻松分享您的想法和观点。暴力人群的数据集由Hassner等人[24]提供。这个数据集包含了246个YouTube视频,展示了各种环境和场景。最初,数据集将由五组不同的视频片段组成。每组中都包含一个暴力片段和一个和平片段。在测试中,我们将这五组融合成两组,每组包含123个视频片段。在这123个视频片段中,123个与暴力事件相关,另外123个是非暴力的。这些数据集的概览见表1。
3.2. GM_CNN3D模型
可疑活动通常是网络钓鱼或恶意软件。在第一步,我们通常会删除可疑文件或阻止这些活动。然而,如果我们发现某个活动太可疑而无法直接删除,我们会将其纳入安全检测系统中。为了提出一种更强大的算法,以更准确地在现实应用中检测人类运动和接触,这里解决了处理实时视频的挑战。由于收集的图像或视频中的前景和背景颜色密度不同、亮度低、对比度差以及噪声显著等问题,预处理视频数据可能会很复杂。为了克服这些挑战,所提出的工作使用了一个基于高斯混合模型的模型,并结合了3D特征。由于可疑活动视频片段具有复杂的序列特性,这对视觉模式识别提出了困难。传统的低级特征在实时监控中难以应用,并且在识别复杂模式方面效果不佳,因此被用来在监控系统中检测活动。在这项研究中,我们提出将高斯混合模型与3D CNN结合,以学习复杂的序列样本并可靠地识别可疑行为,同时考虑了现有方法的优点和缺点。分析大量无关帧的难度困扰着大多数暴力检测算法,消耗更多的内存并需要更长的时间。鉴于这一重要限制,我们最初使用了标准的Mobile Net模型来检测视频流中的个体。更多详细讨论将在后续章节中阐述。完整的GM_CNN3D流程包括以下步骤:
第一阶段,GM_CNN3D用于识别构成前景的像素,然后生成斑点。
在第二阶段,GM_CNN3D提取局部特征。
在第三阶段,使用conv3D模型挖掘时空特征,这些特征与局部特征(PCA_Hog和Motion-HOG特征)融合。
在最后阶段,CNN3D使用新型的深度融合特征块(DFFB)处理连续信息,并使用SoftMax分类器对可疑和非可疑活动进行分类。
3.3. 特征提取与深度融合特征块(DFFB)
通过融合基于高斯混合模型的HOG特征和基于CNN3D的时空特征,生成了深度融合特征块(DFFB),以改善分类结果。在特征提取过程中,使用了PCA-HOG和Motion-HOG。在这项研究中,我们使用高斯混合模型(GMM)来提取前景并粗略划分区域。然后系统仅在前景中搜索人类对象,从而加快了检测速度并降低了实际应用中的误报率。PCA-HOG采用了一种经典的降维方法——主成分分析(PCA),来降低原始HOG的维度并生成低维特征向量。这种降维提高了检测窗口分类的速度。结合PCA-HOG描述符和高斯混合模型的人形对象检测系统实现了非常高的检测率。Motion-HOG特征进一步通过定位动作簇内的显著相似性来提高识别能力,并将其与其他簇区分开来。GM-3DCNN通过将连续运动HOG数据转换为离散数据来降低计算成本。根据3D卷积和池化原理,3D CNN用于捕获时空特征,而2D CNN仅捕获空间信息。因此,3D CNN在捕获输入序列中的所有时间信息方面更有效。3D卷积神经网络(CNN)用于识别数据中的模式。CNN通常应用于视频序列,并且比基于图像的(2D CNN)更灵活。为了从视频数据中提取空间相关性,几种现有方法使用了2D ConvNets。相比之下,所提出的3D卷积通过将3D核应用于由连续帧堆叠形成的时空立方体来操作。通过将前一层中连续帧的描述符图链接起来来捕获运动信息。第p层第q个特征图上的位置(x, y, z)处的3D卷积定义如下:
$$
y_p^q(x, y, z) = \sum_{A_a=1}^{B_B=1} \sum_{C_c=1} w_{a_b c_p^q \cdot x_{l-1}^k (x + a, y + b, z + c) + t_p^q
$$
其中 $\mathbf{C}_p = (A, B, C)$ 是3D核(掩码)的大小,$w_{a_b c_p^q$ 是与前一层中第k个特征图相关的核权重。$x_{l-1}^k$ 是第$l-1$层的输入特征图。由于核权重在整个立方体上重复,3D卷积掩码只能从帧中提取一种类型的特征。从conv3a和conv5a层得到的3D CNN的特征图如图6所示。图6展示了从conv3a和conv5a层得到的3D CNN的特征图。输入帧序列来自电影数据库中的暴力类别。通过使用单个特征图生成不同类型的描述符,CNN遵循在后续层中增加特征图数量的概念。该网络接收一系列帧作为输入数据。所提出的模型在采用帧序列方面具有灵活性,并且使用第三阶段的3D CNN提取时空特征。使用前一部分中描述的方法检索到的形状和外观特征被包含在手工特征中。融合描述符是通过将深度特征与手工特征结合创建的。GM-Conv3D将此块生成的相关状态序列作为输入。Softmax层确定最终预测属于暴力类别还是非暴力类别。3.4 数据分类 本节描述了数据处理及其在识别可疑行为模式中的应用。可疑数据集中包含了一些简短的视频片段。首先,可疑数据集(κ)包含(η)个短视频片段。每个视频数据集中都有两类可疑类别和非可疑类别。在学习过程之前,整个数据集被分割成一系列关键帧。在移除关键帧后,整个数据集被划分为训练集和测试集。我们使用25%的数据进行测试,75%的数据进行训练。C3D网络架构 C3D网络架构是一种高性能、低内存和低功耗的3D卷积神经网络技术,旨在创建3D空间过滤器,用于实时视频中的对象检测和跟踪,具有低延迟。C3D的全流水线硬件实现比传统的2D卷积神经网络硬件实现强一个数量级,同时具有灵活性,并且可以使用可定制的PCIe板进行编程。凭借可编程架构,C3D架构可以轻松根据用户需求进行扩展。深度学习方法显著提高了视频动作识别能力。[29]中介绍的双流卷积网络通过分别处理RGB帧和光流来捕获空间和时间信息。类似地,[30]中探讨了使用卷积神经网络进行的大规模视频分类,展示了深度架构在视频理解方面的有效性。[31,32]进一步分析了3D卷积神经网络(3D CNN),强调了它们直接从视频数据中学习时空特征的能力。基于这些发现,[33]提出了一个3D CNN模型,随后在[34]中引入了C3D模型,进一步改进了视频分析的时空表示学习。该网络由八个卷积层组成:五个池化层、两个全连接层和一个softmax层。在这项研究中,卷积层使用了(3 × 3 × 3)大小的kernel序列以及一个步长;另一方面,所有池化层都使用(2 × 2 × 2)大小的kernel进行最大池化,除了第一个池化层,它使用(1 × 2 × 2)大小的kernel并有两个步长以保留基于时间的信息。每个卷积层的滤波器数量分别为第一层64个,第二层128个,第三层256个。每个卷积的kernel还包含适当大小的D值的时间深度。卷积分别使用了(3, 1)大小的kernel和填充。总共,4096个神经元分布在全连接层 fc6 和 fc7 以及具有N个输出的融合特征层和softmax层之间。与本研究一样,我们只有两个类别:可疑活动和非可疑活动——结果也只有两个。图7显示了整体详细架构。我们开发了一种算法,该算法结合了2D卷积层和3D卷积层。我们发现这是最好的方法,因为我们的架构使神经网络的处理更加简单。为了最小化过拟合并实现有效学习,我们在训练期间从原始输入序列中随机裁剪出(3 × 16 × 112 × 112)大小的数据。这种3D卷积网络的设计以16帧的短序列(大小为128 × 171)作为输入。之后,对这一系列帧应用3D卷积和池化操作。网络在训练期间作为通用特征提取器发挥作用。实际上,网络结构的每一层都学习了不同的特征。底部激活层中的较小感受野使它们对角点、边缘和形状等模式敏感,而顶部激活层中的较大感受野使它们能够捕获高级全局特征并收集复杂的方差。最终,得出结论:预期输出是否为暴力行为。GM_CNN3D模型的架构如图7所示。图7. GM_CNN3D模型的架构。预测跨越空间或时间的输入序列的类别是称为“序列分类”的预测建模问题的目标。然后使用现代分类器根据这些特征矩阵将对象的活动分类为正常或可疑。深度神经网络最常见的架构是卷积神经网络(CNN)。CNN通常用于图像分类、检测、分割和显著性估计(在视觉领域)。同样,CNN是将3D卷积层应用于输入体积。图像分类是一个监督学习问题,因为数据已被标注,训练机制使用这些标注来提高模型的准确性。给分类器提供了建议的融合特征块。在(GM-CNN3D)建模步骤中,首先使用3D CNN来提取时空特征。CNN3D与高斯混合模型结合,以处理移动目标的连续数据。在CNN中,使用混合高斯概率密度函数代替观测值以获得所需结果。为了加快计算速度,连续信息被转换成离散细节。GM-CNN3D模型评估移动目标的正常和异常状态。4. 结果与讨论 4.1 结果 这项研究的主要目的是利用监控视频监测可疑的手部和脚部动作以及基于手势的活动。这是通过从帧中提取特征并使用深度融合特征块(DFFB)来实现的,该块结合了基于高斯混合模型的HOG特征和基于3D卷积的时空特征以提高分类结果。提取特征后,使用softmax分类器将帧分类为可疑或标准。表2. 所提出技术在分类暴力人群数据集[24]中的准确性。表2. 所提出技术在分类暴力人群数据集[24]中的准确性。迭代次数 游学率 损失 准确率 收敛率 每次迭代的时间 1000 0.001 1.49 × 10^-4 97% 0.003 0.001 s 300 0.001 1.0 × 10^-8 98% 0.001 0.001 s 500 0.001 2.01 × 10^-7 99% 0.0005 0.001 s 1000 0.000 18.7 × 10^-4 96% 0.0006 30.005 s 300 0.000 12.3 × 10^-6 97% 0.0004 30.005 s 500 0.000 16.01 × 10^-7 99% 0.0003 10.005 s 1000 0.01 9.7 × 10^-4 96% 0.0004 90.005 s 300 0.01 1.3 × 10^-6 97% 0.0004 20.005 s 500 0.01 8.07 × 10^-7 99% 0.0002 10.005 s 1000 0.000 18.7 × 10^-4 96% 0.0006 30.005 s 300 0.000 12.6 × 10^-6 97% 0.0004 10.005 s 500 0.000 16.08 × 10^-7 99% 0.0003 10.005 s 1000 0.000 15.7 × 10^-4 96% 0.0006 300 0.0000 12.3 × 10^-6 97% 0.0004 10.005 s 500 0.000 14.09 × 10^-7 99% 0.0002 90.005 s 注:作者自己的计算。表3. 所提出技术在分类教育机构数据集中的可疑活动时的准确性。表3. 所提出技术在分类教育机构数据集中的可疑活动时的准确性。迭代次数 游学率 损失 准确率 收敛率 每次迭代的时间 1000 0.001 1.59 × 10^-4 96% 0.023 0.001 s 300 1.0 × 10^-8 97% 0.002 0.001 s 500 2.31 × 10^-7 98% 0.0004 0.001 s 1000 0.000 18.7 × 10^-4 96% 0.0005 50.005 s 300 2.3 × 10^-6 97% 0.0004 30.005 s 500 6.01 × 10^-7 98% 0.0003 10.005 s 1000 0.000 18.7 × 10^-4 96% 0.0004 90.005 s 300 2.3 × 10^-6 97% 0.0004 10.005 s 500 6.01 × 10^-7 98% 0.0002 10.005 s 1000 0.000 18.7 × 10^-4 96% 0.0005 90.005 s 300 2.3 × 10^-6 97% 0.0002 70.005 s 500 6.01 × 10^-7 98% 0.0002 30.005 s 1000 0.000 18.7 × 10^-4 96% 0.0006 10.005 s 300 0.000 012.6 × 10^-6 97% 0.0004 10.005 s 500 0.000 016.08 × 10^-7 99% 0.0003 10.005 s 1000 0.000 015.7 × 10^-4 96% 0.0006 300 0.0000 12.3 × 10^-6 97% 0.0004 10.005 s 500 0.000 014.09 × 10^-7 99% 0.0002 90.005 s 注:作者自己的计算。表4. 所提出方法在分类电影中的暴力数据[23]时的准确性。表4. 所提出方法在分类电影中的暴力数据[23]时的准确性。迭代次数 游学率 损失 准确率 收敛率 每次迭代的时间 1000 0.001 1.42 × 10^-5 98% 0.001 0.001 s 300 1.78 × 10^-8 99% 0.0003 10.001 s 500 1.85 × 10^-9 99% 0.0002 0.001 s 1000 0.000 18.6 × 10^-4 96% 0.0001 300 0.005 s 300 2.2 × 10^-6 97% 0.0003 10.005 s 500 5.9 × 10^-4 99% 0.0000 80.005 s 1000 0.000 17.8 × 10^-4 97% 0.0002 300 2.8 × 10^-6 98% 0.0003 10.005 s 500 6.5 × 10^-7 99% 0.0002 0.005 s 1000 0.000 17.9 × 10^-4 96% 0.0002 20.005 s 300 2.3 × 10^-6 97% 0.0003 10.005 s 500 6.4 × 10^-7 99% 0.0002 0.005 s 注:作者自己的计算。表5. 所提出方法在分类Kaggle打架数据集[22]中的数据的准确性。表5. 所提出方法在分类Kaggle打架数据集[22]中的数据的准确性。迭代次数 游学率 损失 准确率 收敛率 每次迭代的时间 1000 0.001 1.51 × 10^-5 98% 0.001 0.001 s 300 1.79 × 10^-8 99% 0.0003 10.001 s 500 1.89 × 10^-9 99% 0.0002 0.001 s 1000 0.000 18.6 × 10^-4 96% 0.0001 300 0.005 s 300 2.2 × 10^-6 97% 0.0003 10.005 s 500 5.9 × 10^-4 99% 0.0000 80.005 s 1000 0.000 17.8 × 10^-4 97% 0.0002 300 2.8 × 10^-6 98% 0.0003 10.005 s 500 6.5 × 10^-7 99% 0.0002 0.005 s 1000 0.000 18.6 × 10^-4 96% 0.0001 15.005 s 300 2.3 × 10^-6 97% 0.0003 20.005 s 500 6.4 × 10^-7 99% 0.0002 0.005 s 注:作者自己的计算。表6. 所提出方法在分类冰球打架数据集[23]中的数据的准确性。表6. 所提出方法在分类冰球打架数据集[23]中的数据的准确性。迭代次数 游学率 损失 准确率 收敛率 每次迭代的时间 1000 0.001 1.55 × 10^-4 95% 0.001 0.001 s 300 0.001 10.001 s 500 2.7 × 10^-7 97% 0.0002 0.001 s 300 0.0001 17.7 × 10^-4在未来的工作中,我们将探索优化学习率的方法,并解决各种数据集(例如Hockey Fight数据集)中遇到的具体挑战。图8a展示了暴力人群数据集的损失与训练迭代次数之间的关系。根据表3,在1000次迭代后,损失从1.49 × 10^-4开始,随着学习率设置为0.001,在5000次迭代后逐渐降至2.01 × 10^-7。这种下降趋势在绘制的曲线上显而易见,反映了实际的训练过程和收敛效果。图8展示了(a)暴力人群数据集、(b)教育机构、(c)电影中的暴力行为、(d)Kaggle斗殴检测数据集以及(e)曲棍球斗殴数据集上损失随迭代次数变化的情况。在图8b中,对应于教育机构的数据集,也观察到了类似的损失下降趋势。根据表4,在学习率为0.001的情况下,损失从1.59 × 10^-4开始,在5000次迭代后降至2.31 × 10^-7。较小的学习率会导致更慢的收敛速度,这与图表中的线条一致。
图8c展示了电影中暴力行为数据的损失曲线。表5显示,在5000次迭代过程中,损失从1.42 × 10^-5急剧降至1.85 × 10^-9。在第5000次迭代时,损失最小化到大约1.89 × 10^-9,表明训练进展良好。这种陡峭的损失曲线支持了电影数据集易于分类的观点。图8d展示了Kaggle斗殴检测数据集的情况,损失从1.51 × 10^-5开始(在1000次迭代时,见表6),并在5000次迭代后稳定降至1.89 × 10^-9。这反映了模型的优化过程是稳定且高效的。图8e对应于曲棍球斗殴数据集,根据表7,在学习率为0.001的情况下,损失从1.55 × 10^-4降至2.7 × 10^-7。尽管与其他数据集相比分类性能略低,但在5000次迭代后损失仍逐渐但稳定地趋于收敛。
图8中的损失曲线表明,所提出的技术能够在不同的数据集上保持有效的收敛性。我们通过使用实际的阳性率和假阳性率绘制各种性能指标图表,进一步评估了该方法的有效性。图9简要展示了每个数据集的性能比较,包括准确率、精确度、召回率和F1分数等指标。所有指标均在[0, 1]范围内进行了归一化。表7使用混淆矩阵统计和标准分类指标,对基于DFFB的模型在多个基准数据集上的性能进行了评估。
在讨论部分,我们将每个数据集的结果与最新的先进技术进行了比较。表8和图9提供了所提出的方法与几种基线方法在五个基准数据集上的详细性能对比。实验数据显示,所提出的方法具有竞争力。然而,Conv3D和改进的Fisher向量在某些数据集上表现优异(例如,在电影场景中达到99.9%,在人群数据中达到96.4%),但在跨领域的泛化能力上有所不足。经典方法如带VIF的SVM或STIP,在涉及人群动态或教育机构的复杂场景中准确性较低。我们的方法不仅提供了更高的准确性(高达99%),而且在所有评估环境中的表现都十分稳健,证明了其在实际应用中的有效性。对于与电影中的异常活动、人群中的暴力行为和曲棍球斗殴相关的数据集,基于3D的技术分别取得了99.9%、98%和96%的准确性结果[35]。为了识别可疑活动,还应用了一种基于AdaBoost的特征挖掘和SVM分类器的技术,在人群和曲棍球斗殴数据集上的准确性分别为88%和87.50%[36]。该技术的开发者[37]改进了Fisher向量方法,并采用了滑动窗口方法来检测暴力行为,在暴力人群、暴力电影和曲棍球斗殴数据集上的准确率分别为99.5%、96.4%和93.7%。
最近的一种Hough森林技术与2D CNN结合使用,已经在电影数据上实现了99%的准确性,在曲棍球数据上实现了94.6%的准确性[38]。在另一个方法[23]中,使用SVM、词袋(BoW)描述符和时空兴趣点(STIP)描述符对视频中的暴力行为进行了分类,准确率分别为82.90%和81.3%[24]。此外,我们还将其结果与另一种基于运动模糊和随机森林(RF)的方法[39]进行了对比,该方法的准确率为96.9%。Ben-Musa等人提出了一种基于直方图的技术[40],用于在暴力人群数据库中识别异常行为,准确率为82.2%。另一种方法[39]使用了随机森林(RF)来快速识别战斗场景,准确率为96.9%。还有其他方法[41]使用ACub-SVM分类器在考试期间检测教育机构中的可疑活动,准确率为98%。一种基于卷积3D网络的方法[20]用于检测考试中的可疑行为,准确率为97.6%。YOLOv8(You Only Look Once第8版)模型用于检测拥挤场所中的可疑行为,准确率为95%[42]。基于CNN的SlowFast模型[43]实现了100%的准确率,展示了双路径架构在捕捉空间语义和快速运动线索方面的有效性。LSTM模型[44]的准确率为98.87%,验证了其在处理视频序列中长期时间依赖性的能力。与这些方法相比,所提出的方法也实现了99%的准确率,同时保持了计算效率。
在这项工作中,我们提出了一种基于深度融合特征块(DFFB)和GMM_Conv3D模型的方法,用于分类可疑活动和非可疑活动。我们在人群数据集[24]、教育机构视频、电影数据集[23]、Kaggle斗殴检测数据集以及曲棍球斗殴数据集[23]上分别获得了99%、97%、99%和96%的准确率。我们还在表8和图10中比较了各个基准数据集上的准确率:电影数据集为99.9%,暴力人群数据集为99%,曲棍球斗殴数据集为96%。表8基于总体准确率,将所提出的方法与现有技术进行了对比。
所有实验都在配备了Intel Core i7处理器、32 GB RAM和8 GB内存的NVIDIA GPU的工作站上进行。软件实现使用了Python 3.13和标准深度学习库。训练阶段是离线进行的,每个数据集大约需要2-3小时,具体取决于视频长度和数据集大小。训练是一次性成本,不会影响实时部署。
实验结果表明,所提出的方法在五个不同的数据集上都实现了高分类准确率(96%至99%),具有稳健的收敛性和低损失值。所提出的模型在不同学习率和迭代次数下均保持了计算效率,展示了其可扩展性和可靠性。在这项研究中,我们提出了一种基于深度融合特征块(DFFB)和GMM_Conv3D模型的新方法,用于分类监控视频中的可疑行为和非可疑行为。在初始阶段,使用基于GMM的背景减法和斑点提取技术提取了关键斑点和重要帧序列。使用大量帧可以有效降低计算复杂性,同时不牺牲检测准确性。提取的融合特征块包含PCA_HOG、运动HOG和Conv3D特征,然后传递给预训练的GM-CNN3D模型。该模型在四个基准数据集和一个新数据集上进行了评估,结果特征表示通过Softmax分类器进行分类。我们的方法在人群数据集、教育机构视频、电影数据集、Kaggle斗殴检测数据集以及曲棍球斗殴数据集上的准确率分别为99%、97%、99%和96%。
4.3. 硬件配置
所有实验均在配备Intel Core i7处理器、32 GB RAM和8 GB内存的NVIDIA GPU的工作站上进行。软件实现使用了Python 3.13和标准深度学习库。训练阶段是离线进行的,每个数据集大约需要2-3小时,具体取决于视频长度和数据集大小。训练是一次性成本,不影响实时部署。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号