多模态DynaST:面向弱监督视频异常检测的动态样本选择与时间上下文聚合多模态框架

《IEEE Transactions on Aerospace and Electronic Systems》:Multimodal DynaST: A Multimodal Framework With Dynamic Sample Selection and Temporal Context Aggregation for Weakly Supervised Video Anomaly Detection

【字体: 大 中 小 】 时间:2026年09月23日 来源:IEEE Transactions on Aerospace and Electronic Systems 7.0

编辑推荐:

  弱监督视频异常检测(Weakly Supervised Video Anomaly Detection, WSVAD)通过仅使用视频级标签进行训练,降低了标注成本。然而,现有方法常常遭受时间建模不足和噪声监督的困扰,这限制了异常定位性能。为了解决这些问题,本文

  
弱监督视频异常检测(Weakly Supervised Video Anomaly Detection, WSVAD)通过仅使用视频级标签进行训练,降低了标注成本。然而,现有方法常常遭受时间建模不足和噪声监督的困扰,这限制了异常定位性能。为了解决这些问题,本文提出了多模态DynaST,一种用于弱监督视频异常检测的多模态框架。设计了一个时间上下文聚合模块(Temporal Context Aggregation Module, TCAM),通过全局-局部注意力机制捕获全局时间依赖和局部上下文一致性。同时,一种动态样本选择(Dynamic Sample Selection, DSS)策略根据预测置信度和时间稳定性逐步识别可靠的训练片段,减少了噪声监督的影响。此外,特征对齐机制(Feature Alignment Mechanism, FAM)将视觉表示与语义原型对齐,以增强特征判别性。还引入了一个辅助音频分支,通过决策级融合提供互补的声学线索。在UCF-Crime、ShanghaiTech和XD-Violence上的实验结果表明了所提出方法的有效性。多模态DynaST在UCF-Crime和ShanghaiTech上分别实现了86.97%和98.25%的帧级AUC,并在XD-Violence上获得了79.29%的AP。消融研究进一步证实了每个组件的有效性以及多模态学习对鲁棒异常检测的益处。
**论文解读:多模态DynaST框架用于弱监督视频异常检测**

**1. 研究背景与问题**
随着智能监控基础设施的快速普及,公共安全、交通监控和工业检测等实际场景中持续产生海量视频数据。从大规模监控流中自动识别异常事件对提升城市安全、应急响应能力和监控效率至关重要。然而,真实场景中的异常检测因异常事件的稀缺性、不可预测性和上下文多样性而极具挑战性。传统视频异常检测方法主要依赖视觉信息,在复杂环境中常导致场景理解不完整。类似人类通过视觉和听觉共同感知周围事件,音频信息可为识别仅靠视觉信号难以发现的异常活动提供互补线索。多模态感知对于处理拥挤场景、遮挡、光照变化和模糊运动模式尤为重要。尽管多模态表示有效,但获取大规模监控视频的精确帧级标注极其耗费人力且经济上不可行。为降低标注依赖,弱监督视频异常检测(WSVAD)仅利用视频级标签,在标注成本与检测性能之间取得了较好的平衡。多数现有WSVAD方法基于多示例学习(MIL)框架,但仍存在两个主要局限:一是时间依赖建模不足,难以捕获视频片段间的长程上下文关系;二是弱标签引入的噪声监督可能显著降低优化稳定性和异常定位精度。此外,大多数现有方法仅关注视觉表示,忽略了音频等辅助模态的互补信息。为此,研究人员在前期会议工作基础上提出了多模态DynaST框架,联合增强时间建模能力和训练鲁棒性。

**2. 研究内容与总体结论**
该研究提出了多模态DynaST,一种多模态弱监督视频异常检测框架。具体而言,采用时间上下文聚合模块(TCAM)捕获跨片段的长程时间依赖,改善上下文表示学习;采用动态样本选择(DSS)策略逐步识别可靠训练实例,减轻噪声监督的不利影响;引入特征对齐机制(FAM)增强特征判别性。在期刊扩展版本中,进一步引入基于预训练VGGish特征的音频分支,并开发决策级多模态融合策略,联合利用RGB、光流和音频信息实现更鲁棒的异常检测。在UCF-Crime、ShanghaiTech和XD-Violence三个公开基准上的实验表明,多模态DynaST在UCF-Crime和ShanghaiTech上分别达到86.97%和98.25%的帧级AUC,在XD-Violence上达到79.29%的AP,一致优于现有弱监督方法。消融实验证实了各组件及多模态学习的有效性,表明时间上下文建模、动态样本选择、语义对齐与多模态融合的联合设计对鲁棒异常检测有重要贡献。

**3. 主要关键技术方法**
研究采用的主要技术方法包括:时间上下文聚合模块(TCAM),通过全局-局部双分支注意力及动态位置编码捕获长程依赖和局部一致性;动态样本选择(DSS)算法,采用预热、探索、动态优化三阶段策略,根据预测置信度和历史方差选择可靠片段;特征对齐机制(FAM),利用ConceptNet和CLIP生成语义原型,通过余弦相似度约束前景和背景特征;跨模态视觉融合,通过双向交叉注意力整合RGB与光流特征;音频分支,使用预训练VGGish提取音频特征,经TCAM增强后通过决策级加权融合与视觉分数结合。样本队列来自UCF-Crime(1,610训练/290测试)、ShanghaiTech(238训练/199测试)和XD-Violence(3,954训练/800测试)。

**4. 研究结果**
**4.1 与最新方法比较**
在UCF-Crime、ShanghaiTech和XD-Violence上进行对比实验,多模态DynaST均取得最优或竞争性能。在XD-Violence上,AP达79.29%,超过仅用RGB的HL-Net 3.88个百分点,也超过其多模态版本0.65个百分点,说明性能提升不仅源自音频引入,还体现了时间建模、样本选择和多模态融合策略的有效性。

**4.2 TCAM和FAM的消融**
移除TCAM后,UCF-Crime上AUC从86.73%±0.24%降至83.15%±0.33%,ShanghaiTech上从97.98%±0.27%降至93.42%±0.29%;移除FAM分别导致UCF-Crime上降至83.38%±0.26%、ShanghaiTech上降至97.48%±0.31%。完整模型最佳,表明时间建模和语义对齐解决的是弱监督检测中互补的问题。

**4.3 不同模态的影响**
在XD-Violence上,仅用RGB时AP为73.26%±0.28%;加入光流提升至75.66%±0.25%;RGB+音频为75.19%±0.19%;三者联合达到79.08%±0.21%。RGB-光流配置无音频时仍保持较高性能,说明框架不依赖音频,且音频可用时能提供额外互补信息。

**4.4 融合策略分析**
视觉融合中,跨模态注意力机制优于特征拼接和加权融合,通过双向信息交换生成更判别性的视觉表示。音视频集成中,晚期融合策略最优,独立学习各模态特定表示并在决策层整合,避免了早期和中间融合带来的跨模态干扰。

**4.5 动态样本选择分析**
DSS加速了训练早期和中期的收敛,在约第15轮达到峰值,并通过历史预测方差筛选不稳定样本,抑制了后期训练中因噪声伪标签累积引发的性能下降。参数敏感性分析表明,选择系数和历史长度需平衡探索与可靠性。

**4.6 FAM对特征聚类的影响**
t-SNE可视化显示,未使用FAM时正常与异常特征重叠严重;使用FAM后特征更紧凑且分离度更高,说明语义原型对齐有效正则化了特征空间,增大了类间间隔,提升了细粒度异常判别能力。

**4.7 平滑损失的影响**
原始平滑损失容易导致过平滑,使异常分数趋于极端值。改进的自适应平滑损失通过阈值机制仅在分数变化超过预设水平时施加平滑约束,在时间连续性与异常突变敏感性之间取得了更好平衡,生成的异常分数曲线更真实可靠。

**4.8 计算复杂度分析**
多模态DynaST的参数量为16.74M,FLOPs为0.55G,相比会议版本仅增加约12%参数,且明显低于MIST等对比方法,表明在扩展多模态能力的同时保持了较低的计算开销。

**4.9 定性结果**
在UCF-Crime上的可视化显示,所提方法能准确检测大多数异常帧并给正常帧接近零的分数。对于视觉足迹较小的射击事件以及细微模糊的入店行窃事件,检测置信度较低且可能出现误报,反映了弱监督下固有定位困难。

**5. 总结与讨论**
讨论部分指出,尽管已取得较好性能,仍存在若干挑战:不同数据集包含不同的异常类别、场景分布和语义描述,特别是FAM中的语义对齐需要数据集相关的异常知识,直接迁移到未见数据集可能引入域差异。未来研究方向包括域自适应语义对齐、模态不变表示学习,以及将模型扩展到在线异常检测场景和探索更有效的跨模态交互策略。
研究结论可概括为:本文在前期会议工作基础上提出了DynaST的多模态扩展版本,通过在原始时间上下文聚合和动态样本选择框架中融入互补音频线索和多模态融合,实现了弱监督下更鲁棒的异常定位。在UCF-Crime、ShanghaiTech和XD-Violence上的大量实验表明,该框架在所有基准上均取得竞争性能并一致优于现有弱监督方法。全面的消融研究进一步验证了各组成部分的贡献,并凸显了时间上下文建模、动态样本选择、语义对齐与多模态融合相结合对鲁棒异常检测的益处。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号