保持推理不变性以实现缺失模态下的鲁棒多模态暴力检测

《Information Fusion》：Maintaining Reasoning Invariance for Robust Multimodal Violence Detection with Missing Modality

　　

• •
  建立了首个针对多模态暴力检测缺失数据的基准测试。
• •
  迁移推理拓扑以纠正蒸馏中僵化的特征对齐。
• •
  对齐语义流形以缓解异步线索引发的冲突。
• •
  性能超越现有最优方法，并验证了其模型无关性和任务无关性。

引言

多模态暴力检测（MVD）已成为智能城市和在线审核领域的一项关键研究领域，旨在从多模态数据流中自动识别暴力事件 [1]，[2]，[3]。通过融合来自不同模态的互补信息，如用于外观的RGB帧、用于运动的optical flow以及用于环境声音的音频，MVD系统能够取得优于单模态系统的性能 [4]。为缓解帧级标注的高昂成本，该领域主要趋向于弱监督学习范式，即模型仅使用视频级标签进行训练。在此设定下，多尺度瓶颈Transformer [5]、MAVD [6]、PiercingEye [7]等先进架构展现出了令人瞩目的能力。然而，这些方法主要在模态完整性的隐含假设下运行，即训练和推理期间所有传感器数据均完美可用。

然而，这一理想化假设在开放世界的部署中很少成立。由于传感器故障、传输错误或环境限制，系统不可避免地会遇到随机模态缺失的情况。更关键的是，由于暴力事件本身具有突发性和对抗性，此类场景下模态缺失往往更为严重 [8]。一旦面对不完整数据，基于完整数据训练的MVD模型将产生不可靠的预测。

为填补这一空白，本文提出了一项新颖且具有实际应用价值的任务，称为缺失模态下的多模态暴力检测（MVD-MM），这是首次尝试在多模态任务框架下探索MVD任务。与其他缺失模态任务中的现有缺失模态问题不同，MVD-MM聚焦于弱监督多模态任务，同时充分考虑了开放环境部署中复杂的数据缺失场景，而该场景仍然缺乏充分探索。

尽管近期研究在多模态情感分析或医学分割等领域设计了抗缺失的鲁棒策略 [9]，[10]，但直接将其应用于MVD-MM仍面临更为复杂的问题。具体而言，现有方法主要分为三类：生成式重建、特征工程和知识蒸馏。生成式重建方法试图从可用特征中重建缺失特征，而特征工程方法（以特征解耦为代表）则旨在将模态不变特征与特定模态特征解耦。然而，在弱监督条件下，它们常常难以应对语义模糊性，引入重建噪声或产生难以承受的优化成本。因此，知识蒸馏（KD）[11] 已成为主流范式。通过将完整模态训练的教师模型的特征或logits迁移至缺失模态的学生模型，KD使学生能够在不增加额外参数或推理成本的情况下应对模态缺失。

然而，通过仔细分析，我们发现传统KD方法在MVD-MM设定下存在两个挑战。首先，如图1(a)所示，传统KD采用刚性对齐，强制学生以数值逼近方式拟合教师的绝对特征值，这在弱监督设定下优化难度极高。在关键模态缺失时，学生模型往往会陷入困惑并学习到错误的关联关系——当视觉线索缺失时，将背景噪声与暴力标签相关联，导致严重的误报。其次，如图1(b)所示，暴力行为表现出高度的时序异步性。不同模态的语义线索被捕获后，在不同的时间尺度上才变得具有判别力。这种负面影响在模态缺失条件下会被放大，因为互补流的缺失使模型无法补偿时序错位的证据，从而在弱监督下加剧优化冲突。由上述两个问题衍生而来，图1(c)中所示的学生模型无法保持教师模型的推理不变性，直接导致特征空间的严重坍塌，使模型无法将暴力事件与背景噪声区分开来。

为此，本文提出了一种创新的框架，称为推理不变性保持（RIP），专为MVD-MM的特殊挑战而设计，倡导从刚性的知识迁移向保持推理行为的根本性KD范式转变。具体而言，该框架由两个新颖且协同的组件构成：推理拓扑保持（RTP）和混合一致性保持（HCC）。

首先，为避免刚性对齐引发的错误关联，RTP强制学生继承教师的推理拓扑。与强制学生以绝对特征值对齐教师的方法不同，我们专注于提取全模态训练的教师模型的注意力拓扑并将其迁移至缺失模态的学生模型。通过最小化注意力图之间的结构偏差，该模块强制学生学习教师的关键决策路径。这鼓励学生仍然能够学习教师的推理策略并维持推理过程，从而在不遭受特征级别误对齐的情况下弥合由模态缺失造成的认知差距。

其次，为缓解时序异步线索引发的检测冲突，HCC在双重维度上强制一致性：模态间一致性约束（IMCC）对齐共存模态的语义流形以解决跨视图差异，而融合信息保持约束（FIPC）确保潜空间内的统计完整性。此外，为稳定此多目标学习，基于方差的协同调节机制动态调控梯度流，自动降低冲突更新的权重以优先保证可靠的优化方向。本文的主要贡献总结如下三个方面：

• •
  基准贡献： 据我们所知，本文是首次在MVD中研究缺失模态问题的尝试，并进一步提出了一项开创性且具有实际应用价值的任务——MVD-MM，以促进在不完整多模态数据条件下鲁棒MVD框架的研究。
• •
  方法贡献： 我们提出了一种专为MVD-MM设计的创新RIP方法，结合了推理拓扑保持和混合一致性约束，并通过动态协同机制以蒸馏范式训练鲁棒的MVD模型。
• •
  实验贡献： 大量实验结果证明了我们方法的有效性，性能优于竞争性抗缺失方法。值得注意的是，我们的方法具有任务无关性和模型无关性，即使在资源受限条件下仍能保持优越性能。

章节摘要

多模态暴力检测

多模态暴力检测（MVD）旨在通过融合多样的感知数据（如RGB帧、光流和音频信号）来识别复杂视频流中的暴力事件。早期方法主要依赖精心设计的特征 [12] 和启发式融合策略 [13]，难以捕捉非线性的跨模态关联。深度学习的兴起彻底改变了这一格局，将范式转向端到端的特征学习。相关研究

缺失模态下的多模态暴力检测

在本节中，我们正式定义了弱监督缺失模态下的多模态暴力检测（MVD-MM）任务，并详细阐述了用于解决该挑战的基准范式。该形式化定义为我们提出的框架奠定了基础。

方法论

为有效应对弱监督暴力检测中的模态缺失挑战，我们提出了一种新颖的知识蒸馏范式，称为推理不变性保持（RIP）。如图2所示，与常规方法不同，我们的核心洞察在于：虽然原始多模态输入可能随机缺失，但推理拓扑应当保持不变。给定一个完整模态的教师模型和一个缺失模态的学生模型，推理不变性意味着

实验

在本节中，我们进行了全面评估以验证RIP框架的有效性。我们的实验旨在回答五个关键研究问题（RQ）：

• •
  RQ1：RIP能否有效缓解随机模态缺失下MVD系统中存在的差距并超越现有最优方法？
• •
  RQ2：RIP框架是否具有模型无关性和任务无关性，能否在不同的骨干架构和基准上保持鲁棒性？
• •
  RQ3：所提出的范式是否能够实现更强的

结论

本文提出了一项开创性的任务——缺失模态下的多模态暴力检测（MVD-MM），以填补开放世界部署中的关键空白。我们发现，在弱监督与不完整数据条件下，直接应用传统抗缺失策略会导致严重的表示空间坍塌，从根本上破坏了鲁棒检测所需的推理不变性。为此，我们提出了推理不变性保持（RIP）框架

CRediT作者贡献声明

Jianan Zhu：写作 – 初稿撰写，方法论，调查研究，形式化分析，概念构思。Yanming Guo：监督指导，数据整理。Zheng Li：写作 – 审阅与编辑。Lai Kang：可视化，调查研究。Zhaoyun Ding：验证，数据整理。Mingrui Lao：写作 – 审阅与编辑，监督指导。

利益冲突声明

作者声明不存在已知可能影响本文所报告工作的竞争性经济利益或个人关系。

Jianan Zhu|Yanming Guo|Zheng Li|Lai Kang|Zhaoyun Ding|Mingrui Lao