《Information Fusion》:Learning from Incomplete Signals: Multi-View Knowledge Distillation for Robust Harmful Micro-Video Detection
编辑推荐:
•我们指出了有害微视频检测中一个被忽视的挑战——多层级不完整问题。•我们引入了三个包含模态级和片段级缺失的真实世界基准数据集。•我们提出了MVKD框架,通过迁移多视图知识来实现不完整输入下的鲁棒检测。•MVKD在跨领域和跨时间维度上均实现了更优的准确性、鲁棒性和泛化能力。•M
- •
我们指出了有害微视频检测中一个被忽视的挑战——多层级不完整问题。
- •
我们引入了三个包含模态级和片段级缺失的真实世界基准数据集。
- •
我们提出了MVKD框架,通过迁移多视图知识来实现不完整输入下的鲁棒检测。
- •
MVKD在跨领域和跨时间维度上均实现了更优的准确性、鲁棒性和泛化能力。
- •
MVKD在该任务上还超越了强大的多模态基线方法和大语言模型(LLM)。
引言
TikTok和Instagram Reels等微视频平台的普及从根本上重塑了线上信息的消费和传播方式[1]。然而,这一变革也加速了包含仇恨或误导性内容的有害微视频的传播[2], [3], [4], [5],侵蚀了社会信任并导致心理和社会层面的伤害。迫切需要对这类内容进行检测和缓解,这要求构建能够在大规模场景下运行的鲁棒多模态检测系统。
近期的研究进展通过利用丰富的多模态信号探索了多种应对策略,包括视觉-语音线索[6]、社会上下文[4]、视频创作过程[7]、隐含观点[8]、跨模态一致性[9]以及基于大语言模型(LLM)的知识增强[10]。尽管这些工作展现了良好的前景,但它们通常假设所有模态(如视频、音频和文本)都是完整且可靠可用的。这一假设在真实场景中并不成立,因为微视频经常出现两种不完整情况:(1) 模态级不完整,例如由于上传问题或元数据缺失导致的标题缺失,以及(2) 片段级损坏,例如模糊帧、音频失真或出于隐私原因的故意遮盖[11], [12], [13], [14]。
尽管先前的研究尝试在情感分析等相关任务中解决模态不完整问题[15], [16],但这些方法通常将每个实例孤立处理,仅依赖于该实例内可用的模态。此类策略在片段不完整场景下是不充分的,因为后者需要在实例间有效迁移模态特定知识以弥补缺失片段。因此,这些模型在现实部署场景中往往缺乏鲁棒性和泛化能力。
为应对上述局限性,我们引入了三个真实世界基准数据集:
HateMMMISS、FakeSVMISS和FakeTTMISS,系统性地评估在不同程度的模态级和片段级不完整条件下的有害微视频检测性能。我们进一步提出了MVKD,一种多视图知识蒸馏(Multi-View Knowledge Distillation)框架,专为该场景设计。MVKD (1) 执行置信度感知的模态级蒸馏,以捕获并迁移可靠的模态特定知识,从而在缺失条件下实现重建和增强;(2) 采用双层对比蒸馏,以增强跨样本和跨领域的可泛化表示;(3) 通过多视图专家混合架构整合互补信息,确保最终预测的鲁棒性。
我们的主要贡献如下:
- •
我们识别并系统研究了有害微视频检测中多层级不完整的挑战,引入了三个涵盖模态级和片段级缺失的真实世界基准数据集。
- •
我们提出了MVKD,一种多视图知识蒸馏框架,通过迁移模态特定、样本级和领域级知识,增强不完整输入场景下的鲁棒性。
- •
在三个基准数据集上的大量实验表明,MVKD在各种缺失模式下均持续提升了检测准确性和鲁棒性,并能良好地泛化到先前未见的领域。
章节摘要
有害微视频检测
有害微视频检测是一项新兴任务,旨在识别短视频平台上的误导性、仇恨或其他有害内容[3], [17], [18], [19], [20]。早期工作包括FANVM[21],其采用对抗网络提取主题不变特征,以及TikTec[6],其利用标题信号来捕获错误信息模式。更近期的方法引入了更丰富的架构:SV-FEND[4]采用了基于Transformer的模型进行多模态融合,而
预备知识
数据集构建。 我们将有害微视频检测定义为识别传达虚假或误导性信息或包含仇恨内容的短视频的任务。基于三个广泛使用的有害微视频检测基准数据集HateMM[2]、FakeSV[4]和FakeTT[7],我们通过(1)引入缺失模态模式和(2)设计缺失片段案例,构建了三个对应的多层级不完整基准数据集:HateMMMISS、FakeSVMISS和FakeTTMISS。为了模拟
方法论
模型概述。
图4展示了MVKD的整体架构,这是一种专为多层级模态不完整条件下鲁棒有害微视频检测而设计的多视图知识蒸馏框架。在训练过程中,MVKD包含以下关键组件:(1) 多视图知识编码:将可用模态融合为统一表示,并进一步解耦为域不变和域特定组件。这种分离促进了泛化
实验
我们进行了大量实验以评估MVKD的有效性、效率和泛化能力,旨在回答以下研究问题(RQs):
- •
RQ1:MVKD是否提升了跨多个领域的有害微视频检测性能?
- •
RQ2:MVKD的各个组件效果如何?
- •
RQ3:MVKD中每个组件对整体检测性能的贡献是什么?
- •
RQ4:MVKD能否增强有害微视频检测模型的领域泛化能力?
- •
RQ5:如何
实现细节
所有实验均采用五折交叉验证进行,各折之间无事件重叠。每个数据集按4:1的比例划分为训练集和测试集。对于文本输入,我们使用最大序列长度为100个令牌。对于HateMMMISS和FakeTTMISS,我们采用无大小写区分的BERT-base模型[39];对于FakeSVMISS,我们采用中文BERT-base模型[39]。
对于MVKD,我们将温度参数。模型使用Adam优化器进行优化,学习率为,批大小为
结论
本文研究了在现实条件(多模态输入通常不完整)下检测有害微视频的挑战。我们引入了三个基准数据集,系统性地捕获了模态级和片段级的不完整情况。为应对这种不完整问题,我们提出了MVKD框架,该框架迁移可靠的多视图知识,并通过专家混合机制整合信息。大量实验表明,MVKD持续提升了鲁棒性
CRediT作者贡献声明
Zhi Zeng:论文初稿撰写、可视化、验证、软件、资源、项目管理、方法论、正式分析、数据整理、概念化。Jiaying Wu:论文审校与编辑。Xulang Zhang:论文审校与编辑。Xiangzheng Kong:方法论、数据整理。Herun Wan:方法论。Guodong Li:正式分析、数据整理。Qika Lin:论文审校与编辑。Minnan Luo:论文审校与编辑、监督指导。Erik Cambria:论文审校与编辑,
利益冲突声明
作者声明不存在可能影响本文所报告工作的已知竞争性经济利益或个人关系。
Zhi Zeng|Jiaying Wu|Xulang Zhang|Xiangzheng Kong|Herun Wan|Guodong Li|Qika Lin|Minnan Luo|Erik Cambria