《Array》:Dual-stream audio-visual Transformer fusion for harmful video content detection
编辑推荐:
短视频平台的快速增长加剧了年轻受众对有害内容的接触,给自动化内容审核带来了严峻挑战。现有方法或仅依赖视觉信息,或仅通过手工设计的特征或自动语音识别(Automatic Speech Recognition, ASR)转录文本来引入音频,忽视了原始音频波形中蕴含
短视频平台的快速增长加剧了年轻受众对有害内容的接触,给自动化内容审核带来了严峻挑战。现有方法或仅依赖视觉信息,或仅通过手工设计的特征或自动语音识别(Automatic Speech Recognition, ASR)转录文本来引入音频,忽视了原始音频波形中蕴含的丰富时序信息。研究人员提出了一种双流(dual-stream)架构,将PE Core Vision Transformer(ViT)用于视觉编码,Wav2Vec2用于原始波形声学编码,这一组合此前尚未在面向儿童的短视频平台有害视频检测中被探索。两种嵌入通过一个专用的Transformer融合模块与一个可学习的分类令牌[CLS]进行融合。该架构在三个覆盖互补领域的公开基准上进行了评估:TikHarm(TikTok,四分类)、MMOB(卡通动画,二分类)和SAFEPLAY(游戏画面,二分类及三分类)。研究人员的系统在TikHarm上取得了91.05%的宏平均F1分数(macro F1),以1.60%的优势超越了已发表的最佳结果,尽管该竞争系统同时利用了光学字符识别(Optical Character Recognition, OCR)和ASR。在MMOB上,系统达到了98.95%的准确率和98.78%的macro F1,相比基于CLIP的基线提升了17.46%。在SAFEPLAY子任务2(SubTask 2)上,系统取得了已报告的最佳性能——85.17%的macro F1(提升3.46%)。这些结果表明,采用Transformer模块的端到端音视融合能够在异构内容域上实现一致的性能表现,每个域均独立微调,无需针对特定域的架构适配。
**论文解读:双流音视Transformer融合用于有害视频内容检测**
**一、研究背景与问题**
短视频平台已深刻改变了数字内容的消费方式,尤其在儿童和青少年群体中影响深远。TikTok每小时产生数万条新视频,YouTube每分钟上传超过500小时视频,其短视频形式YouTube Shorts日均浏览量超过2000亿次。这种空前的视听资料体量在拓宽教育、文化和娱乐内容获取渠道的同时,也使有害内容得以广泛传播,对未成年人的心理、情感和行为发展构成潜在威胁。有害内容的表现形式不断演变,涵盖暴力描绘、色情内容、仇恨言论、反社会行为和危险活动,甚至包括嵌入在看似无害视频中的心理干扰性音轨。恶意行为者利用流行角色、吸引眼球的缩略图和误导性标题引诱年轻观众。其中最具欺骗性的策略之一是在看似无害的视频中孤立地嵌入有害视觉帧或音频片段,蓄意规避自动化内容过滤器。
目前,有害视频内容检测面临两个核心瓶颈。其一,纯视觉分析存在固有局限:一个视频在帧层面可能完全无害,却携带令人不安的音轨,反之亦然。其二,尽管已有研究探索联合音视建模,但现有多模态方法仍依赖手工设计的声学特征(如梅尔频率倒谱系数,MFCC)或ASR转录文本,丧失了原始波形中丰富的时序结构信息。此外,现有面向TikTok儿童安全的最强基线系统TikGuard完全依赖视觉帧,系统性地丢弃了声学信号。因此,开发一种能够端到端处理原始音频波形并有效融合视觉与声学信息的多模态架构,成为亟待解决的关键问题。
**二、研究概述与意义**
研究人员提出了一种双流多模态分类架构,将PE Core ViT用于视觉编码、Wav2Vec2用于原始波形声学编码,并通过一个专用的Transformer融合模块与可学习的[CLS]令牌进行跨模态融合。该组合此前未被探索用于面向儿童的短视频平台有害视频检测。系统在TikHarm(TikTok短视频,四分类)、MMOB(卡通动画,二分类)和SAFEPLAY(游戏画面,二分类及三分类)三个结构迥异的公开基准上进行了独立训练和评估,在四个评估子任务中的三个上取得了最优性能:TikHarm上macro F1达91.05%,超越已发表最佳多模态系统1.60%;MMOB上准确率达98.95%,较CLIP基线提升17.46%;SAFEPLAY子任务2上macro F1达85.17%,提升3.46%。研究表明,PE Core ViT和Wav2Vec2的预训练表征经独立微调后,能够在TikTok短视频、卡通动画和游戏视频等异构内容类型上实现一致的性能表现,无需针对特定域的架构适配。这一成果为面向儿童在线安全的自动化内容审核提供了新的技术路径。
**三、关键技术方法**
研究人员采用了以下主要技术方法。视觉分支:使用在timm库中提供的PE Core ViT作为视觉骨干网络,对每个视频均匀采样T=16帧,经色彩空间转换和空间归一化后编码为768维嵌入,再通过时间平均池化得到视频级表征。音频分支:使用Wav2Vec2-base(facebook/wav2vec2-base)直接在原始波形上操作,音频经单声道转换、16kHz重采样和10秒截断后编码为等维的768维嵌入。融合模块:将两种嵌入分别投影至512维共享空间,与可学习的[CLS]令牌组成三令牌序列,送入两层、8头注意力的Transformer编码器进行全局跨模态交互建模。[CLS]输出经层归一化、Dropout和线性层完成四分类预测。训练策略:采用AdamW优化器(学习率η=1×10
-5,权重衰减λ=0.01)、OneCycleLR调度(10%线性预热后余弦退火)、梯度范数裁剪(γ=1.0)和自动混合精度(AMP),训练10轮,批量大小B=4,以验证集macro F1为模型选择标准。可解释性框架:视觉侧采用Grad-CAM,音频侧采用Gradient × Input归因方法。评估数据集来源:TikHarm(4723个TikTok短视频,官方70/10/20划分)、MMOB(基于MOB数据集的1903个10秒卡通片段,分层70/10/20划分)、SAFEPLAY(37299个5秒游戏片段,视频级70/10/20划分)。
**四、研究结果**
**消融研究:融合策略比较。** 研究人员在TikHarm上对比了五种融合策略(加权求和、拼接、门控融合、交叉注意力和Transformer融合),保持所有其他组件不变。Transformer融合在所有指标上表现最优(准确率91.14%,macro F1 91.05%),比简单拼接高出1.68%的F1,比加权求和高出2.09%。门控融合与拼接性能相当(89.49%准确率),表明标量加权不足以捕捉两种模态流之间的语义互补性。
**控制实验:区分模型容量与真正的跨模态交互。** 为排除融合增益仅来自参数增量的可能性,研究人员设计了容量匹配控制实验,将融合Transformer替换为参数数量相当的双层MLP(约709万参数),该MLP在拼接嵌入上仅达到89.35% F1,与简单拼接基线持平,确认融合增益来自注意力机制本身。此外,令牌级融合变体(保留16个帧级视觉令牌和10个一秒音频段嵌入,共27个令牌)取得了90.02% F1,与池化三令牌融合相当但无额外提升,表明TikHarm上与分类相关的信号主要具有全局性质而非集中在特定帧或短音频片段上。
**TikHarm结果。** 单模态基线显示:纯音频(Wav2Vec2)仅达62.07% F1,纯视频PE Core ViT达89.43% F1,已超越已发表最佳结果。多模态融合在视频基础上进一步提升1.62%至91.05% F1,超越利用OCR和ASR的最佳已发表多模态系统1.60%。跨五个随机种子的macro F1为90.57%±0.69%,单样本t检验确认提升具有统计显著性。逐类分析显示:Suicide类召回率最高(96.95%),Harmful类最低(81.82%),其中13个样本(6.6%)被误分类为Safe、13个样本被误分类为Suicide,这构成了从儿童安全角度最严重的错误类型。时长分层分析表明Harmful类召回率随视频时长增加单调下降:≤10秒视频为92.31%,10-20秒为81.97%,20-40秒为73.81%,>40秒降至71.43%,这主要源于10秒音频截断策略。安全导向的阈值分析显示,要达到Harmful类90%召回率需将决策阈值降至0.02,此时需人工审核71.0%的测试样本。定性错误分析揭示了系统性的语义模糊性:Harmful到Safe混淆(13例)源于缺乏明确的暴力或性暗示视觉标记;Harmful到Suicide混淆(13例)源于视觉黑暗/情绪化场景的语义重叠。
**定性多模态可解释性。** 对一例正确预测为Suicide类的TikHarm样本(置信度93.1%)的分析显示:Grad-CAM空间显著图一致聚焦于画面内嵌文本提示(如"the absolute worst part of being sober"),PE Core ViT的大规模预训练使其能将在帧文本视为一级视觉特征而无需OCR管线;Gradient × Input音频显著图揭示了一个声学结构与背景音乐明显不同的关键区域。两种模态的收敛证据使[CLS]令牌积累了强判别性多模态表征。对两例Harmful被误分类为Safe的失败案例的分析表明:当预测错误时,两种模态的显著图均呈弥散分布且不收敛,与正确高置信度预测形成鲜明对比。
**MMOB结果。** 在380个测试样本上,良性类召回率达99.16%(仅1例误分类),恶意类召回率达98.85%(仅3例漏检)。系统以98.95%准确率和98.78% macro F1超越CLIP+AudioCLIP基线17.46%。跨五个随机种子的准确率为98.52%±0.51%。值得注意的是,研究人员的评估集(1903个片段,恶意类居多)与基线所用版本(1135个视频,良性类居多)在规模、类别平衡和训练协议上均存在差异,因此该增益应被理解为端到端音视微调结合注意力融合在该类问题上的潜力指标。
**SAFEPLAY结果。** 子任务1(二分类)上,系统macro F1达95.77%,与最佳已发表多模态系统(95.91%)仅差0.14%,该微小差距可能归因于竞争系统使用了针对游戏画面优化的3D卷积编码器MC3_18。子任务2(三分类)上,系统macro F1达85.17%,超越最佳已发表多模态系统3.46%。威胁暴力类召回率最低(83.62%),易与致命暴力类混淆;致命暴力类召回率最高(86.42%),可能因其更具辨识度的音视特征。跨五个随机种子的macro F1为83.61%±0.94%。
**计算复杂度。** 完整架构包含194.36M可训练参数,其中两个预训练编码器占96.3%,融合模块仅占3.7%(7.10M参数)。单视频端到端推理延迟均值为637.0毫秒,吞吐量约94个视频/分钟,但网络计算本身仅占总延迟的18.1%,主要瓶颈为视频解码与帧采样(71.0%)。峰值GPU内存占用为953.2 MB。
**五、讨论与结论**
讨论部分围绕四个要点展开。第一,Transformer融合的优越性:消融研究和容量匹配控制实验共同证实,融合增益来源于注意力机制捕捉的跨模态依赖关系,而非参数容量扩张。第二,模态互补性:尽管TikHarm上音频流单独表现较弱(62.07% F1),但将其与视频融合仍持续提升整体性能,表明融合模块能够从音频中提取互补的判别信号。第三,视频模态的主导地位:视频始终是最具判别力的模态,这与先前研究的结论一致。第四,跨异构域的一致性:三个结构不同域上的独立训练和评估均取得提升,表明PE Core ViT和Wav2Vec2的预训练表征在微调后具有广泛的适用性。
研究结论翻译为:本文提出了一种用于有害视频内容检测的双流多模态架构,通过两个最先进的预训练Transformer编码器——PE Core ViT和Wav2Vec2——分别对视觉帧和原始音频波形进行联合编码,并通过专用的Transformer融合模块进行表征融合。与以往或丢弃声学模态或将其简化为手工频谱特征与ASR转录的方法不同,该端到端处理原始波形的系统保留了音频信号的完整时序结构,使模型能够捕捉静态融合策略无法检测的细微跨模态不协调。融合模块将池化的视觉和声学令牌投影与可训练的[CLS]令牌组合,通过自注意力建模全局交互,构成了本工作的核心架构贡献。TikHarm上的消融研究表明,该模块较拼接、加权求和、门控融合和交叉注意力四种策略均有优势,macro F1最高提升2.09%。控制实验进一步表明该增益并非源于融合模块的参数增量,且令牌级细粒度变体未提供额外增益,说明池化全局表征已捕获相关跨模态信号。Grad-CAM和Gradient × Input的定性评估表明该架构具有稳健的可解释性。系统在三个结构不同基准的四个评估子任务中的三个上取得最先进结果:TikHarm上91.05% macro F1(超越最佳已发表多模态系统1.60%),MMOB上98.95%准确率(较CLIP基线提升17.46%),SAFEPLAY子任务2上85.17% macro F1(较最佳已发表多模态系统提升3.46%)。研究局限包括:MMOB评估集的类别平衡与真实部署环境不符、TikHarm中Harmful类标注边界存在语义模糊性、所有评估均基于公开研究基准而未涉及生产环境、194.36M参数规模的计算成本、固定16帧采样和10秒音频截断策略导致长视频上的性能衰减、以及部分任务上相较现有方法的增益幅度有限。未来研究方向包括:引入WavLM-large或HuBERT-large等更大规模声学模型以提升音频表征能力;探索类别加权或焦点损失(focal loss)函数以加强对Harmful类困难样本的学习;开发能够定位视频中关键帧或音频片段的时间注意力机制,从视频级分类走向细粒度片段级检测;以及针对游戏领域数据对视频骨干网络进行域自适应微调。