通过无需训练的LVLM自我优化实现零样本伪造新闻视频检测
《Pattern Recognition》:Enabling zero-shot fake news video detection with training-free self-optimization of LVLMs
【字体:
大
中
小
】
时间:2026年10月24日
来源:Pattern Recognition 9.1
编辑推荐:
我们提出了FSoL,这是首个零样本假新闻视频检测框架。FSoL将大型视觉语言模型(LVLMs)视为通过学习简单视频来自适应更复杂视频的自我学习者。FSoL在所有数据集上的表现都优于现有的强方法,甚至超过了有监督的方法。
随着YouTube和TikTok等视频分享平台的迅速发展,
我们提出了FSoL,这是首个零样本假新闻视频检测框架。FSoL将大型视觉语言模型(LVLMs)视为通过学习简单视频来自适应更复杂视频的自我学习者。FSoL在所有数据集上的表现都优于现有的强方法,甚至超过了有监督的方法。
随着YouTube和TikTok等视频分享平台的迅速发展,新闻视频的传播速度和范围比以往任何时候都要快[1]、[2]、[3]。然而,这些平台的开放性也使得恶意行为者能够传播含有误导性谣言或虚假信息的假新闻视频,从而破坏公众信任,并对弱势群体造成不成比例的伤害[4]、[5]、[6]。因此,开发强大的假新闻视频检测(FNVD)技术对于保护在线信息生态系统是一个紧迫且实际重要的问题。由于欺骗手段的多样性和微妙性,再加上新闻事件的快速演变,及时检测虚假内容仍然极具挑战性[7]、[8]。大多数现有方法主要依赖于大规模标注的新闻视频来训练或微调模型,以有效捕捉欺骗模式[9]、[10]、[11]。随着大型视觉语言模型(LVLMs)[12]、[13]的快速发展,最近的研究进一步探索了端到端微调LVLMs或在训练特定任务分类头时冻结LVLMs backbone的方法[14]、[15]、[16]。然而,所有这些方法都是基于注释的,需要完整的监督才能准确识别假新闻视频,这存在以下局限性:
**局限性1:高昂的成本和劳动密集型的新闻视频标注。**现有方法严重依赖大规模标注的新闻视频来进行模型训练或微调(见图1)[10]、[17]。然而,获取丰富且高质量的新闻视频注释本质上是非常困难且劳动密集型的,需要大量的时间、成本和领域特定的专业知识。实际上,这样的注释资源很少能够保证,而且经常受到预算限制、验证延迟或可靠事实核查来源访问受限的影响。因此,对大规模注释的过度依赖严重限制了现有有监督FNVD方法的鲁棒性、可扩展性和实际应用能力,当注释的质量或数量无法保证时,可能会导致性能下降[18]、[19]。
**局限性2:对快速演变的新闻事件的适应能力有限以及重新训练的依赖性。**假新闻视频检测本质上是时间敏感的,因为现实世界的声明、叙述和欺骗策略会随着时间的推移而迅速变化[8]、[20]、[21]。在历史基准或静态数据集上训练的模型往往难以泛化到新出现的新新闻事件,导致离线评估性能与实际部署效果之间的差距越来越大[22]。尽管收集新的注释进行训练可以部分缓解这个问题,但注释过程本身非常耗时,并且不可避免地会引入延迟。此外,合并新标注的数据通常需要重复模型重新训练或微调,这会产生成本高昂的计算成本。这种依赖重新训练的流程不适合动态和快速变化的新闻环境,突显了需要不需要持续重新训练就能适应新内容的检测方法。
在本文中,为了实现无需训练的零样本FNVD检测,我们做出了以下两项观察:
**观察1:**不同的新闻视频展示出不同程度的检测难度。一些视频公然推广虚假叙述,使得它们相对容易检测,而其他视频则以更巧妙的方式隐藏欺骗,将误导性信息嵌入其中,使其更难识别。值得注意的是,这些显性的假新闻视频可以为检测同一主题内更微妙和隐蔽的欺骗形式提供有价值的“先验知识”。直观地说,如果一个模型能够首先从这些显性的欺骗性视频中收集先验知识,它就可以有效地帮助识别其他视频中的更微妙的虚假内容。
**观察2:**LVLM作为统计模型,生成的预测概率本质上反映了它们对输出的信心程度[23]、[24]。如图2所示,在FakeSV和FVC数据集上,不同的概率区间对应不同的样本量:更高的概率阈值保留了更少的视频样本。同时,具有更高预测概率的视频一致地实现了更高的检测准确性,表明模型概率与分类可靠性之间存在正相关。综上所述,这些观察结果表明,高概率视频更可能包含LVLM能够正确识别的显性虚假内容,而低概率视频往往涉及更微妙或隐性的错误信息。因此,这些观察自然引出了以下想法:利用来自容易识别的假视频的高信心预测来提取可转移的信号,从而以无需训练的自我优化方式改进更复杂错误信息的检测。
基于上述观察,我们提出了FSoL,这是首个无需训练和注释的零样本检测框架,它使LVLM能够进行无需训练的自我优化,从而实现更灵活和实用的假新闻视频检测。如图1所示,与之前依赖大规模标注新闻视频和基于参数的有监督学习来检测假新闻视频的方法不同,FSoL消除了对任何注释、基于梯度的优化或模型微调的需求。相反,它直接利用LVLM固有的多模态推理和世界知识,从而使FSoL能够以零样本的方式灵活且立即适应不断出现的假新闻视频。FSoL不是从显性监督中学习,而是利用易于识别的新闻视频(如被明确操纵的内容或容易验证的真实片段)来提取可转移的推理线索。这些线索作为隐性的梯度信号,逐步提高LVLM识别微妙和复杂错误信息的能力,而无需访问注释或LVLM的参数。
具体来说,我们设计了一个基于信心的比较组构建模块,该模块将易于识别的假视频与具有挑战性的视频分开,并将它们组织成语义对齐的比较组。这个模块使LVLM能够在没有注释的情况下自动找出现易识别的假新闻视频,然后通过多模态相似性检索将它们重新组织成比较组,每个组包含一个伪假视频和一个语义对齐的伪真实对应视频。这一过程允许FSoL直接从原始数据中构建一组可信赖和可转移的线索。然后,我们开发了一种对比推理驱动的LVLM自我细化机制,该机制利用比较组,使LVLM通过细粒度多模态差异分析提取可转移的检测线索。LVLM不是进行参数更新或基于梯度的训练,而是在推理时对这些比较组进行推理,以揭示视觉内容、音频信号和叙述结构之间的潜在不一致性。通过反复的比较推理,FSoL逐步积累多种和细粒度的推理线索,区分欺骗性和可信的新闻内容。这些线索进一步被提炼成一套通用的检测启发式规则,作为后续推理中的可重用参考。FSoL利用这些自构建的无需训练的梯度信号来优化LVLM,无需大规模注释或重复训练,就能够对之前未见过的和越来越复杂的假新闻视频表现出强大的泛化能力。
总之,我们的贡献总结如下:
- 我们提出了FSoL,这是首个无需训练和注释的零样本FNVD框架,能够灵活适应新出现的错误信息,而无需重复训练或任何注释。
- 我们开发了一个基于信心的比较组构建模块,该模块将易于识别的假视频与更具挑战性的视频分开,并将它们组织成语义对齐的比较组,以实现有效的零样本FNVD。
- 我们引入了一种对比推理驱动的LVLM自我细化机制,该机制利用比较组,使LVLM通过细粒度多模态差异分析提取可转移的检测线索,然后将这些线索编译成通用的推理启发式规则。
- 在三个真实世界的假新闻视频数据集上的广泛实验表明,我们的FSoL优于所有零样本基线。
### 假新闻视频检测
假新闻视频检测(FNVD)旨在通过分析多模态信息(如视觉内容、文本描述、音频和用户互动)来识别在线视频中嵌入的误导或欺骗性信息。FVC数据集[25]代表了早期假新闻视频检测的努力之一,其中使用了元数据和基于注释的描述符[26]。该领域的早期研究主要受到传统机器学习方法的驱动。
#### 方法论
我们在无需注释和无需训练的设置下研究假新闻视频检测(FNVD)。给定一个包含N个新闻视频D=(Vi,Ti)i=1N的集合,其中每个实例包括一个视频Vi(包括视觉模态)及其相关文本Ti(例如,标题、音频转录或描述)。目标是预测每个视频Di=(Vi,Ti)的类别yi∈{Fake,Real}。与在标注训练集上优化模型参数的传统有监督流程不同,
### 实验
在本节中,我们通过广泛的实验和详细分析全面评估了我们FSoL框架在FNVD上的有效性。
#### 局限性
首先,性能上限受到目标模型本身能力的限制。FSoL的本质在于激活和增强目标模型自身的多模态推理能力,而不是向其中注入外部知识。因此,改进的幅度和它能够达到的绝对性能都受到目标模型自身能力的限制:对于多模态推理能力较弱的模型背骨,尽管FSoL能够带来显著的改进,
### 结论
在本文中,我们介绍了FSoL,这是一种新颖的零样本框架,它将假新闻视频检测重新定义为一种利用LVLMs的推理时自我优化问题。FSoL不需要依赖注释或参数更新,而是证明可以从模型推理行为本身逐步提取有意义和可转移的检测线索,从而有效地适应新出现的新新闻事件。通过利用LVLM响应的稳定性和一致性,FSoL构建了
### 未来工作
在未来,我们的工作将集中在以下三个方向:首先,我们计划通过主动学习感知的细化来增强伪注释的构建。具体来说,我们将开发评估伪注释分配可靠性的方法,并为伪注释池设计校准策略。此外,我们旨在引入基于一致性的细化机制,自动识别和纠正错误的伪注释,从而提高
### CRediT作者贡献声明
李鹏:撰写 - 审稿与编辑、监督、软件、调查、形式分析。
李乔:撰写 - 初稿、可视化、方法论、形式分析、数据策划。
马宇豪:撰写 - 审稿与编辑、软件、数据策划。
吴瑾:撰写 - 初稿、方法论、资金获取、形式分析、概念化。
李一丽:撰写 - 审稿与编辑、方法论、调查。
钟婷:撰写 - 审稿与编辑、监督、调查、资金获取。
### 竞争利益声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。
### 致谢
本工作得到了国家自然科学基金(项目编号62572097和62176043)、四川省自然科学基金(项目编号24NSFSC1771)以及四川省自然科学基金(项目编号2026NSFSC0428)的支持。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号