《Pattern Recognition》：LLM as a forensic reasoner: Expert-guided video deepfake detection across modalities
编辑推荐：
•我们提出了FALCON，这是一个开创性的推理框架，将深度伪造检测重新定义为取证推理任务，将LLM定位为中央推理器，综合来自专家模块的符号证据。•我们设计了一个协作的多模态专家委员会，能够高效地提取多样且互补的取证线索，弥合低层信号与高层推理之间的鸿沟。•大量实验表明，FALCO
- •
我们提出了FALCON，这是一个开创性的推理框架，将深度伪造检测重新定义为取证推理任务，将LLM定位为中央推理器，综合来自专家模块的符号证据。
- •
我们设计了一个协作的多模态专家委员会，能够高效地提取多样且互补的取证线索，弥合低层信号与高层推理之间的鸿沟。
- •
大量实验表明，FALCON实现了最先进的性能和卓越的泛化能力，验证了我们的模型是更稳健、更可信且可扩展的深度伪造检测系统。
引言
近年来深度合成技术的进步产生了超逼真的深度伪造内容，这些内容往往与真实视频难以区分[1]，对信息完整性和公众信任构成了重大威胁。这些伪造的性质已经超越了简单的视觉伪影。现代深度伪造嵌入了更微妙的、多模态的不一致性，例如时间失真、音视频不同步以及情感不协调[2]。因此，深度伪造检测的挑战已从传统的分类问题转变为复杂的多模态推理任务，需要一种能够进行综合分析并执行认知推断的系统。
然而，当前主流的深度伪造检测范式——主要基于深度神经网络——从根本上无法适应这一新现实。这些模型通常充当不透明的黑盒，训练用于识别特定的统计模式[3]。这些方法面临两个挑战：有限的泛化能力，因为它们往往过度拟合已知伪造方法的伪影，在面对未知伪造方法时失效；以及有限的可解释性，仅提供二元判定而缺乏可验证的推理依据。对于新闻、执法或数字取证等高风险应用而言，缺乏依据的结论实际上无法使用且不可信。
大型语言模型（LLM）凭借其在多模态理解、逻辑推理和符号表示方面的卓越能力[4]，展现了一个充满希望的新前沿。然而，将其直接应用于深度伪造检测充满挑战。首先，LLM在取证方面是幼稚的，缺乏识别指示操纵的低层、模态特定伪影的先天先验知识[5]。其次，原始视频数据的高维特性使得LLM直接处理成本高昂且效率低下。仅仅将LLM用作另一个端到端分类器无法发挥其真正优势，反而继承了这些根本性弱点[6]。
为了解决这些挑战，我们提出了FALCON（Forensic Analysis via LLM-Connected Expert Network），这是一个提出视频深度伪造检测根本性范式转变的框架。我们通过将低层信号分析与高层逻辑推理解耦来重新概念化该任务。如图1所示，该框架包含一个由LLM驱动的中央推理核心，负责跨专家模块的联合逻辑推理，以及多个多模态专家模块，每个模块专注于提取特定类型的取证证据。 FALCON采用分层信息处理机制，专家模块从原始视频中提取结构化和符号化表示。然后LLM利用这些表示进行高层跨模态逻辑推理并提供明确的推理依据，避免直接处理高维输入。这种设计优雅地解决了上述LLM挑战：专家委员会提供必要的取证先验，而符号接口使推理过程在计算上可行且可扩展。
为了实现全面可靠的分析，FALCON整合了一个由专业专家组成的委员会，涵盖时空、频域和跨模态一致性领域。每个专家生成结构化判断，并利用固定的文本模板将其转换为符号化的取证描述，该模板与LLM的语言建模能力兼容。在这种架构中，LLM充当跨专家逻辑解释器而非模式识别器，通过自然语言描述学习专家证据之间的关系并执行多源推理。这解决了传统检测模型在因果建模和知识融合方面的局限性。至关重要的是，为确保推理的忠实性，我们实施了一个三阶段、人在回路的训练流程。这些推理依据经过双层验证过程，包括自动化检查和人类专家审查，以确保其是高质量、逻辑严谨的真理。
我们在多个主流的单模态和多模态深度伪造检测数据集上对FALCON框架进行了广泛评估，包括FF++ [7]、CDF [8]、FakeAVCeleb [2]和DigiFakeAV [1]。实验结果表明，FALCON在多种伪造类型和视频来源（如FakeAVCeleb和DigiFakeAV）上显著优于现有方法，并在跨域评估中展现出卓越的鲁棒性和泛化能力。
我们的工作总结如下：
- •
我们提出了FALCON，这是一个开创性的推理框架，将深度伪造检测重新定义为取证推理任务，将LLM定位为中央推理器，综合来自专家模块的符号证据。
- •
我们设计了一个协作的多模态专家委员会，能够高效地提取多样且互补的取证线索，弥合低层信号与高层推理之间的鸿沟。
- •
大量实验表明，FALCON实现了最先进的性能和卓越的泛化能力，验证了我们的模型是更稳健、更可信且可扩展的深度伪造检测系统。
章节片段
传统深度伪造检测方法
深度伪造检测研究经历了显著的演变。早期方法主要侧重于利用空间[9]、时间[10]、频域[11]、混合域分析[12]以及多模态一致性[13], [14]等技术。这些传统检测器在捕捉操纵区域、运动不一致性或音视频延迟等特征方面表现出了合理的能力[15]。然而，其固有局限性日益显现：固定
整体框架
FALCON框架建立在分层推理流程之上，旨在系统地将原始高维视频数据转换为可验证且可解释的取证决策。这种架构对于利用LLM的高级逻辑推理能力同时避免直接处理原始视频流所带来的高昂计算负担至关重要。如图2的概念性示意，推理被分解为三个不同且连续的阶段：
数据集
我们在单模态和多模态深度伪造检测基准上对我们的方法进行了全面评估。单模态设置包括FaceForensics++ (FF++) [7]、Celeb-DF [8]、DFDCP [24]、DFDC [24]和DeepfakeDetection (DFD) [25]。对于多模态深度伪造检测，我们使用了大规模音视频数据集，如FakeAVCeleb [2]和DigiFakeAV [1]，两者都包含复杂的跨模态和基于扩散的伪造。
结论
在这项工作中，我们介绍了FALCON，这是一个解决传统黑盒检测器关键局限——有限的泛化能力和有限的可解释性——并规避了将大型语言模型直接应用于高维视频数据所面临挑战的框架。通过将LLM定位为中央推理器，综合来自涵盖时空、频域、互相关和情感一致性领域的专业专家的符号证据，FALCON实现了
CRediT作者贡献声明
刘佳欣：写作 – 审阅与编辑，写作 – 原稿，可视化，方法论。 王佳：写作 – 原稿，验证，方法论。 侯赛辉：验证，监督，资源。 任敏：写作 – 审阅与编辑，监督。 吴慧佳：写作 – 审阅与编辑，监督。 马龙：写作 – 审阅与编辑，监督。 何兆峰：写作 – 审阅与编辑，验证，监督，资源。
利益冲突声明
作者声明，他们不存在已知的可能影响本文报告工作的竞争经济利益或个人关系。
刘佳欣于2022年获得中国中南民族大学学士学位，并于2024年获得中国香港浸会大学硕士学位。目前正在北京邮电大学攻读博士学位。他的研究兴趣包括计算机视觉和深度伪造检测。
刘佳欣|王佳|侯赛辉|任敏|吴慧佳|马龙|何兆峰
