FAME：基于多级嵌入的轻量化时空网络在换脸深度伪造模型溯源中的应用

针对换脸Deepfake视频溯源难题，研究人员提出轻量化时空网络FAME，通过多级注意力机制捕捉不同生成模型的细微伪影，在DFDM、FF++和FakeAVCeleb数据集上实现高效模型溯源，为数字取证提供可部署解决方案。

　　

随着Deepfake技术（深度伪造）的快速发展，尤其是DeepFaceLab、FaceSwap等开源工具的普及，换脸视频的制作门槛大幅降低。这类技术虽在影视特效等领域具有应用价值，但更频繁地被用于身份欺诈、政治操纵和信息战，严重威胁数字安全与社会信任。当前大多数研究聚焦于"真假二分类"检测，而对Deepfake的模型溯源（model attribution）——即识别生成工具或模型来源——这一关键取证任务却鲜有关注。

针对这一空白，研究人员提出了FAME（Fake Attribution via Multilevel Embeddings）框架。该工作创新性地将VGG-19（视觉几何群网络）的空间特征提取能力与LSTM（长短期记忆网络）的时序建模优势相结合，通过多级注意力机制捕捉不同换脸模型在解码阶段遗留的细微伪影。实验证明，FAME在DFDM（Deepfake Detection and Manipulation）、FaceForensics++（FF++）和FakeAVCeleb（FAVCeleb）三个具有挑战性的数据集上，不仅实现了89.7%的平均准确率，其轻量化设计（仅2.61M参数）更使其在RTX 3080 Ti显卡上达到每秒37帧的处理速度，显著优于现有Transformer等复杂架构。

关键技术包括：1）基于OpenFace的人脸对齐预处理；2）VGG-19骨干网络提取空间特征；3）双向LSTM结合时空注意力模块捕捉帧间关联；4）采用跨熵损失和对比损失的混合优化策略。研究团队特别构建了包含Faceswap、IAE等5种主流换脸模型的DFDM数据集，通过控制编码器-解码器架构差异来强化模型特异性特征。

主要研究发现：

1. 空间特征分析：VGG-19在眼部边缘和肤色过渡区域捕捉到Dfaker模型特有的网格状伪影，而DFL-H128则在鼻唇沟处产生独特的频域畸变。
2. 时序建模验证：双向LSTM有效识别出Lightweight模型在连续帧中暴露的闪烁伪影，其AUC（曲线下面积）比纯空间模型提升12.3%。
3. 跨数据集测试：在FF++到FAVCeleb的迁移实验中，FAME保持82.4%准确率，证明其对未知数据的泛化能力。

结论部分强调，FAME首次系统性地解决了换脸Deepfake的细粒度溯源问题，其创新点在于：1）提出模型特异性伪影的时空联合检测范式；2）开发兼顾精度与效率的轻量化架构；3）建立包含多模态数据的评估基准。这项工作为网络内容溯源、司法取证等场景提供了切实可用的技术工具，相关代码已在GitHub开源。论文发表于《Expert Systems with Applications》，通讯作者Yuan-Hao Chang指出，未来将探索对抗环境下的鲁棒性增强方法。