《Biomimetics》：Bioinspired Adaptive-Depth Neural Growth for Deepfake Video Forensics: An Entropy-Guided State-Space Framework
编辑推荐：
深度伪造视频目前助长了大规模的金融欺诈、政治虚假信息以及未经授权的影像传播，预计到2027年美国因深度伪造相关欺诈造成的损失将超过400亿美元；人类评估者对高质量伪造内容的准确识别率仅为25%，这凸显了开发自动化、广泛适用的检测机制的迫切必要性。自适应深度架构
深度伪造视频目前助长了大规模的金融欺诈、政治虚假信息以及未经授权的影像传播，预计到2027年美国因深度伪造相关欺诈造成的损失将超过400亿美元；人类评估者对高质量伪造内容的准确识别率仅为25%，这凸显了开发自动化、广泛适用的检测机制的迫切必要性。自适应深度架构为在最优模型容量无法预先确定的情况下，提供了一种有别于固定深度深度伪造检测器的引人注目的替代方案。本研究提出了自适应熵引导ICA状态空间模型伪造检测器（Adaptive Entropy-Guided ICA State-Space Model Forgery Detector，AEGIS-FD），这是一种视频级别的深度伪造检测框架，通过熵驱动的增长机制将其深度从一层渐进增加至八层，并在深度为六时达到峰值验证性能。该设计整合了三维时空主干网络（3D spatiotemporal stem）、用于均衡时间整合的Sinkhorn归一化流形约束超耦合（manifold-constrained hyper-coupling，mHC）层、用于序列表征的选择性状态空间时间模块，以及基于FastICA的新增层初始化方法。在Celeb-DF v2数据集上的评估显示，AEGIS-FD取得了0.9600的测试AUC和0.9607的验证AUC，优于单层Mamba SSM基线（AUC = 0.8355）。与固定深度为六的基线相比，该模型在五个随机种子上表现出一致的改进（96.12 ± 0.28对比94.84 ± 0.44 AUC；p = 0.0022），表明自适应发展所提供的优势超越了单纯的深度增加。在零样本跨数据集评估中——在Celeb-DF v2上训练，并在包含1000个原始视频和1000个FaceSwap视频的FaceForensics++（FF++）C23子集上未经微调进行评估——AEGIS-FD取得了89.2的AUC，而相应基线为88.4（+0.8 AUC），为跨数据集可迁移性提供了初步证据。这些研究结果表明，自适应深度增长为视频级别的深度伪造检测提供了一种可行方法，同时仍需在多种数据集和篡改技术上进行进一步验证。
论文解读：AEGIS-FD——熵引导自适应深度增长在深度伪造视频取证中的应用
一、研究背景与问题提出
随着生成对抗网络（GANs）、变分自编码器（VAEs）及当代扩散模型的融合发展，制作超逼真的合成人脸视频的技术门槛已大幅降低。深度伪造（Deepfake）技术已从早期粗糙的人脸交换伪影演变为肉眼无法区分的、保持身份一致性的精细修改。实证研究表明，人类观察者对高质量合成影片的可靠识别率仅为24.5%，而超过68%的当前深度伪造内容在视觉上与真实媒体无法区分。全球生成式AI欺诈正经历前所未有的激增，深度伪造材料预计从2023年的50万份增至2025年的800万份，年增长率达900%。仅美国一地，预计到2027年因深度伪造相关欺诈造成的损失将超过400亿美元。除金融欺诈外，深度伪造还被用于政治虚假信息、非自愿亲密影像（占全网深度伪造的96–98%）、身份盗窃及法律证据篡改等。联合国教科文组织2025年报告指出存在"说谎者红利"现象，即深度伪造技术的存在本身使不良行为者能够将合法录音诬蔑为可能的伪造品。
研究界已构建了日益扩展的检测方法、基准和数据集生态系统。早期基于卷积神经网络（CNN）的帧级检测器如Xception和MesoNet在FaceForensics++上达到近乎完美的准确率，但对未知篡改类型和更高质量合成管线的泛化能力较差。CVPR 2020上引入的Celeb-DF基准揭示了巨大的泛化差距：九个顶级预训练检测器在Celeb-DF上的平均AUC仅为约56.9%。这一差距源于Celeb-DF改进的合成管线，其减少了粗糙的混合伪影、归一化了肤色，并提供时间上连贯的保持身份的修改。更现代的基于Transformer的视频检测器和频域系统虽提高了检测率，但伴随显著的计算开销或受限的时间建模能力。
现有检测器的一个持续性架构约束是使用静态的、固定深度的网络，其深度在训练开始前即已确定。实际上，最优深度取决于数据集复杂度、类别不平衡及伪造伪影的分布，这些都是机器学习中的重大挑战。浅层固定深度网络对复杂时间连接拟合不足，而过深网络则会在Celeb-DF v2提供的稀缺真实视频数据（仅890个真实视频对比5639个伪造视频）上过拟合。自适应架构增长策略——深度随训练动态渐进扩展——为静态设计提供了合理替代方案，但在视频深度伪造检测中仍未得到充分探索。
一个关键悬而未决的问题由此产生：熵引导的自适应深度增长相比同等容量的固定深度架构是否能增强泛化能力，还是观察到的改进主要归因于更高的参数数量？此外，时间表征中的特征冗余也是一大障碍。当特征通道传输重叠或相关信息时，增加额外层带来的收益递减。通过逻辑归一化方法（特别是用于生成双随机矩阵的Sinkhorn–Knopp算法）调节特征混合熵，为重新分配通道信息和评估额外容量需求提供了理论依据。同时，基于FastICA提取的统计独立分量初始化新层，确保新模块从多样化的、解纠缠的特征基础出发，而非任意起始位置。
二、研究内容与主要结论
本研究提出了自适应熵引导ICA状态空间模型伪造检测器（AEGIS-FD），这是一种专为Celeb-DF v2设计的视频级深度伪造检测方法。其主要贡献在于概念层面而非单纯的架构层面：研究将自适应深度增长确立为视频深度伪造取证的一种可行训练框架，并提供了受控实证证据，表明信息论增长信号带来的泛化优势超越了固定深度容量。
AEGIS-FD在Celeb-DF v2上取得0.9600的测试AUC和0.9607的验证AUC，超越单层Mamba SSM基线（AUC = 0.8355）。与固定深度为六的基线相比，该模型在五个随机种子上表现出一致改进（96.12 ± 0.28对比94.84 ± 0.44 AUC；配对t检验p = 0.0022）。在零样本跨数据集评估中——在Celeb-DF v2上训练，并在FaceForensics++（FF++）C23子集（含1000个原始和1000个FaceSwap视频）上未经微调评估——AEGIS-FD取得89.2的AUC，优于相应基线的88.4（+0.8 AUC），提供了跨数据集可迁移性的初步证据。该论文发表在《Biomimetics》期刊上。
三、关键技术方法
研究人员采用了以下主要关键技术方法：其一，熵驱动的增长机制，以Sinkhorn归一化mHC层的混合熵结合验证AUC动态，决定深度是否从一层增至八层，并采用验证门控保留测试排除无法提升泛化能力的扩展；其二，基于FastICA的新增层初始化方法，将现有特征统计转化为解纠缠的、数据驱动的初始化基础；其三，支撑架构由三维时空主干（3D spatiotemporal stem）、mHC时间混合层和选择性状态空间时间模块构成，计算复杂度为O(T·d2)，随序列长度线性扩展。训练和域内评估使用Celeb-DF v2数据集，该数据集包含590个Celeb-real视频和300个YouTube-real视频（标签0，真实）以及5639个Celeb-synthesis视频（标签1，伪造），按视频级别以70%、15%、15%比例分层随机划分为训练、验证和测试子集，随机种子为42。外部零样本迁移评估在FF++ C23测试划分的特定子集上进行。
四、研究结果
4.1 AEGIS-FD的发展与训练
AEGIS-FD最多训练50个epoch，采用监测验证AUC的早停机制。网络深度在训练过程中逐步增加，受熵驱动增长标准影响：增长事件在epoch 1、3、4、6、9和10发生，最终达到L = 6的深度。模型曾尝试扩展至深度7和8，但验证AUC在两种更深配置中均下降，增长机制因此回退并维持深度6作为最终架构。最佳检查点记录于epoch 31，深度6配置达到峰值验证AUC 0.9607。早停随后在验证AUC未在耐心窗口内超过该峰值时终止训练，证实深度6是性能最优的容量配置。
4.2 定量性能分析
组件消融研究显示：将mHC层加入基础SSM（A1→A2）带来+3.00 AUC点（0.84→0.87）和+3.05准确率点（84.49%→87.54%）的提升。通过Xavier初始化实现自适应增长（A2→A6）将AUC提升至0.89（+2.00点），但模型达到最大深度L = 8，训练成本几乎翻倍（0.18→0.39 GPU小时）。以FastICA替代Xavier初始化（A6→A7，完整AEGIS-FD）产生最大改进：+7.00 AUC点（0.89→0.96）和+9.20准确率点（87.54%→96.74%），同时训练成本降低61.5%（0.39→0.15 GPU小时），并在最优深度L = 6收敛。与固定深度6基线（A5，AUC 0.95）相比，AEGIS-FD超越+0.01 AUC、+2.95准确率点（93.73%→96.68%）和+0.021 F1点（0.9558→0.9767），同时GPU时间减少37.5%（0.24→0.15 GPU小时）。
4.3 FastICA初始化的影响
在配置A6（SSM + mHC + 增长，Xavier初始化）中，模型持续增长至最大允许深度L = 8，最终仅取得0.8900的中等AUC。Xavier初始化的新层以近乎随机的、高熵变换开始，削弱了熵动态增长标准（标准B），缺乏可靠的停止信号。相反，AEGIS-FD（A7）通过验证门控增长过程达到最终深度L = 6，拒绝了深度7和8的进一步推进。以FastICA替代Xavier初始化（A6→A7）带来+7.0 AUC点和+9.2准确率点的提升，同时将最终网络深度从8层减至6层。与单层基线Mamba SSM（A1，AUC = 0.8355）相比，完整FastICA引导的AEGIS-FD实现+12.45 AUC点的总体提升。
4.4 误差分析与混淆矩阵
在Celeb-DF v2测试集（N = 271）上，AEGIS-FD（A7）相比固定深度6基线（A5）减少了所有类别的错误：伪造视频的假阴性从7降至5（伪造视频召回率从94.96%提升至97.42%），真实视频的假阳性从8降至4（真实视频假阳性率从6.06%降至5.19%）。两种错误类型的同步减少表明熵引导增长机制同时改善了两个类别的分类性能，而非以牺牲召回率为代价换取精确率。
4.5 多种子稳健性验证
采用五个不同随机种子（{12, 33, 42, 100, 200}）重复训练A5和A7。AEGIS-FD（A7）平均AUC为96.12%（SD = 0.28），持续超越固定深度6基线（A5）的94.84%（SD = 0.44）。每种子改进幅度在1.0至2.0 AUC点之间，平均增益1.28点。配对双尾t检验表明该改进具有统计显著性（t(4) = 7.00，p = 0.0022）。在类别特定指标上，A7在精确率（96.34%→97.93%）、召回率（94.85%→97.42%）和平衡准确率（92.88%→96.11%）上均超越A5。
4.6 跨数据集泛化
在FF++ C23测试划分的1000个真实和1000个FaceSwap样本子集上进行零样本评估。固定深度6基线（A5）记录AUC 88.4，AEGIS-FD（A7）达到89.2，提升+0.8 AUC。该实验限于单一篡改类型和选定子集，结果应视为可迁移性的初步证据而非全面的跨数据集验证。
4.7 效率与计算成本分析
AEGIS-FD达到峰值AUC 0.9600，相比固定深度6基线（A5）仅增加0.01 M参数、0.12 GFLOPs和约1 ms额外延迟。相比单层基线（A1），完整模型参数增加约4.9倍、FLOPs增加约6.2倍、推理延迟增加约65%，换来12.45点的AUC提升（0.8355→0.9600）。
4.8 停止标准与复杂度-准确率权衡
深度上限（标准C）将增长限制在L_max = 8，验证门控保留测试（标准D）排除任何在三epoch内未能提升验证AUC的候选层。实际应用中增长在L = 6停止：深度7和8的提议扩展均因验证AUC下降而被拒绝。与固定深度6基线相比，自适应性的代价极小。
4.9 不平衡处理策略
比较加权BCE、焦点损失（γ = 2，α = 0.25）和随机过采样。加权BCE在精确率、召回率、F1分数和平衡准确率上表现最优，尽管其AUC（0.8667）略低于焦点损失（0.88）和随机过采样（0.87）。研究选择加权BCE作为标准方法，因后续实现依赖于F1优化的决策阈值而非ROC曲线。
4.10 敏感性分析
测试AUC在所有扫描中最大变化0.016（T：0.009；δ_AUC：0.016；δ_H：0.000；K：0.0002），增长机制在15次重复中均可靠达到最终深度6或更少层数，表明AEGIS-FD的文档化性能不严格依赖于特定超参数配置。
五、讨论与结论
研究证实熵引导的自适应深度增长相比匹配的固定深度容量提供了超越单纯深度增加的泛化优势。多种子验证（p = 0.0022）排除了随机初始化波动的影响。FastICA初始化在性能提升和深度调节中发挥双重作用：固定深度下，FastICA初始化的深度6模型（0.95）超越Xavier初始化的深度6模型（0.84）达0.11；增长背景下，FastICA作为深度调节器将AUC从0.89提升至0.96。跨数据集零样本评估（+0.8 AUC）提供了可迁移性的初步证据。研究结论表明，自适应深度增长为视频级深度伪造检测提供了可行方法，同时强调需在更多数据集和篡改技术上进行进一步验证。
