《Frontiers in Artificial Intelligence》：Defending against deepfake speech attacks via feature dropout and dropin regularization in large audio language models
编辑推荐：
深度伪造（Deepfake）技术因其对隐私、安全和社会信任的威胁而引发广泛关注，推动了检测方法研究的持续增长。音频深度伪造检测已从基于手工特征（handcrafted features）的分类器，发展到端到端深度学习架构，并进一步演进至自监督语音基础模型（se
深度伪造（Deepfake）技术因其对隐私、安全和社会信任的威胁而引发广泛关注，推动了检测方法研究的持续增长。音频深度伪造检测已从基于手工特征（handcrafted features）的分类器，发展到端到端深度学习架构，并进一步演进至自监督语音基础模型（self-supervised speech foundation models）以及诸如Whisper等通用语音识别器。指令跟随式语音大语言模型（speech large language models, LLMs）——其中Speech Audio Language Music Open Neural Network（SALMONN）为其代表性模型——在该领域的应用仍相对较少探索，这正是本研究的切入点。研究人员认为，大语言模型（LLMs）凭借其强大的表征能力与信息检索能力，在该任务中具有显著潜力——前提是相关音频特征能够被审慎地选择并赋予优先级。为此，研究人员采用语音LLM（具体为SALMONN）进行深度伪造音频检测，并结合两阶段训练策略：第一阶段（Stage 1）通过辅助特征预测前置任务（称为特征注入，feature dropin）将声学特征感知注入低秩适配（Low-Rank Adaptation, LoRA）适配器中；第二阶段（Stage 2）在最终真实/伪造判定之前，对编码器令牌序列（encoder token sequence）执行窗口化随机保留（称为特征丢弃，feature dropout）。该方法在FakeOrReal基准上实现了0.188的绝对准确率提升，并在Automatic Speaker Verification Spoofing and Countermeasures（ASVspoof）2019 LA子集上以0.00496的等错误率（Equal Error Rate, EER）达到当前最优性能，相较先前方法实现了33.0%的相对改进。此外，该模型在域外人工智能（AI）生成音乐数据集（M6）上实现了非平凡迁移，达到与先前研究中ResNet18基线相当的准确率，研究人员将此解读为可迁移音频表征的证据，而非广泛的跨域鲁棒性。
一、研究背景与问题
深度伪造（Deepfake）技术对隐私、安全和社会信任构成严重威胁，尤其在社交媒体信息快速传播的背景下，可靠检测方法的需求日益迫切。音频深度伪造的生成方式多样，包括语音合成（Voice Synthesis, VS）、语音转换（Voice Conversion, VC）和文本到语音（Text-to-Speech, TTS）模型等。现代音频生成模型能够在保留原始音频其他成分的同时修改特定元素，使伪造音频与真实音频高度相似，这构成了检测的根本挑战。
音频深度伪造检测研究经历了从传统机器学习方法到深度学习架构的演进。早期方法依赖手工声学特征（如梅尔频率倒谱系数MFCC、静音比SR、频谱质心SC等）配合支持向量机（SVM）等分类器，但难以捕捉高质量音频的完整复杂性。随后，卷积神经网络（CNN）、循环神经网络（RNN）及混合架构在伪造检测中展现出较强性能。近年来，基于Transformer的注意力机制方法以及自监督语音基础模型被广泛应用。大语言模型（LLMs）凭借其强大的表征和信息检索能力，在分类、信息检索及AI生成文本检测等任务中表现优异，但其在音频深度伪造检测中的应用仍较少探索。已有微调或预训练的LLM检测器并未显式强调哪些声学特征起关键作用，也未尝试从编码器令牌序列中消除长尾（long-tail）和无信息特征。此外，深度伪造检测虽本质上是二分类任务，仍面临过拟合等常见机器学习挑战。
二、研究内容与结论
本研究针对上述问题，提出了一种面向语音大语言模型的两阶段训练策略，并将其应用于SALMONN模型进行深度伪造音频检测。第一阶段（特征注入，feature dropin）通过辅助特征预测前置任务，将声学特征感知注入低秩适配（LoRA）适配器；第二阶段（特征丢弃，feature dropout）在最终真实/伪造判定前对编码器令牌序列执行窗口化随机保留。该方法在FakeOrReal基准上实现了0.188的绝对准确率提升，在ASVspoof 2019 LA子集上以0.00496的等错误率（EER）达到当前最优性能，较先前方法实现33.0%的相对改进，并在域外AI生成音乐数据集M6上实现了与ResNet18基线相当的准确率，表明模型具备可迁移的音频表征能力。研究还验证了该策略在LTU模型上的泛化性，并揭示了音频投影层在特征级操作中的关键作用。
三、关键技术与方法
研究人员采用SALMONN作为基础模型，该模型利用Whisper和BEATs编码器提取音频特征为令牌序列，通过Q-Former将音频特征投影至文本条件空间，最终由LLaMA生成输出。研究引入LoRA对Q-Former和音频文本投影层进行微调，保持其他大组件冻结以保证计算效率。第一阶段使用Librosa提取MFCC、SR和SC三个标量声学描述符作为预测目标，通过字符串级交叉熵损失训练LoRA适配器。第二阶段采用窗口化随机保留算子，将编码器令牌序列划分为非重叠窗口，每个窗口内均匀随机保留一个令牌，窗口大小为10，即丢弃90%的特征维度。数据集方面，研究使用Fake or Real（FoR）归一化子集、ASVspoof 2019 LA子集（训练5,160样本、验证5,096样本、测试完整14,710样本）以及域外M6数据集的(f)子集（1,000个真实音乐样本和500个AI生成音乐样本）。
四、研究结果
4.1 FoR数据集上的两阶段纵向比较
在FoR数据集上，研究对比了基线SALMONN、单独使用Dropout、单独使用Dropin以及两者结合的效果。结果显示，单独使用Dropin策略取得最佳性能，EER为0.096，准确率为0.902，较基线SALMONN（EER 0.289，准确率0.714）实现了0.188的绝对准确率提升。单独使用Dropout也带来显著改进（EER 0.177，准确率0.823）。两者结合（EER 0.144，准确率0.857）优于基线但略逊于单独使用Dropin，研究人员推测这是因为随机丢弃可能消除了Dropin阶段引入的有价值特征。通过Mel频谱图可视化发现，真实与伪造音频在原始频谱图中难以区分，但Dropout处理后伪造音频频谱在低频和高频区域的退化方式与真实音频不同，表明伪造音频可能更依赖脆弱的频率成分。
4.2 ASVspoof 2019 LA子集上的横向比较
在ASVspoof 2019 LA子集上，采用tandem Detection Cost Function（t-DCF）和EER作为评估指标。Dropin + SALMONN取得最低EER为0.00496，较最优现有模型（SAM + Meta，EER 0.005）实现0.00244的绝对EER降低，且仅使用约20%的训练集。值得注意的是，单独使用Dropout在该数据集上表现劣于基线（EER 0.142 vs 0.006），研究人员推测这是因为ASVspoof包含分布于整个声学表征中的细微伪造痕迹，随机丢弃编码器令牌可能无意中移除这些关键线索。窗口大小消融实验表明，较小窗口（w=5或10）取得最低EER（约0.14%），较大窗口导致EER显著上升。
4.3 M6数据集上的域外测试
将FoR上训练的最优模型在M6数据集上进行零样本测试，取得0.677的准确率，与ResNet18基线（0.685）相当。研究人员将此解读为可迁移音频表征的证据，而非广泛的跨域鲁棒性。
4.4 音频投影器消融研究
采用Qwen2Audio进行对比实验，仅对文本核心LLM进行LoRA微调而保持Whisper音频投影器不变，结果模型将所有音频输入一致分类为伪造。这一结果表明，在文本表征层面重新映射音频特征对于Dropin和Dropout等特征级操作的有效实施至关重要。
4.5 训练策略鲁棒性验证
在LTU模型上采用相同策略进行验证。基线LTU性能较差（准确率0.511，精确率0），将所有样本预测为伪造。单独引入Dropout将准确率提升至0.512，单独引入Dropin将召回率提升至0.501、精确率提升至0.996、准确率提升至0.524。两者结合取得该设置下的最佳性能（准确率0.571，召回率0.923）。鉴于ASVspoof 2019 LA上呈现相反趋势，研究人员将这种互补性描述为模型和数据特定的，而非普遍规律。
五、讨论与结论
本研究的贡献在于提出了语音LLM的两阶段适配器训练方案。第一阶段通过辅助回归前置任务将声学特征感知注入LoRA适配器权重；第二阶段在真实/伪造分类微调过程中对编码器令牌序列执行窗口化随机保留。值得注意的是，手工特征值从未拼接至第二阶段提示中，第一阶段仅通过共享LoRA参数影响第二阶段。该方法在域内深度伪造语音检测中达到当前最优性能，并在AI生成音乐检测中展现出较强的域外泛化能力。
研究结论指出，所提出的两阶段训练策略能够有效提升语音LLM在深度伪造检测中的性能。模型在FoR数据集上取得优异成绩，在ASVspoof 2019 LA上达到竞争性表现，并能泛化至AI生成音乐检测任务。然而，该策略依赖基础音频LLM，从头训练音频LLM成本极高；域外深度伪造检测准确率仍有提升空间。未来研究方向包括：进一步分析所选注入特征对模型性能的影响、探索更多可丢弃的声学特征（如韵律或相位信息）、在更广泛的未见基准上进行评估、验证对更新生成攻击的鲁棒性、提升计算效率和推理成本，以及提供所选声学特征的可解释性。
