《Informatics》：Adversarial Training and Differential Privacy-Style Noise Injection for Privacy-Preserving Vertical Federated Learning
编辑推荐：
近年来，联邦学习（FL）因其去中心化的数据处理方式而得到广泛应用。垂直联邦学习（VFL）是一种FL类型，允许不同参与方在互补特征空间上训练共享模型，而无需直接交换数据。然而，这些参与方交换的梯度可能无意中携带敏感信息。攻击者利用这种泄漏发起标签推断攻击（LIA
近年来，联邦学习（FL）因其去中心化的数据处理方式而得到广泛应用。垂直联邦学习（VFL）是一种FL类型，允许不同参与方在互补特征空间上训练共享模型，而无需直接交换数据。然而，这些参与方交换的梯度可能无意中携带敏感信息。攻击者利用这种泄漏发起标签推断攻击（LIA）和对抗性攻击。为遏制这种情况，研究人员部署了防御机制，但大多数机制要么以鲁棒性换取隐私和模型效用，要么反之。本研究通过引入一种改进的防御机制来解决这一差距，该机制结合了对抗训练（用于强化模型抵御对抗性扰动）和差分隐私风格噪声注入（旨在恢复因对抗训练而削弱的标签隐私），以在边际模型效用权衡下共同增强现有KD防御机制的鲁棒性。该机制不依赖繁重的加密或后处理技术，而是直接将隐私构建到模型的学习动态中。研究人员使用五个跨越三种数据模态的公开数据集进行评估，所提出的机制在达到具有竞争力的接近基线的准确率的同时，显著降低了标签推断的成功率。在基于FGSM的对抗评估下，该机制的鲁棒性差距约为1%，而现有KD机制的鲁棒性差距为36%。对于CIFAR-10、CIFAR-100、CINIC-10、Yahoo! Answers和Criteo数据集，隐私泄漏指数（PLI）分别达到81.32%、96.08%、82.41%、86.68%和73.88%。结果表明，鲁棒性和隐私安全目标可以共存，以在最小化模型准确率影响的情况下保护VFL安全。
**论文解读：对抗训练与差分隐私噪声注入在隐私保护垂直联邦学习中的联合应用**
**研究背景与问题**
随着人工智能技术在网络安全、金融、医疗、教育、电子商务、物联网、政府及媒体等关键领域的深度融合，数据隐私与安全问题日益凸显。传统的机器学习方法要求将训练数据集中存储在中央服务器，这种方式存在数据泄露、未授权访问以及违反《通用数据保护条例》（GDPR）等数据保护法规的高风险。为应对这些隐私问题，谷歌研究人员于2016年提出了联邦学习（FL），其核心思想是“将代码带到数据上”，而非将数据集中到代码处，从而在协作训练模型的同时保护数据隐私。垂直联邦学习（VFL）是FL的一种重要类型，适用于拥有相同用户但不同特征空间的参与方之间协作训练模型，例如银行与电信公司联合构建欺诈检测模型。然而，VFL中参与方交换的嵌入向量和梯度可能无意中携带敏感的标签信息，攻击者可以利用这些信息发起标签推断攻击（LIA）和对抗性攻击。现有防御机制，如知识蒸馏（KD）和数据匿名化，虽然提供了一定的隐私保护基线，但通常是静态的，无法应对对抗性攻击这一新兴的更致命威胁。对抗训练（AT）虽然是抵御对抗性攻击的标准方法，但会削弱标签隐私。因此，VFL系统面临一个困难的隐私-鲁棒性或隐私-效用权衡：模型在对抗攻击下的鲁棒性往往以牺牲隐私或效用为代价。
**研究内容与结论**
为填补这一研究空白，研究人员提出了一种改进的防御机制，将对抗训练（AT）与差分隐私风格（DP）的校准噪声注入相结合，以共同增强现有KD防御机制的鲁棒性，同时边际性地影响模型效用。该机制不依赖繁重的加密或后处理技术，而是将隐私直接构建到模型的学习动态中。研究人员在五个公开数据集（CIFAR-10、CIFAR-100、CINIC-10、Yahoo! Answers、Criteo CTR）上进行了评估，这些数据集覆盖了图像分类、文本/自然语言处理和二元分类三种数据模态。实验结果表明，所提出的机制在保持接近基线准确率的同时，显著降低了标签推断攻击的成功率。在基于FGSM的对抗性评估下，该机制的鲁棒性差距（干净准确率与鲁棒准确率之差）约为1%，而现有KD机制的鲁棒性差距高达36%。隐私泄漏指数（PLI）在所有数据集上均有显著提升，分别达到81.32%（CIFAR-10）、96.08%（CIFAR-100）、82.41%（CINIC-10）、86.68%（Yahoo! Answers）和73.88%（Criteo）。这些结果表明，鲁棒性和隐私安全目标可以共存，从而在最小化模型准确率影响的情况下保护VFL安全。该论文发表在《Informatics》。
**关键技术与方法**
研究人员采用了一种多阶段分层VFL管道。首先，在原始架构（OA）上使用干净数据训练以建立基线。然后，引入知识蒸馏与k-匿名性（KDk）机制，通过软化标签和保留top-k个最可能标签来混淆标签信息。接着，添加对抗训练（AT）阶段，使用快速梯度符号法（FGSM）生成对抗样本进行训练，以强化模型对对抗性扰动的鲁棒性。最后，作为核心创新，引入差分隐私风格噪声注入阶段，在VFL系统的前向传播（嵌入向量）和后向传播（梯度）中注入校准的高斯噪声，以恢复因AT削弱的标签隐私。评估采用FGSM攻击测试鲁棒性，并通过四种LIA类型（被动、主动、直接、扰动）和PLI指标衡量隐私泄漏。数据集来源包括CIFAR-10/100、CINIC-10（图像）、Yahoo! Answers（文本）和Criteo CTR（表格）。
**研究结果**
**4.1. 视觉数据集分析**
**CIFAR-10：** 通过KD+AT+DP机制，干净准确率从KD的87.59%微降至86.37%（降幅1.22%），表明模型效用得以保持。鲁棒准确率从KD的60.72%提升至85.81%，鲁棒性差距缩小至0.56%，证明对抗暴露和噪声注入使模型对像素级扰动不敏感。隐私泄漏指数（PLI）从平均51.6%跃升至81.3%，表明梯度-标签相关性显著降低。
**CIFAR-100：** 在100个细粒度类别下，KD+AT+DP的干净准确率为60.09%，较KD的64.64%略有下降，但可接受。鲁棒准确率从OA的39.71%大幅提升至59.41%，鲁棒性差距仅0.68%。被动和直接LIA成功率降至2.52%和6.77%，PLI从59.34%提升至96.08%，接近饱和，表明模型在保持判别力的同时几乎不泄漏标签信息。
**CINIC-10：** 在混合域数据下，KD+AT+DP的干净准确率为76.6%（KD为79.5%），鲁棒准确率从KD的43.09%提升至74.36%，鲁棒性差距显著缩小。被动ASR从29.86%降至16.18%，直接ASR从26.39%降至19.93%，PLI从23.37%提升至82.41%，证明该机制在异构数据分布下同样有效。
**4.2. 文本数据集分析**
**Yahoo! Answers：** 在自然语言处理任务中，KD+AT+DP的干净准确率为72.8%（KD为73.1%），F1分数稳定在72%。鲁棒准确率从KD的64.46%提升至69.95%，收敛的干净和鲁棒曲线表明模型学习了扰动不变的语言特征。被动ASR降至9.75%，直接ASR稳定在18%，PLI从79.33%提升至86.68%，验证了该机制在文本模态的泛化能力。
**4.3. 表格数据集分析**
**Criteo CTR：** 在二元分类任务中，AUC稳定在69-71%范围内，干净准确率约75%。鲁棒准确率从KD的72.82%提升至74.66%，鲁棒性差距仅0.06%。被动ASR从73.08%大幅降至25.54%，直接ASR降至67.30%，PLI从24.28%提升至73.88%，表明梯度级噪声在连续特征空间中有效抑制了标签重建。
**总结与讨论**
**结论：** 本研究提出的KD+AT+DP防御机制表明，隐私保护VFL无需依赖颠覆性的模型重新设计或繁重的加密协议。通过将对抗训练与差分隐私风格噪声注入相结合，该机制实现了鲁棒性和隐私的互补而非竞争目标，在最小化模型效用损失的同时显著降低了标签推断攻击成功率，并保持了接近干净准确率的鲁棒准确率。实验覆盖视觉、文本和表格三种模态，证明了跨域泛化能力。该机制在训练阶段引入的额外计算开销（对抗样本生成和噪声注入）可忽略，且不增加通信开销，在推理阶段无额外开销。
**结论翻译：** 全球设备的持续互联使对抗性和隐私攻击成为VFL环境中最持久的威胁之一；解决这些问题通常被迫进行不必要的隐私-效用或隐私-鲁棒性权衡。由于参与方之间交换的嵌入和梯度可能被利用来恢复隐藏的标签信息，增强鲁棒性的防御往往以牺牲隐私为代价。本研究旨在增强鲁棒性而不削弱隐私，提出了一种将两者视为VFL环境中互补而非竞争安全目标的防御机制。基于知识蒸馏的KDk机制实现了显著的隐私增益，但未改善鲁棒性。为确保两者兼顾，本研究将对抗训练（AT）与基于校准噪声注入的差分隐私风格阶段相结合。这有助于恢复因AT削弱的标签隐私，同时保留鲁棒性增益，对模型效用影响极小。该机制在五个跨越视觉、文本和表格分类的数据集上进行了评估，提供了跨域覆盖和泛化能力证据。隐私通过四种标签推断攻击的成功率和隐私泄漏指数（PLI）进行实证评估，PLI在所有数据集上一致提升，表明模型在保留有用预测模式的同时，在嵌入和梯度交换中暴露了极少的可识别标签信息。在基于FGSM的评估下，鲁棒准确率保持接近干净准确率，并且成本分析显示，这些增益无需额外通信或加密开销。综合来看，结果表明，通过有针对性的训练设计可以实现隐私保护和鲁棒VFL，隐私和鲁棒性作为互补目标协同作用。
