《Frontiers in Artificial Intelligence》：Exploiting explanations for model extraction via knowledge distillation and mitigation with private counterfactuals
编辑推荐：
近年来，机器学习（Machine Learning, ML）模型作为服务（Machine Learning as a Service, MLaaS）在各类生产软件应用中的部署显著增长。与此同时，可解释人工智能（Explainable AI, XAI）持续发展，
近年来，机器学习（Machine Learning, ML）模型作为服务（Machine Learning as a Service, MLaaS）在各类生产软件应用中的部署显著增长。与此同时，可解释人工智能（Explainable AI, XAI）持续发展，以满足ML模型透明度的需求。XAI技术旨在通过提供模型解释来增强ML模型的透明度，使其决策过程更加清晰。与此同时，部分MLaaS平台开始在ML预测输出之外提供解释。这一设置加剧了对MLaaS安全漏洞的担忧，特别是与隐私泄露攻击相关的风险，如模型提取攻击（Model Extraction Attack, MEA）。原因在于，解释可能揭示模型内部工作机制的相关信息，从而被恶意用户利用。在本研究中，研究人员重点 investigate 了模型解释（特别是反事实解释，Counterfactual Explanations, CFs）如何在MLaaS平台中被利用以执行MEA，并深入评估了将差分隐私（Differential Privacy, DP）作为缓解策略的有效性。为此，研究人员首先提出了一种基于知识蒸馏（Knowledge Distillation, KD）的新型MEA方法，该方法利用CFs有效提取目标模型的替代模型。该攻击方法无需攻击者事先了解训练数据的分布。随后，研究人员提出了一种将DP集成到CF生成器训练流程中的方法，以生成私有CFs。研究人员在真实世界数据集上进行了充分的实验评估，结果表明，所提出的基于KD的MEA能够以较少的查询次数获得高保真度的替代模型，优于基线方法。此外，研究发现引入隐私保护机制可以缓解MEA，但在平衡CF质量时，会对解释性能和MEA产生影响。
## 研究背景与问题
近年来，深度神经网络（Deep Neural Networks, DNNs）作为机器学习应用的算法基础获得了广泛采用，其在多个领域取得了显著成功。然而，DNNs的训练过程涉及数据获取和大量计算资源投入，这种资源密集性阻碍了其广泛普及。为应对这一挑战，机器学习即服务（MLaaS）平台应运而生，通过云托管和训练ML模型，使第三方从业者能够通过应用程序编程接口（Application Programming Interface, API）查询预训练模型，而用于训练的私有数据集则对用户不可见。Google Cloud、Microsoft、IBM和Amazon Web Services等众多平台均提供MLaaS服务。
这些API的输入-输出格式公开可访问，用户知晓模型所需的输入数据格式并能够接收模型决策，这为恶意用户（即攻击者）利用这些接口实施隐私侵犯攻击打开了通道。常见的攻击类型包括成员推断攻击（Membership Inference Attack, MIA）、模型逆向攻击（Model Inversion Attack, MINA）和模型提取攻击（MEA）。在MIA中，攻击者试图推断特定个体实例是否存在于私有训练集中；在MINA中，攻击者试图重建训练集；在MEA中，攻击者通过向服务提供商的机密模型重复查询获取数据，进而训练替代模型以提取目标模型。
尽管已有多种缓解策略用于应对这些安全与隐私侵犯攻击，但新兴的监管要求推动MLaaS平台在模型预测之外提供解释，以满足透明度需求。模型解释通常通过XAI技术生成，旨在提供模型决策背后的推理洞察。然而，这些解释可能无意中泄露可被攻击者利用的信息，从而 refined 其攻击策略，对现有安全与隐私保障构成额外风险。
在此背景下，研究人员聚焦于探究XAI框架生成的解释（特别是反事实解释，CFs）如何被利用以在MLaaS场景中执行MEA。CFs揭示了通过对原始数据实例进行最小修改即可获得不同模型结果的方式，帮助用户理解模型预测从决策边界发生转变的动态机制。然而，由于CFs inherently 接近决策边界且反映训练数据特性，其具有双重性质：既是宝贵的解释工具，也可能因泄露额外信息而成为揭示模型漏洞的潜在资产。
## 研究动机与目标
研究人员注意到，MLaaS平台提供解释的趋势与隐私保护需求之间存在张力。一方面，解释机制满足监管合规要求和用户对透明度的期待；另一方面，解释可能暴露模型结构信息，为MEA等攻击提供可乘之机。特别是CFs，由于其 proximity to the decision boundary 的特性，可能携带关于目标模型内部工作机制的丰富信息。
为此，研究人员开展了两方面工作：首先，提出一种基于知识蒸馏（KD）的新型MEA方法，利用CFs作为代理训练数据集提取高保真替代模型；其次，提出一种 mitigation 策略，将差分隐私（DP）集成到CF生成器训练流程中，以降低提供CF解释所带来的风险。研究人员假设攻击者不具备训练集的任何先验知识，即攻击者在零知识条件下实施攻击。
## 关键技术方法
研究人员采用的技术方法主要包括以下三个方面：
**基于KD的MEA攻击方法**：研究人员利用CFs通过KD执行MEA。KD是一种将复杂教师模型的知识迁移到简化学生模型的过程，学生模型不仅学习教师模型的表面预测，还学习其深层模式、泛化能力和决策策略。研究人员将CFs作为KD中的代理训练数据集，通过优化学生模型的分类损失和蒸馏损失来训练威胁模型。蒸馏损失采用Jensen-Shannon（JS）散度，以解决对称性问题并确保输出分布的对称性。攻击者生成随机样本，收集目标模型的查询输出及相应CFs，随后利用KD方法训练替代模型。
**DP集成到CF生成器**：为缓解MEA风险，研究人员将DP集成到基于生成对抗网络（Generative Adversarial Network, GAN）的CF生成器CounteRGAN的训练过程中。具体而言，研究人员采用差分隐私Adam优化器（DP Adam），在生成器的梯度优化过程中添加校准噪声并进行梯度裁剪，以防止模型记忆或泄露训练数据的详细信息。梯度裁剪步骤控制噪声添加量，防止可能泄露个体数据信息的大幅更新。该方法确保生成的CFs偏离敏感数据集的统计特性，从而提供隐私保护。
**实验评估框架**：研究人员在三个真实世界数据集（Give Me Some Credits, GMSC；Credit Card Fraud；California Housing）上进行评估，设计了六种攻击场景（Direct No CF、Direct CF、KD-based No CF、KD-based CF、Direct Private CF、KD-based Private CF）以及与DualCF基线方法的扩展对比场景。评估指标包括MEA有效性指标（Agreement）和CF质量指标（Prediction Gain、Plausibility、Proximity）。
## 研究结果
**CFs对MEA的增强效应**：实验结果表明，利用CFs能够显著增强MEA的效果。在GMSC数据集上，Direct-CF的Agreement达到80%-85%，相比Direct No CF的55%-75%提升显著；在Credit Card Fraud数据集上，这一差异更为突出。无论采用何种方法论（KD-based或Direct），CFs的使用均使MEA更加有效。此外，CFs大幅减少了达到特定高Agreement水平所需的查询次数：在GMSC上，CFs仅需50次查询即可达到80%Agreement，而无CF场景需要超过1000次查询。
**KD-based MEA的优越性**：研究人员提出的KD-based MEA方法 consistently 优于基线方法。与Direct方法相比，KD-based MEA在各类场景下均保持3%-6%的Agreement优势。当结合CFs使用时，KD-based CF仅需50次和100次查询即可分别达到82%和85%的Agreement，而Direct CF需要300次和500次查询才能达到同等水平。这表明KD方法在概率分布模仿方面的独特能力使其能够有效处理CFs携带的软概率信息，特别是CFs接近决策边界时这些软表示最具信息量的特性。
**DP对MEA的缓解效果**：将DP集成到CF生成器中能够有效缓解MEA。在GMSC数据集上，KD-based Private CF在50至200次查询范围内的Agreement为60%-75%，显著低于KD-based CF的83%-87%。DP通过向生成器梯度注入校准噪声，影响生成CFs的质量，降低其与真实决策边界的对齐程度，从而削弱KD的知识迁移效果。然而，DP并未完全消除MEA风险，当查询数量较大时仍存在一定脆弱性。
**DP对CF质量的影响**：DP集成对CF解释质量产生显著影响。在Proximity指标上，DP集成后的CFs表现出更低的扰动值（GMSC: 16.981 vs. 24.5；Credit Fraud: 10.507 vs. 35.269；Housing: 1.004 vs. 3.852），表明隐私约束可能损害了CFs指导可操作决策的实用性。在Prediction Gain方面，DP的影响因数据集而异：GMSC和Credit Fraud数据集上有所降低，Housing数据集上略有提升。在Plausibility方面，无DP的CF生成器产生更符合训练数据分布的CFs（更低的Realism值），而DP集成后CFs的Realism与随机查询点相近，验证了DP在防止训练数据分布信息泄露方面的有效性。
**与DualCF基线的比较**：KD-based CF consistently 优于DualCF方法。在Housing数据集上，200次查询时Agreement为71% vs. 70%，1000次时为80% vs. 79%；Credit Fraud上分别为91% vs. 89%（200次）和93% vs. 90%（1000次）；GMSC上分别为89% vs. 83%（200次）和91% vs. 87%（1000次）。将DualCF与KD结合（KD-based DualCF）进一步提升了性能，在所有数据集和查询规模上均优于单独的KD-based CF。
**传统性能指标**：KD-based方法在准确率、精确率、召回率和F1分数上均 consistently 优于Direct和DualCF方法。值得注意的是，在某些情况下，提取模型的 ground-truth 测试标签性能甚至略优于原始模型，这归因于KD教师-学生设置中常见的正则化效应，但这并不意味着对部署模型的更高Agreement。
**统计显著性**：结果表明，在无隐私约束条件下，KD-based方法在所有数据集和查询规模上均显著优于Direct方法。在DP条件下，统计显著性呈现数据集依赖性：在Credit数据集上显著性持续存在，在GMSC数据集上高查询预算时重现，在Housing数据集上减弱。
## 讨论与结论
研究结果表明，CF解释机制应被视为潜在敏感输出，因其可能无意中泄露模型结构信息。DP虽然能够保护训练数据隐私，但同时影响生成CFs的可解释性和可操作性，形成MLaaS提供商必须权衡的隐私-效用张力。安全性与隐私性评估不能仅以预测准确率或解释保真度衡量，而必须将抗提取鲁棒性作为核心设计要求。
DP集成并未完全消除MEA风险，尤其在大规模查询场景下仍存在脆弱性，这提示MLaaS提供商应将DP作为更广泛防御策略的组成部分，辅以查询速率限制或查询审计等机制。此外，DP引入的噪声对CF质量的降解效应体现出隐私保护与解释效用之间的固有权衡，需要更系统化的隐私预算优化研究。
研究结论部分指出，本研究investigate了CFs如何通过KD被利用进行MEA，以及DP如何集成到CF生成流程中以缓解此类攻击。结果表明，CFs提供了目标模型决策边界的有意义洞察，使攻击者能够在无需先验数据分布知识的情况下训练替代模型；同时，将DP集成到CF生成器中可以实质性降低MLaaS系统的脆弱性，通过降解提取CFs的质量并限制攻击者重建目标模型的能力。实验证实，利用CFs使MEA更加容易，不仅提高了Agreement方面的成功率，还大幅减少了执行MEA所需的查询次数；所提出的KD-based MEA方法优于直接在CFs上训练模型的基线方法。这些发现为理解CF解释在MEA场景中的利用方式以及将隐私保护机制集成到CF生成流程中奠定了基础，未来研究方向包括扩展至其他解释模态、探索自适应DP机制以保留CF质量，以及评估更广泛模型家族和数据模态上的应用。
