分区深度神经网络中针对特征空间对抗攻击的成本感知自适应防御

《Ad Hoc Networks》：Cost-aware adaptive defense against feature-space adversarial attacks in partitioned deep neural networks

　　

摘要 分区深度神经网络推理在计算节点间传输时会暴露中间特征表示，使其面临潜在的操纵风险。注入到这些边界张量中的对抗性扰动可以传播通过剩余网络并导致下游误分类，而现有防御方法要么只检测异常而不恢复预测可靠性，要么以不必要的计算成本进行无条件恢复。本文提出了一种成本感知的自适应防御框架，用于分布式边缘AI系统中在现实通信退化条件下运行的分区深度神经网络的特征空间对抗攻击。轻量级检测器利用通道级特征统计量对干净边界表示进行建模，并以可控的误报行为识别异常偏差。对于被标记的样本，修复模块将异常统计量投影至干净区域，并对接收到的特征图执行矩匹配校正，同时可选地使用掩码修复将修改限制在最异常的通道上。一个MD门控上下文多臂老虎机监督器随后选择恢复动作，以平衡鲁棒性和计算成本。在分区VGG16和ResNet50上的实验，以及基于自然进化策略（NES）的额外迭代查询式特征空间攻击表明，所提框架在受到通道稀疏高斯噪声扰动时维持了接近干净模型的准确率，大幅恢复了被攻击的性能，并减少了不必要的恢复。实验结果证明，轻量级检测与选择性、自适应校正相结合为鲁棒分布式推理提供了有效的防御。

引言 分布式和分区深度神经网络推理已成为边缘-云智能体系架构的关键架构，使得神经网络能够在资源受限设备和云服务器之间协同执行。通过将更深层的网络卸载到下游节点，该范式减少了原始数据传输、缓解了内存约束，并支持跨异构平台的可扩展部署[1]。然而，在实际的边缘AI部署中，此类系统必须在对抗性干扰和退化的通信条件下运行。因此在设备之间传输的中间特征表示既面临恶意操纵又面临非理想传输效应，需要能够在联合网络级和系统级扰动下保持可靠的防御机制。尽管具有这些优势，分区推理引入了一个关键且很大程度上未被探索的安全漏洞。中间特征表示（称为边界张量）必须跨设备边界传输。如果通信通道或中间节点被攻破，攻击者可以直接向这些特征张量中注入扰动。此类特征空间操纵可以导致下游误分类，同时保持原始输入不变，从而绕过传统的输入级防御[2]，[3]。

在现实部署环境中，防御特征空间扰动尤为困难。边界张量本质上受到量化、有限精度运算、通信噪声和包级损坏引起的良性畸变影响[4]，[5]，[6]。因此，基于精确重建或严格特征匹配的防御方法在实际中可能变得脆弱。在非理想传输条件下，良性偏差可能产生与对抗性扰动相当的不一致性，导致虚高的误报率或不稳定的决策阈值[7]，[8]。

近期工作探索了分布感知检测机制，特别是基于马哈拉诺比斯距离（MD）的深度特征表示建模，它可以有效地识别分布偏差而无需重建高维张量[9]，[10]。然而，现有方法主要关注检测本身，并未解决在检测到异常后系统应如何响应的问题。在分区推理中，诸如无条件恢复这样的简单响应会产生不必要的计算开销并可能损害干净样本，而基于拒绝的策略则会降低系统可用性。更重要的是，现有方法无法适应不同的攻击严重程度或部署条件，限制了其在真实世界分布式系统中的实用性。

为了解决这些限制，本文提出了一种统一且成本感知的自适应防御框架，用于分区深度神经网络推理。该框架整合了三个关键组件。首先，一个轻量级基于马哈拉诺比斯的通道统计量检测器使用低维统计量对干净边界特征分布进行建模，并提供具有可控误报率的校准异常检测。其次，异常样本通过统计空间中的椭球投影进行校正，然后执行矩匹配特征修复，并带有通道局部掩码恢复机制，该机制将干预限制在最异常的通道上并减少不必要的修改。第三，一个MD门控上下文多臂老虎机监督器动态选择多个恢复动作之一，优化预测准确率、计算成本和有害校正之间的权衡。

重要的是要将本文的贡献与现有异常检测、特征恢复和自适应决策方法的直接组合区分开来。马哈拉诺比斯距离估计和上下文多臂老虎机算法是既定技术，本文不主张它们各自具有新颖性。技术贡献在于构建了一个共享的边界统计量表示，将防御的不同阶段耦合在一起。具体来说，校准后的马哈拉诺比斯残差表示不仅用于异常评分，还用于在干净接受区域内构建投影目标，推导用于选择性校正的通道异常分数，并形成自适应恢复选择所需的上下文。因此，检测、修复和监督是围绕相同的校准统计几何联合设计的，而非作为不相关的顺序模块实施。

本文的主要贡献总结如下。我们制定了针对分区神经网络推理中特征空间攻击的接收端防御框架，同时考虑了良性通信畸变。我们开发了一个基于通道级均值、对数方差和高频统计量的边界专用马哈拉诺比斯模型，其统计表示支持校准异常检测、异常定位和修复目标构建。我们引入了一种椭球投影和矩匹配修复机制，将异常特征统计量移向校准的干净接受区域，而无需辅助特征重建网络。我们进一步从马哈拉诺比斯残差表示中推导出通道异常分数，以实现选择性掩码修复并减少不必要或有损的特征修改。此外，我们开发了一个MD门控上下文监督器，通过在恢复预测、干预损害和归一化动作成本之间取得平衡，自适应地选择不恢复、多种掩码修复预算和完整修复。最后，我们在多个分区边界、攻击强度、通道稀疏度和通信损害下验证了分区VGG16和ResNet50模型上的框架，展示了改进的鲁棒性和有利的鲁棒性-干预权衡。

本文其余部分组织如下。第2节回顾了关于对抗鲁棒性和分布式推理安全的相关工作。第3节介绍了系统和威胁模型。第4节详细阐述了所提的MD门控选择性恢复框架。第5节描述了实验设置。第6节呈现了结果和分析。第7节讨论了所提框架的主要影响和局限性。第8节对论文进行了总结。

相关工作 本节回顾了分布式深度学习系统中对抗威胁和防御机制的相关研究。讨论分为四个主要方向：特征空间对抗攻击、对抗性表示的统计检测、对抗性恢复和纯化机制、以及基于自适应学习的防御策略。

系统模型与威胁模型 本节正式化了本工作中考虑的分布式推理环境、作用于传输中间表示的特征空间对抗威胁，以及所提接收端框架背后的防御目标。公式化保持架构无关性，使其适用于不同的分区卷积网络和边界位置。

MD门控自适应防御框架 本节介绍了一种用于鲁棒分区推理的接收端防御框架。该框架整合了统计异常检测、选择性特征修复和自适应监督控制，直接作用于传输的边界表示，无需重新训练或修改底层神经网络。其动机来源于这样的观察：特征空间攻击表现为通道级特征统计量中的结构化偏差。通过显式地利用这些结构化偏差信息，框架能够在不引入额外推理开销的前提下实现精准防御。

实验设置 本节描述了用于在分布式推理条件下评估所提MD门控选择性恢复框架的实验协议。该设置包括数据集和骨干架构、分区策略、特征空间攻击模型、检测器校准、自适应监督以及评估指标。

实验在两个代表性图像分类设置中进行。对于VGG16，在CIFAR-10上使用微调后的骨干网络进行评测。

结果与分析 本节评估了所提恢复框架在分区推理下通道稀疏高斯噪声特征空间攻击中的鲁棒性、效率和适应性。分析首先量化基线脆弱性，然后检查固定修复策略，最后评估自适应监督以及相关的鲁棒性-效率权衡。还提供了敏感性和消融研究以评估稳定性和组件贡献。

跨边界分析表明，在特征空间扰动下，VGG16和ResNet50的鲁棒性表现存在显著差异。总体而言，框架在减少不必要恢复的同时有效改善了下游分类性能。

讨论 实验结果表明，在评测的攻击设置下，特征空间扰动对分区推理的影响强烈依赖于模型架构和分区边界。对于VGG16，最大的基线退化出现在Device 3，其次是Device 2，而对于ResNet50，最强的退化发生在Device 1。这表明扰动传输特征的影响不仅取决于边界位置，还取决于各层之间的相互作用方式。

结论 本文研究了特征空间对抗扰动对分区神经网络推理的影响，并提出了一种轻量级自适应恢复框架以实现鲁棒的分布式推理。实验结果表明，在分区边界注入的扰动可以对下游准确率造成显著退化，其影响取决于模型架构和边界位置。为缓解这一问题，本文提出的框架通过校准统计检测、选择性矩匹配修复和MD门控自适应监督的协同作用，在维持接近干净模型性能的同时显著降低了不必要的恢复开销。

CRediT作者贡献声明 Arash Golabi：写作 – 审阅与编辑、写作 – 原稿、验证、监督、软件、方法学、调查、形式分析、概念化。Abdelkarim Erradi：写作 – 审阅与编辑、验证、监督、项目管理、调查、资金获取。Ahmed Bensaid：写作 – 审阅与编辑、验证、监督。Abdulla Al-Ali：写作 – 审阅与编辑、验证、监督、项目管理、资金获取。Uvais Qidwai：

利益冲突声明 作者声明他们不存在任何可能影响本文所报告工作的已知竞争性经济利益或个人关系。

致谢 本研究由卡塔尔国家研究基金会（卡塔尔基金会成员）的NPRP资助（NPRP14S-0413-210206）完成。本文中的声明完全由作者负责。

Arash Golabi | Abdelkarim Erradi | Ahmed Bensaid | Abdulla Al-Ali | Uvais Qidwai