《Future Generation Computer Systems》:Enhancing adversarial robustness of neural networks via quantum computing
编辑推荐:
量子机器学习模型对抗攻击鲁棒性研究,提出量子-经典混合神经网络架构Hybrid QCNN和Hybrid QWideResNet,通过量子叠加和纠缠特性增强模型抗攻击能力,在MNIST、CIFAR-10等数据集上验证对FGSM、PGD等攻击的鲁棒性提升。
施向宇|田云哲|李一克|姜伟伟|傅乐宇|吴行宇|崔晓舒|牛文佳
北京交通大学智能交通安全与隐私重点实验室,中国北京,100044
摘要
随着量子计算和人工智能的快速发展,量子机器学习(QML)模型作为这两个领域交叉的前沿方向应运而生,在处理复杂数据结构和高维概率分布方面展现出潜在的优势。然而,与经典神经网络类似,QML模型仍然容易受到对抗性攻击的威胁。值得注意的是,由于量子态的叠加和纠缠特性,QML模型对微小的输入扰动具有较低的敏感性,从而表现出一定程度的对抗性鲁棒性。本文系统地研究了基于量子特性的量子-经典混合神经网络(QCHNN)模型与经典神经网络模型在对抗性攻击下的鲁棒性差异,并分析了量子特性增强模型鲁棒性的机制。实验结果表明,为两种不同数据集设计的混合量子卷积神经网络(QCNN)和混合量子宽残差网络(QWideResNet)在对抗性鲁棒性方面相比标准卷积神经网络(CNN)和宽残差网络(WideResNet)有显著提升。因此,本研究为利用量子特性提高机器学习模型对抗攻击的鲁棒性提供了新的理论基础和研究视角。
引言
机器学习[1]和量子计算[2]的结合为智能计算的发展开辟了新的篇章。一方面,以深度学习[3][4]为代表的经典机器学习技术在图像识别、语音理解和自动决策等领域取得了突破性进展,不断提升了模型的表示能力和适应性。然而,随着模型复杂性的增加,经典机器学习算法暴露出对抗性攻击的脆弱性,使得模型鲁棒性问题日益突出[5]。另一方面,量子计算凭借其独特的物理特性——量子叠加和纠缠,正在重新定义信息处理的范式,并为学习算法的表示能力和泛化性能提供了新的理论基础。近年来,量子机器学习[6](QML)作为这两个领域的交叉点,在高维特征表示、非线性建模和复杂模式识别方面展现出潜在优势。尽管该领域仍处于起步阶段,但其关于模型稳定性和抗干扰能力的理论属性逐渐受到关注。可以预见,QML有望为提高模型对抗攻击的鲁棒性提供新的研究视角和技术途径。
经典机器学习模型本质上容易受到对抗性扰动的影响,输入的微小变化可能导致输出出现显著偏差,从而影响模型的可靠性。为应对这一挑战,经典领域提出了多种防御机制,如对抗性训练和形式化验证,以增强模型抵御恶意扰动的能力[7]。然而,这些方法通常依赖于对特定攻击模式的先验假设,在面对未知或适应性攻击时效果有限,难以在动态和复杂的对抗环境中保持稳定的鲁棒性。因此,本文提出结合量子特性(特别是叠加和纠缠)来构建量子-经典混合神经网络(QCHNN)。通过将量子计算的高维特征映射能力与经典神经网络的非线性表示优势相结合,我们提出了一种架构:首先通过经典卷积前端提取特征,然后嵌入参数化的变分量子电路(VQC)进行高维非线性映射和纠缠增强,最后使用经典全连接层进行分类。这种混合处理范式,即“经典编码、量子演化和经典决策”,旨在提高模型对未知对抗性扰动的鲁棒性和泛化能力,从而为对抗性鲁棒性研究提供新的理论和技术途径。
总结来说,本文的主要贡献如下:
- •
通过引入量子纠缠和叠加的特性,本研究揭示并验证了它们在增强神经网络对抗性鲁棒性方面的有效性,为在对抗性条件下提高模型稳定性提供了理论基础;
- •
针对不同类型的数据集构建了两种量子-经典混合神经网络架构:用于灰度图像分类的混合量子卷积神经网络(Hybrid QCNN)和用于复杂彩色图像的混合量子宽残差网络(Hybrid QWideResNet)。这些架构实现了经典特征提取与量子高维映射的有机结合;
- •
所提出的混合模型在多个基准数据集(MNIST、Fashion-MNIST、CIFAR-10、CIFAR-100)以及各种对抗性攻击(FGSM、BIM、PGD、MIM、C&W)下进行了系统验证,表现出卓越的对抗性鲁棒性。特别是在高扰动预算和多步攻击场景下,模型表现出显著的性能优势和非零的残差鲁棒性。
本文的其余部分组织如下:
第2节回顾了相关工作,总结了经典机器学习和QML在对抗性鲁棒性方面的研究进展,为后续研究奠定了基础;第3节通过一个示例阐明了对抗性攻击的概念,并详细介绍了各种对抗性攻击方法;第4节介绍了与QML相关的基本概念,涵盖了经典比特和量子比特之间的关联和区别,以及数字逻辑电路和量子电路,并介绍了针对不同数据集特点设计的特定QCHNN架构;第5节详细介绍了实验设置,包括软件和硬件配置,并报告了实验结果。这些结果验证了量子特性在多种对抗性攻击场景下提高对抗性鲁棒性的有效性;最后,第6节总结了本文并讨论了未来研究的潜在方向。对抗性脆弱性和鲁棒性评估
Ilyas等人[8]从数据分布的角度提出,对抗性样本并非简单的“错误”,而是源于数据中的“非鲁棒特征”——这些特征对人类不可察觉,但对模型具有高度预测性。Zühlke等人[9]从Lipschitz连续性的数学角度调查了神经网络的鲁棒性,旨在通过统一的数学框架量化模型的可信度。为了进行更全面的模型评估,Zhou等人[10]
对抗性攻击
对抗性攻击是一类专门针对神经网络测试阶段脆弱性的攻击方法。其核心思想是在原始干净样本
引入人类感知无法察觉的微小扰动,从而生成对抗性样本
。这样的对抗性样本能够误导训练有素的模型,使其输出错误的预测结果。为了提高攻击的隐蔽性,
量子比特
量子比特是量子计算的基本单位。
单个量子比特:作为量子计算的基本单位,单个量子比特可以处于状态0和1的叠加态,如方程(5)所示:其中被称为“ket”。系数
和
是称为概率幅度的复数。
表示测量状态
表示测量状态
的概率。
满足条件
硬件和软件配置
实验在高性能计算环境中进行。实验平台的详细硬件和软件配置列在表2中。
数据集
本研究选择了四个具有代表性的图像分类数据集:MNIST[35]、Fashion-MNIST[36]、CIFAR-10[37]和CIFAR-100[37]。这些数据集涵盖了从低维灰度图像到高维彩色图像的复杂程度范围,从而提供了全面的测试
结论
针对经典神经网络对抗性攻击的固有脆弱性,本文系统地提出了基于量子特性的混合神经网络架构,特别是Hybrid QCNN和Hybrid QWideResNet。这些模型在四个数据集(MNIST、Fashion-MNIST、CIFAR-10和CIFAR-100)上进行了广泛验证。实验结果表明,通过将参数化的变分量子电路集成到经典网络中并加以利用
CRediT作者贡献声明
施向宇:软件、方法论、概念化。
田云哲:撰写——审稿与编辑。
李一克:监督。
姜伟伟:撰写——审稿与编辑。
傅乐宇:调查。
吴行宇:验证。
崔晓舒:形式分析。
牛文佳:资源。
利益冲突声明
作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。
致谢
本工作得到了
国家自然科学基金(项目编号:62372021)的支持。