针对强化学习模型的侧信道攻击

《Integration》：A Side-Channel Attack on Reinforcement Learning Models

　　我们设计了一种基于缓存的Flush+Reload侧信道攻击方法，该方法无需事先了解强化学习（RL）模型的内部结构。通过时间聚类缓冲函数的执行情况，可以揭示用于推断状态/动作维度的调用模式。我们从观察到的矩阵运算泄漏中重构出完整的策略矩阵，并利用这些矩阵来推断内部超参数。该方法在Q学习、SARSA以及使用Eigen库的策略梯度实现上进行了演示，揭示了实际存在的安全风险。

引言
人工智能（AI）已成为现代技术的核心组成部分，在自动驾驶、医疗保健、安全和金融等多个领域推动了深远的变化。它利用数据和先进的算法使机器能够解决传统上需要人类专业知识的问题[1]。强化学习（RL）是人工智能方法之一，在需要智能判断的领域取得了显著进展，例如自动驾驶车辆、机器人控制、量化投资以及在硬件平台上部署的安全智能系统。RL的基本机制是使代理能够根据在不同情况下获得的行动经验来学习最佳行动方案[2][3]。此外，深度学习与强化学习的结合越来越多地应用于实际场景中，如机器人技术和自然语言处理[4]。例如，基于深度强化学习的神经启发式算法通过采用编码器-解码器架构成功解决了复杂的路由和调度问题，如带回报的车辆路由问题（VRPB）[5]。深度强化学习（DRL）在机器人技术中也取得了重要进展，实现了包括操作、移动、导航和与人类交互等关键功能[4]。同时，在大型语言模型（LLMs）的推理任务中，研究人员探索了在缺乏明确标签的数据下使用RL的应用，将搜索操作整合到推理链中，指导何时以及如何进行搜索，从而影响进一步的推理[6][7]。为了支持这些应用，开源库如Eigen库[8]为RL环境提供了标准化的API。这些工具提高了算法与环境之间的兼容性，简化了RL模型的开发、评估和部署过程。随着DL和RL模型在边缘设备和硬件设备上的广泛部署，它们在物理攻击下的安全漏洞逐渐受到关注。

强化学习可以增强大型语言模型的推理能力[9]。例如，研究人员使用强化学习动态控制推理模型的输出长度，在准确性和计算效率之间取得了良好平衡[10]。此外，通过开源训练框架和数据集提高大规模强化学习研究的可重复性至关重要[11]。随着深度学习模型在资源受限和嵌入式环境中的日益应用，通过侧信道攻击（SCAs）窃取模型的风险也变得更加突出。与针对加密实现的传统SCAs不同，最近的研究将注意力转向了在硬件加速器和边缘设备上部署的神经网络。通过利用硬件级别的泄漏信息，如缓存访问模式、功率迹线和其他微架构或物理泄漏，攻击者能够推断出模型架构细节、超参数，在某些情况下甚至能够推断出训练过的模型参数[12][13][14][15][16]。例如，Chandrasekar等人[14]提出了一种针对边缘FPGA加速器的特洛伊侧信道攻击，而Mercury框架[12]通过自动时间分析和内存分析实现了对NVIDIA深度学习加速器的远程SCA。Arefin和Serwadda[17]进一步证明，GPU的声学辐射可以揭示深度神经网络的架构，突显了现代AI硬件的物理侧信道漏洞。后续研究继续扩大了这类威胁的范围，表明侧信道攻击可以利用功耗、声学辐射和不同平台间的微架构总线活动来实施或放大硬件级别的攻击[18][19][20]。Sajid等人[21]展示了一种针对基于RL的控制器的模型提取攻击，表明通过系统的输入输出交互可以推断出模型的内部决策行为。

尽管这类攻击通常将这些模型视为黑盒，但强化学习模型具有与环境持续交互和动态更新策略等独特特征，这可能会引入新的信息泄漏途径。Lou等人[22]证明，通过分析输入输出行为，可以逆向工程由AutoML生成的神经网络，从而推断出其内部架构。这一发现表明，强化学习中也存在类似的风险：外部查询也可能揭示模型结构和决策模式。虽然SCAs已经成功地应用于传统神经网络——允许攻击者提取模型结构、权重或激活值——但它们对强化学习系统的影响尚未得到充分探索。与静态模型不同，RL代理在动态环境中运行并不断调整其策略。这些特性可能会引入之前未探索的漏洞，可能体现在状态-动作轨迹、策略优化工作流程和奖励反馈循环中。

在本文中，我们提出了一种针对RL模型的混合侧信道攻击方法，以提取关键的架构和行为特征。我们假设攻击者对模型的内部架构或实现细节没有任何先验知识。所提出的攻击结合了基于缓存的泄漏分析和基于时间的行为推断，从RL模型中提取敏感信息。特别是，利用Flush+Reload技术监控Eigen库中与矩阵运算相关的缓存访问模式，该库在RL实现中广泛使用。分析不仅依赖于低级别的缓存事件，还包括数据缓冲函数的执行时间分析。通过聚类函数调用的延迟，攻击者能够识别反映模型行为的高级执行模式。通过对缓存活动和时间特征的综合分析，可以推断出目标模型的一些关键架构属性，包括状态和动作空间的维度。此外，通过将恢复的策略结构与实际RL部署中常用的奖励机制相关联，所提出的混合分析有助于逆向工程内部超参数，尤其是折扣因子。

相关工作
RL已成为复杂环境中决策的关键方法，应用范围从增强大型语言模型的推理能力到控制实际系统[23]。可扩展的RL框架支持超出模拟的实际探索[23]。然而，为了使代理行为与人类意图保持一致，最近的努力将人类反馈纳入训练框架中，例如基于人类反馈的RL（RLHF），该框架利用人类偏好来指导策略更新。

威胁模型
本文提出了一种针对RL模型的基于缓存的侧信道攻击方法。具体来说，攻击者首先通过收集相关信号对目标RL模型进行分类。随后，通过监控目标程序的缓存访问模式，可以推断出RL模型的状态和动作空间的维度。此外，通过分析策略矩阵和奖励函数来推导出相应的折扣因子（γ）。

系统概述
我们从执行强化学习模型的计算机中收集功耗信号，这些信号可用于对强化学习模型进行分类，以使攻击者能够有目的地进行侧信道攻击。我们的方法如图1所示，包括四个不同的阶段：（1）收集有关计算机硬件资源利用的数据；（2）利用收集到的信号通过机器学习方法对目标模型进行分类；（3）实施基于缓存的...

强化学习模型
我们提出的方法利用监控信号通过机器学习方法对强化学习模型进行分类。为了实现我们的研究目标，我们选择了三种经典的强化学习模型作为目标模型，即Q学习、SARSA和策略梯度。具体来说，Q学习和SARSA被归类为基于价值的模型，而策略梯度被归类为基于策略的模型。

收集信号
我们使用OpenHardwareMonitor（OHM）来测量执行强化学习模型的计算机的功耗。

评估
为了评估所提出的攻击方法，我们利用功耗侧信道信号对强化学习模型进行分类。此外，迭代器和索引方法在访问和更新这些矩阵的过程中起着关键作用，它们与缓存机制的相互作用引入了一层漏洞，以确定强化学习模型的策略矩阵维度。最后，我们推导出强化学习模型的折扣因子。

局限性
尽管所提出的基于缓存的侧信道攻击方法有效，但该方法仍有几个局限性。首先，我们的攻击专门针对使用Eigen库实现的RL模型，利用了该库的原生日符迭代器和块遍历逻辑。因此，将这种方法扩展到其他框架（如PyTorch和TensorFlow）是未来工作的一个有价值的方向。其次，尽管我们的实验评估目前仅限于三种经典的表格模型...

结论
本文表明，RL系统容易受到缓存侧信道攻击的影响，因为模型执行期间的硬件信号和计算模式可以揭示关键细节，例如功耗特征用于模型分类、通过Flush+Reload攻击线性代数运算的策略矩阵维度更新以及通过逆向工程策略矩阵和奖励函数获得的折扣因子（γ）。RL的迭代优化与硬件之间的相互作用...

利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系，这些关系可能会影响本文报道的工作。

数据可用性声明
相关数据是从使用OpenHardwareMonitor和nvidia-smi等工具在强化学习模型执行过程中收集的硬件监控测量数据中获得的。由于实验环境和硬件配置的差异，这些数据集不是公开可用的，但可根据合理请求向相应作者索取。

作者贡献声明
周汉迅：概念化、方法论、软件、写作 - 原始草案。王志川：形式分析、验证、写作 - 审查与编辑。尹德明：调查、数据管理。冯勇：资源。王燕：可视化。潘洪：项目管理。郭伟：监督。王荣冰：监督。陈彦峰：数据管理。

未引用参考文献[45]