利用多智能体深度强化学习实现自适应且鲁棒的网站指纹识别防御

《Computer Networks》：Towards adaptive and robust website fingerprinting defense with multi-agent deep reinforcement learning

　　

摘要

随着针对匿名通信系统的网站指纹识别（WF）攻击威胁的增加，各种防御策略，如随机化、规则化、多路径和对抗性防御，在特定条件下显示出有希望的结果。然而，现有的防御策略仍然面临三个关键限制：（1）对不断演变的攻击和动态环境的适应性有限；（2）由于机制复杂导致的高计算成本；（3）在不同攻击者和流量场景下的性能不一致。为了提高防御策略的适应能力和对抗性，我们提出了RAMAD（鲁棒自适应多智能体防御，RAMAD），这是一种基于多智能体深度强化学习（MADRL）的适应性流量分割防御策略，它将防御者和攻击者建模为参与动态对抗游戏的两个智能体，使两者都能进行进化并优化策略。通过多智能体近端策略优化（MAPPO）算法实现联合训练。在保持通信性能的同时，RAMAD通过动态调整多路径之间的流量分配比例，有效破坏了攻击者的指纹识别行为。系统仿真评估基于真实的Tor流量数据集和各种典型的攻击模型进行。结果表明，RAMAD可以将攻击成功率降低到13.13%，减少了大约80%，同时平衡了低开销和高路径分配熵，显示出强大的适应性和防御性能。与传统的防御方法（如Tamaraw、WTF-PAD和FRONT）相比，这种策略在安全性和性能之间取得了良好的平衡，证明了其作为智能匿名通信防御机制的潜力和可扩展性。

引言

随着互联网技术的迅速发展，用户隐私保护和数据安全已成为数字社会中的核心问题。匿名通信系统，如图Tor网络[1]、[2]，作为增强隐私技术的关键实现方式，为保护用户在线安全提供了解决方案[3]。然而，值得注意的是，尽管这些系统有效地加密了通信内容，但它们在传输过程中仍然会产生大量的侧信道元数据——例如数据包大小、时间和请求频率[4]。这些元数据仍可能被攻击者利用，从而暴露用户行为模式，并对隐私保护构成新的威胁。网站指纹识别攻击利用这些元数据，通过机器学习模型重建访问网站的信息，对匿名通信系统的安全构成严重威胁[5]。研究表明，基于深度学习的网站指纹识别攻击在公共数据集上的准确率超过95%，使得传统的静态防御策略越来越无效[6]。

为了解决这一挑战，研究人员提出了四类主流的防御策略：随机化、规则化、对抗性和多路径防御[7]。随机化防御旨在通过注入噪声来混淆流量特征，但这种方法通常会带来显著的带宽开销[8]、[9]。规则化防御试图统一流量模式，但存在高延迟和对基于深度学习的攻击抵抗能力差的问题[10]、[11]。对抗性防御生成扰动的对抗样本以误导攻击分类模型[12]，但其效果在很大程度上依赖于对攻击模型的先验知识，并且通常缺乏实时适应性[13]、[14]。多路径防御通过将流量分布在多个电路上来破坏攻击者对全局流量信息的监控，具有低开销和高适应性，是一个非常有前景的研究方向[15]。

尽管取得了这些进展，现有方法仍存在一些限制，包括适应性差、计算成本高和防御性能不稳定。首先，许多当前的防御措施依赖于预定义的规则，攻击者可以逐渐学习并适应这些规则，从而绕过保护机制。这使得它们在复杂和动态的攻击场景中无效。其次，一些防御机制需要大量的计算资源，例如动态流量填充或频繁的数据包重新排序，在部署期间对计算和网络基础设施造成很大压力。最后，防御策略通常是静态设计的，缺乏灵活性，面对复杂攻击时可能会表现出不稳定的性能。这些问题从根本上源于传统方法缺乏对环境的意识和策略适应性，使得它们无法充分抵御不断演变的威胁。

为了解决上述问题，我们提出了RAMAD，这是一种基于多智能体深度强化学习（MADRL）[16]的适应性流量分割防御策略。RAMAD以“防御者-攻击者”博弈论框架为中心，将双方建模为动态对抗的强化学习智能体。它采用多智能体近端策略优化（MAPPO）算法进行训练，以优化智能体策略。在这个框架内，防御者智能体根据网络条件和攻击者行为的变化，动态调整流量分割策略，从而掩盖网站访问模式并提高防御效果。相比之下，攻击者智能体尝试通过分析部分监控的流量数据来提取流量指纹，以识别用户访问的网站。在训练过程中，防御者和攻击者智能体持续互动和学习。收敛后，防御者智能体会为各种攻击场景识别出最优的防御策略。总之，这项工作的核心思想是通过马尔可夫博弈来模拟攻击-防御交互。通过利用多智能体深度强化学习算法不断精炼策略，它构建了一个集感知、决策和对抗适应于一体的智能防御系统。

我们工作的主要贡献总结如下：

• (1)
  我们是第一个将WF攻击和防御交互形式化为分布式部分可观察马尔可夫决策过程（Dec-POMDP）的团队，清晰地描述了防御者和攻击者之间的对抗机制，为后续基于强化学习的策略优化提供了理论基础。
• (2)
  我们提出了RAMAD，这是一种新颖的MADRL框架，用于WF防御，将防御者和攻击者建模为两个可学习的异构智能体。通过结合集中训练与分散执行（CTDE）和对抗性训练，防御者的策略能够根据攻击者的策略进行适应性演化。
• (3)
  为了平衡防御强度和通信效率，我们设计了一个多目标奖励函数，综合考虑了攻击检测准确性、流量平衡和路径成本。这使得防御者能够学习在隐私保护和网络性能之间有效权衡的策略。
• 在仿真环境和真实世界Tor流量数据集上的全面实验表明，与不采用任何防御措施相比，RAMAD显著降低了攻击成功率——超过80%——并且在保持低通信开销方面优于现有的主流方法。

本文的其余部分组织如下。第2节回顾了之前关于WF攻击和防御的工作，以及深度强化学习（DRL）在Tor网络中的应用。第3节介绍了初步知识，包括WF威胁模型和MADRL基础知识。第4节详细介绍了我们提出的防御框架RAMAD的总体架构、核心算法和训练过程。第5节提供了全面的实验评估，第6节对本文进行了总结。

章节摘要

相关工作

在本节中，我们介绍了关于WF攻击和防御的先前工作，以及DRL在Tor网络中的应用。

WF威胁模型

如图1所示，我们考虑了一个位于客户端和入口节点之间的被动网站指纹识别攻击者。潜在的攻击者可以是本地用户网络中的监听者（例如，恶意Wi-Fi运营商）、互联网服务提供商（ISP），或者是路由路径中的中间网络实体（例如，自治系统（AS）、交换节点）。与主动攻击者不同，这种类型的攻击者不会主动篡改、注入或丢弃Tor流量，也不会解密任何

一种创新的防御：RAMAD

在本节中，我们介绍了RAMAD的算法概述、设计和训练过程。

实验与评估

在本节中，我们介绍了研究中使用的数据集和实验设置，以及基于真实世界流量追踪的RAMAD性能和准确性的全面评估。

结论与未来工作

本文提出了一种基于MADRL的自适应流量分割防御策略RAMAD，用于对抗匿名通信系统中的深度WF攻击。防御者和攻击者都被建模为参与对抗性马尔可夫决策过程的异构智能体。使用CTDE框架和MAPPO算法，两个智能体进化出它们的策略，使防御者能够感知攻击变化并灵活调整流量分配，从而提高防御性能

CRediT作者贡献声明

朱宇飞：撰写 – 原初草稿，验证，概念化。田磊：撰写 – 审阅与编辑，验证，监督。胡玉祥：项目管理，形式分析。裴行龙：资源，方法论，数据整理。詹琦：可视化，验证。黄启龙：可视化，验证。

利益冲突声明

作者声明他们没有任何已知的财务利益或个人关系可能会影响本文报告的工作。

致谢

本项工作得到了中原地区科技创新领军人才补贴项目的支持，项目编号为244200510038。

朱宇飞|田磊|胡玉祥|裴行龙|詹琦|黄启龙