面向车辆网络的隐私保护型联邦深度强化学习：基于奖励塑造与自适应梯度裁剪技术

《Computer Networks》：Privacy-preserving federated deep reinforcement learning with reward shaping and adaptive gradient clipping for vehicular networks

　　•一种用于保护隐私的物联网强化学习联邦DQN框架被开发出来。•优先重放策略和奖励 shaping技术可加速策略收敛。•自适应梯度裁剪机制能在隐私保护与学习效率之间取得平衡。•通过机制分析来解释模型的稳定性以及隐私与效率之间的权衡。•基于NGSIM的测试在不同交通密度下验证了该框架的有效性。

引言
随着物联网及自动驾驶技术的快速发展，智能车辆在复杂交通环境中的感知、通信及协同决策能力不断提升。通过车对车、车对基础设施以及车对云的通信方式，物联网实现了车辆间的高效信息交换与协同控制，从而提升了交通安全性与运输效率[1]、[2]、[3]、[4]、[5]。然而，物联网环境的高度动态性和数据密集性对决策效率及隐私保护提出了严格要求。

深度强化学习，尤其是深度Q网络，在行为规划与决策等自动驾驶任务中取得了显著成效，因为它能够处理高维状态空间[6]、[7]、[8]。但传统DQN训练依赖于集中式数据收集，这不仅引发隐私担忧，还限制了分布式车辆网络的可扩展性[9]。联邦学习则提供了一种有前景的解决方案，它允许通过本地计算和全局聚合来实现模型训练，而无需共享原始数据[10]、[11]。将联邦学习与深度强化学习相结合，可在保持数据本地性的同时实现车辆间的分布式策略学习。

尽管具备这些优势，物联网环境中的联邦强化学习仍面临若干关键挑战。首先，稀疏的奖励信号和复杂的状态空间往往会导致探索效率低下、收敛速度缓慢。其次，虽然不共享原始数据，但上传的梯度仍可能泄露敏感信息，因此必须在模型更新层面加强隐私保护[12]。此外，现有研究通常分别探讨学习性能提升与隐私保护问题，对于探索策略、梯度敏感性控制及差分隐私机制之间的相互作用研究尚不够深入。

更具体而言，现有方法存在三个主要局限：多数方法未能在稀疏奖励环境下实现高效探索，导致在复杂交通场景中训练效率不佳；差分隐私应用时多采用固定裁剪阈值或直接添加噪声，无法适应强化学习的动态特性，还可能降低模型性能；目前缺乏能够同时考虑经验优先级、奖励 shaping、自适应梯度控制及隐私保护的统一框架，因而限制了其在分布式物联网决策中的应用效果。

为应对这些挑战，本文提出了一种用于物联网环境下自动驾驶的隐私保护型联邦DQN框架。该框架将优先经验重放、基于势能的奖励 shaping、动态梯度裁剪以及差分隐私整合到统一的客户端训练流程中。具体而言，首先对梯度进行自适应裁剪以控制其敏感性，然后再加入高斯噪声，之后再将处理后的梯度上传以实现联邦聚合。这种设计提升了探索效率，增强了训练稳定性，并在协同学习过程中确保了严格的隐私保障。

本文的主要贡献如下：
(1) 隐私保护型联邦强化学习框架：针对物联网驱动的自动驾驶场景，开发了一种无需共享原始车辆数据的联邦DQN框架，可实现协同学习。
(2) 自适应隐私保护机制：提出了一种结合动态梯度裁剪与差分隐私的统一策略，以在非静态强化学习环境中实现隐私保障与训练稳定性的平衡。
(3) 学习效率提升：设计了一种融合优先经验重放与基于势能的奖励 shaping的混合机制，旨在提高复杂交通环境下的探索效率并加速算法收敛。

与那些采用固定裁剪阈值和静态隐私控制措施的现有隐私保护型联邦DQN框架不同，本文提出的框架引入了一种基于价值的自适应梯度裁剪机制，它能将基于TD误差的学习重要性与差分隐私保护动态结合，从而实现自适应的敏感性控制，让联邦强化学习过程中的隐私与效率权衡更加合理。

本文的结构安排如下：第2节回顾相关研究；第3节介绍必要的基础理论；第4节阐述所提出的框架及算法设计；第5节进行隐私分析；第6节展示实验结果与性能表现；最后，第7节对全文进行总结，并探讨未来如何进一步扩展以应对物联网系统中的高级对抗性场景。

相关研究
本节回顾了本研究涉及的关键技术，包括自动驾驶领域的强化学习方法、物联网环境中的联邦强化学习、优先经验采样策略、奖励 shaping技术，以及差分隐私和梯度裁剪等隐私保护机制。这些内容为所提出的隐私保护型联邦DQN框架奠定了理论基础。

联邦学习
联邦学习最初由谷歌提出，旨在通过客户端-服务器架构实现语言模型的分布式训练。作为一种分布式机器学习范式，联邦学习允许多个客户端在不共享原始数据的情况下，与中央服务器共同训练模型。与传统集中式学习方法不同，联邦学习将训练过程分散到各个本地客户端，每个客户端仅在本地进行模型训练，仅上传中间结果。

问题建模与强化学习框架
在本文中，车辆在动态环境中的决策过程被建模为马尔可夫决策过程，其形式化定义为一个元组：M=〈S,A,P,R〉，其中S表示车辆对环境的感知状态空间，A表示可能的驾驶决策对应的动作空间，P(st+1∣st,at)为状态转移概率，R(st,at)则表示即时奖励函数。基于这一模型，每个车辆客户端都会运用相应的强化学习算法进行决策。

隐私分析
在联邦强化学习框架中，若假设服务器不可信或具有半诚实特性，直接共享客户端的本地梯度或参数更新可能会导致模型逆向攻击和模型提取攻击，进而使敏感的交互数据泄露。为解决这一问题，本文在客户端引入了局部差分隐私机制，并将其与服务器端的联邦聚合相结合，从而提供了严谨的理论保障。

实验环境与任务设置
为评估在隐私约束条件下降低联邦强化学习方法的有效性与稳定性，实验在离散的网格世界环境中进行。如图3所示，设计了两种具有不同障碍物布局的探索场景。

结论与未来工作
本文提出了一种用于物联网环境中分布式决策的隐私保护型联邦深度强化学习框架。该框架将联邦深度Q网络学习与基于势能的奖励 shaping、优先经验重放以及所提出的基于价值的自适应梯度裁剪机制相结合，并在局部差分隐私框架的支撑下，提升了探索效率，加速了算法收敛，同时还增强了隐私保护能力。

作者贡献说明
刘培谦：监督、方法论、概念设计。张子岩：原文撰写、软件工具使用、方法论研究、形式化分析。沈志豪：验证工作、形式化分析。王辉：验证工作、研究调查、资金获取、形式化分析。

资金支持
本项目得到了河南省自然科学基金（项目编号：242300420373）以及河南理工大学博士科研基金（项目编号：B2023-35）的支持。

利益冲突声明
作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。

刘培谦|张子岩|沈志豪|王辉