《Electronics》：Discrete Unintentional Adversarial Perturbation Detection for DQN Traffic Signal Control
编辑推荐：
摘要专业翻译
异常交通状态观测值可能影响深度Q网络（DQN）在训练和推理阶段的交通信号控制性能。本研究利用训练阶段的后门投毒构造受损的DQN控制器，并在推理阶段激活触发器以评估由此产生的威胁。研究人员提出一种离散非故意对抗扰动检测器（DUIAPD），用于检测已
摘要专业翻译
异常交通状态观测值可能影响深度Q网络（DQN）在训练和推理阶段的交通信号控制性能。本研究利用训练阶段的后门投毒构造受损的DQN控制器，并在推理阶段激活触发器以评估由此产生的威胁。研究人员提出一种离散非故意对抗扰动检测器（DUIAPD），用于检测已训练DQN中携带触发器的输入。对于每个输入，检测器生成离散化随机扰动，使用同一固定DQN评估所有扰动后的输入副本，并度量逐动作Q值变异性。将归一化敏感性得分与在干净参考输入上校准的阈值进行比较。检测过程中不训练替代神经网络，也不更新DQN参数。在具有四个动作的单个SUMO交叉口中，18种触发器配置下的报告结果显示，真阳性率（TPR）为92.14%–96.38%，假阳性率（FPR）为1.51%–6.40%。这些结果支持在所评估条件下对构造的触发器携带输入的检测。通用传感器故障检测、跨交叉口迁移、实时可行性和下游闭环收益仍有待验证。
论文解读文章
一、研究背景与问题提出
深度强化学习（DRL）技术使交通信号控制器能够从交叉口的编码观测中学习相位选择策略，其中深度Q网络（DQN）将观测映射为动作价值估计并选择信号动作。观测和训练管道的可靠性对控制器行为至关重要。然而，DRL交通信号控制在数据采集、训练和推理阶段均面临安全漏洞威胁。已有研究表明，数据投毒攻击可在8分钟内使交通拥堵增加，通过污染车辆到达时间、信号相位请求和队列长度等交通状态数据可诱导交叉口拥堵，基于攻击算法生成的异常数据同样威胁DRL交通信号控制模型的性能与鲁棒性。
本研究聚焦于训练阶段的后门投毒威胁：攻击者在训练数据中植入少量被操纵的样本，建立触发器与目标动作之间的关联，并在推理阶段激活该关联。这种威胁的隐蔽性在于，被投毒的模型在干净输入上仍保持接近正常的行为，仅在触发器出现时才产生异常动作选择。因此，如何在不重新训练模型、不修改模型参数的前提下，有效检测携带触发器的异常输入，成为保障DQN交通信号控制器安全运行的关键问题。
二、研究内容与核心发现
研究人员构建了训练阶段后门投毒威胁模型，并评估了推理阶段触发器激活的效果。在单个SUMO交叉口、四动作DQN控制器条件下，被投毒模型在触发器携带输入下的目标动作触发成功率达98.07%–99.59%，而干净模型仅为1.30%–1.65%。触发器输入使被投毒模型的日均等待时间从8.18升至10.00，日均队列长度从4.54升至5.73。18种触发器配置的成功率范围为65.28%–99.59%，表明配置依赖性显著。
在此基础上，研究人员提出离散非故意对抗扰动检测器（DUIAPD），用于已训练DQN的输入级检测。该方法不训练替代网络、不更新DQN参数，仅利用离散化随机探针和逐动作Q值变异性作为检测信号。在18种触发器配置下，DUIAPD的真阳性率（TPR）为92.14%–96.38%，假阳性率（FPR）为1.51%–6.40%；与STRIP基线相比，平均TPR提升5.94个百分点，平均FPR降低41.24个百分点（相对降低约89.36%）。
三、关键技术方法概述
研究人员采用的主要技术方法包括：其一，训练阶段后门投毒构造方法，通过向重放缓冲区中的少量样本插入稀疏占用模式（触发器）并重新分配奖励，建立触发器与目标动作的关联；其二，离散非故意对抗扰动生成器，对每个输入生成X个随机扰动副本，每个副本在有效道路掩码约束下选择K个位置进行离散更新；其三，逐动作Q值敏感性分析，计算每个动作Q值在X个副本间的标准差，并以最频繁选择动作的Q值标准差进行归一化；其四，干净数据校准阈值机制，在干净参考输入上确定低分位数阈值，测试输入低于该阈值则判定为异常。实验基于SUMO仿真环境，采用四种交通流配置文件（周一、周三、周五、周末），训练和测试交通流规模分别为15,000和25,000。
四、研究结果分析
4.1 鲁棒性分析（Robustness Analysis of the Traffic Signal Control DQN Model）
通过对比干净模型与被投毒模型在匹配交通流配置下的表现，研究发现：在干净观测下，被投毒控制器保持大致相似的时序行为，但日均指标与干净控制器存在差异；干净模型在暴露于构造触发器时变化相对较小。触发器输入在被投毒模型上显著增加等待时间和队列长度。以周一为例，被投毒模型日均等待时间从8.18升至10.00，日均队列长度从4.54升至5.73；干净模型对应值分别为7.46/7.50和4.27/4.32。触发器激活成功率方面，被投毒模型为98.07%–99.59%，干净模型仅为1.30%–1.65%，验证了后门关联的有效建立。
4.2 DUIAPD检测性能评估（Evaluation of DUIAPD）
在18种构造配置下，DUIAPD相比STRIP基线具有更高的TPR和更低的FPR。等权平均TPR从88.98%提升至94.92%（增益5.94个百分点），平均FPR从46.15%降至4.91%（降低41.24个百分点）。模式1的FPR从51.46%降至1.51%，模式6的TPR增益最大（9.39个百分点），模式15的TPR增益最小（2.04个百分点）。所有模式的TPR增益范围为2.04–9.39个百分点，FPR降低范围为25.46–53.68个百分点。STRIP在四动作空间中产生较多误报的可能原因在于，叠加扰动后部分干净观测仍产生集中的动作输出；DUIAPD额外度量逐动作Q值变异性，从而改善了区分能力。
五、讨论与结论
讨论部分要点： 研究明确指出了若干待验证的边界条件。扰动有效性方面，现有结果不能排除检测器利用扰动输入伪影而非底层异常属性的可能性，需要无扰动参考、匹配预算控制和得分分布分析等验证。外部有效性方面，单一交叉口、四种需求配置和18种触发器模式不能建立跨车道几何、动作空间、转弯比例、需求分布或传感器故障机制的泛化性。下游控制结果方面，检测性能与交通控制性能是独立指标，现有表格表征了后门影响和输入检测，但未建立集成DUIAPD后交通运行改善的证据。实现与报告限制方面，完整复现需要数值生成器和校准参数、精确离散更新规则、逐层架构和Q值输出识别、模型检查点、原始混淆矩阵计数以及分位数和退化得分规则等完整信息。
结论翻译： 本研究提出DUIAPD，用于对固定DQN的触发器携带交通状态输入进行训练后检测。通过刻意的训练阶段投毒构造威胁，利用离散化随机探针和逐动作Q值变异性提供检测信号。扰动输入副本由原始训练网络评估，检测过程中不训练替代网络、不修复网络参数。在所评估的四动作SUMO交叉口中，DUIAPD在18种配置下实现92.14%–96.38%的TPR和1.51%–6.40%的FPR。与测试的STRIP基线相比，平均TPR增益为5.94个百分点，平均FPR降低41.24个百分点。这些配置级比较支持在所测试后门设置下的检测有效性，但不建立通用传感器异常检测、跨交叉口迁移、实时部署、下游延迟降低或运行安全性的结论。实现验证以及独立的扰动、传感器故障和闭环评估仍有必要。
