《Journal of King Saud University Computer and Information Sciences》：An integrated fuzzing and PPO-based deep reinforcement learning framework for firmware vulnerability detection in embedded IoT devices
编辑推荐：
物联网（IoT，Internet of Things）使能嵌入式设备与联网固件环境的快速扩展，因固件漏洞增加和攻击面复杂化而带来了显著网络安全挑战。现有模糊测试方法，如American Fuzzy Lop（AFL++，覆盖率引导模糊测试器），主要依赖预定义变异
物联网（IoT，Internet of Things）使能嵌入式设备与联网固件环境的快速扩展，因固件漏洞增加和攻击面复杂化而带来了显著网络安全挑战。现有模糊测试方法，如American Fuzzy Lop（AFL++，覆盖率引导模糊测试器），主要依赖预定义变异调度和有限探索策略，这可能降低嵌入式固件分析中的执行路径发现效率和漏洞检测能力。为解决这些局限，本研究提出一种基于近端策略优化（PPO，Proximal Policy Optimization）的自适应智能模糊测试框架，利用深度强化学习（DRL，Deep Reinforcement Learning）进行固件漏洞检测。所提框架将AFL++与PPO驱动的演员–评论家（actor–critic，策略与价值联合学习结构）学习模型集成，基于执行覆盖率、崩溃反馈、探索奖励和新发现执行路径动态优化变异选择。该框架采用多种变异算子，包括Bitflip、Byteflip、Arithmetic、Interest和Havoc，同时基于熵的探索提高变异多样性并防止固件测试期间的过早收敛。所提方法使用公开可用的D-Link嵌入式IoT固件镜像和FirmAE（固件仿真框架）进行评估。实验结果表明，所提基于PPO的框架达到约73.5%的代码覆盖率，并发现超过20条唯一执行路径，而在相同实验条件下AFL++达到约35%的代码覆盖率。所提智能方法通过融合可操作安全情报与行为模式实时分析来检测恶意软件，从而能够准确及时识别不断演化的威胁。这些结果表明，强化学习引导的自适应变异调度可显著提高固件探索效率并增强嵌入式IoT固件安全分析中的漏洞发现性能。
主体解读：研究背景与问题方面，物联网（IoT，Internet of Things）使能嵌入式设备和联网固件快速扩展，固件漏洞和复杂攻击面带来网络安全挑战；固件负责控制、监控和管理硬件，是攻击目标。固件漏洞评估已从人工分析转向覆盖率引导模糊测试（fuzzing，通过变异输入触发异常执行）等动态测试，并引入机器学习（ML）、深度学习（DL）和深度强化学习（DRL，Deep Reinforcement Learning）用于漏洞检测和自适应安全分析。现有American Fuzzy Lop（AFL++，覆盖率引导模糊测试器）主要依赖预定义变异调度和有限探索策略，自适应探索能力有限，静态变异调度难发现复杂执行路径，变异优先级低效会产生大量低价值测试用例，探索与利用平衡不足和过早收敛限制固件测试效果；嵌入式固件包含多处理器架构、压缩二进制和复杂执行依赖，分析计算困难。因此，研究人员提出基于近端策略优化（PPO，Proximal Policy Optimization）的自适应智能模糊测试框架，利用DRL进行嵌入式IoT固件漏洞检测。
研究人员开展的研究与结论意义方面，所提框架将AFL++与PPO驱动的演员–评论家（actor–critic，策略与价值联合学习结构）模型集成，依据执行覆盖率、崩溃反馈、探索奖励和新发现执行路径动态优化变异选择；采用Bitflip、Byteflip、Arithmetic、Interest和Havoc多种变异算子，并以基于熵（entropy，策略探索随机性度量）的探索提高变异多样性、防止过早收敛。研究使用公开D-Link嵌入式IoT固件镜像和FirmAE（固件仿真框架）评估。结果表明，所提PPO框架达到约73.5%代码覆盖率，发现约20条唯一执行路径和23个唯一崩溃；相同条件下AFL++约35%覆盖率、7条路径和6个崩溃。其意义在于，强化学习引导的自适应变异调度可显著提高固件探索效率并增强嵌入式IoT固件安全分析中的漏洞发现性能；所提智能方法通过融合可操作安全情报与行为模式实时分析检测恶意软件，及时识别演化威胁。
技术方法方面（不超过250字）：研究人员从D-Link Firmware Center公开仓库采集48个固件镜像，来自12个嵌入式IoT设备型号、每型号4个版本，目标MIPS32架构，大小6.2–18.5 MB；用Binwalk（固件提取工具）提取并归一化文件系统，得到226个可执行文件，筛选61个网络相关目标二进制（18个HTTP、9个Telnet、11个UPnP、23个CGI/输入处理组件）；在FirmAE中仿真执行；AFL++生成变异输入；PPO演员–评论家网络根据15维运行时状态选择5种变异算子，奖励由代码覆盖率与崩溃反馈加权构成，采用AdamW（带权重衰减优化器）更新策略；进行10次独立运行、每次12 h、共120 h，并以500个初始种子、固定随机种子42与AFL++、AFLNet、DeepFuzzer、FuzzMaster等比较。
研究结果方面：
4.1 系统规格：通过Python 3.10.12、WSL2/Docker、Intel Core i9-12900K、64 GB DDR5、RTX 3090、1 TB NVMe和PyTorch 2.1.0搭建实验平台，48个D-Link固件经Binwalk提取、Ghidra分析、FirmAE执行，并在500种子、12 h、10次运行和种子42条件下比较PPO-Fuzz、AFL++、AFLNet、DeepFuzzer、FuzzMaster，建立可复现实验条件。
4.2 性能指标概述：通过固件模糊测试执行反馈定义并计算代码覆盖率、唯一执行路径、执行速度、唯一崩溃、首次崩溃时间和覆盖率增长率，用于评价探索与漏洞发现能力。
4.2.1 代码覆盖率：以执行指令/总指令×100计算，覆盖越高表示固件执行空间探索越充分。
4.2.2 唯一执行路径：对执行轨迹或覆盖签名去重累计，避免重复路径高估探索性能。
4.2.3 执行速度：以总执行数/执行时间衡量吞吐和大规模模糊测试能力。
4.2.4 唯一崩溃：对不同异常执行事件去重累计，用于评估崩溃发现能力，但需进一步确认是否为真实漏洞。
4.2.5 首次崩溃时间：以首次崩溃时间减开始时间计算，越低表示初始漏洞发现越高效。
4.2.6 覆盖率增长率：以相邻覆盖率差/时间间隔计算，越高表示新执行区域探索越快。
4.3 模型评估：通过奖励进展、演员–评论家损失、熵、变异策略分布和主成分分析（PCA，Principal Component Analysis）状态空间可视化分析学习行为；初始种子500个（220个HTTP请求44%、110个CGI输入22%、70个UPnP消息14%、50个Telnet命令10%、50个畸形包10%）；探索性分析显示Havoc与覆盖率和路径发现相关性最高；400个训练回合中5种变异选择概率接近20%，保持探索多样性；覆盖率发现速度约0.8–3.6单位/回合、均值约2.0，吞吐约850–1500 exec/s、均值约1200；累计奖励初期快速上升后高位波动，actor/critic损失早期下降并在约200回合达低点后波动；策略熵与回合奖励相关r=0.45，熵约0.0–0.9对应奖励约1000–1800；PCA前两个主成分解释28.1%和12.2%（约40.3%方差）；多指标关系显示覆盖率、累计奖励和执行路径正相关，覆盖率与路径正相关，吞吐稳定，熵分布稳定；收敛分析显示损失早期快速下降、约200回合最低后随复杂状态适度上升；PCA状态空间显示覆盖与路径方向贡献相似。结论：PPO学习有效变异选择并保持探索多样性，奖励和损失趋势作为学习进展证据而非严格收敛唯一证据。
4.4 与基线模型比较：通过与AFL++比较，PPO框架达到约73.5%代码覆盖率、23个唯一崩溃和20条唯一执行路径，AFL++约35%、6个崩溃和7条路径；累计崩溃和路径增长更快。结论：强化学习自适应变异调度显著提升固件探索和异常发现，检测到的崩溃为候选漏洞需验证。
4.5 与现有智能模糊测试方法比较：通过统计比较、崩溃验证和与SIoTFuzzer、DeepFuzzer、FuzzMaster等比较，PPO-Fuzz的改进具统计显著性（p<0.001、95%置信区间大于零、Cohen’s d大效应）；崩溃按根因和CWE（Common Weakness Enumeration，通用缺陷枚举）分类，涉及内存安全、整数溢出、空指针解引用、越界读和释放后使用；PPO-Fuzz覆盖率73.5%高于SIoTFuzzer 65.2%和DeepFuzzer 61.4%，唯一崩溃23、唯一路径20；吞吐400–600 exec/s可变；与FuzzMaster相比覆盖、路径和崩溃更高，FuzzMaster吞吐略高，PPO-Fuzz支持FirmAE和AFL++的嵌入式IoT固件；消融显示移除熵、奖励反馈或自适应变异均降低覆盖、路径和崩溃发现。结论：各组件共同贡献整体效果，PPO引导自适应调度优于评估基线。
4.6 讨论：通过对比FuzzMaster（基于DQN、概率调度、运行时反馈、opcode观察、函数调用序列和奖励驱动，面向以太坊智能合约，使用VeriSmart、SmartBugs和Ethereum智能合约数据集，约66.15%检测率和100%精度），所提方法面向智能计量终端固件，不涉及智能合约，探索固件执行路径、学习变异、检测崩溃并分析通信相关漏洞，达到约73.5%代码覆盖率。结论：PPO自适应模糊测试适用于嵌入式IoT固件漏洞检测。
研究结论翻译：当前研究提出一种基于PPO的智能模糊测试方法，通过将强化学习与覆盖率引导模糊测试结合，分析嵌入式IoT设备固件镜像中的漏洞。该框架采用PPO算法的actor–critic架构和AdamW优化器，根据执行覆盖率、执行路径、崩溃反馈和奖励信号动态选择变异策略。在所评估实验条件下，所提框架达到73.5%代码覆盖率、20条唯一执行路径和23个唯一崩溃，而AFL++达到35.0%代码覆盖率、7条唯一执行路径和6个崩溃。应考虑若干局限。第一，评估使用来自单一来源的固件镜像，限制了研究结果向其他IoT厂商、固件家族、架构和部署环境推广的程度。第二，检测到的崩溃代表候选安全发现，在没有进一步根因分析、可利用性评估和真实环境安全验证的情况下，不应解释为已确认漏洞。此外，当前评估未确立框架在更广泛嵌入式平台和固件架构上的通用适用性。因此，未来工作将研究更广泛的多源和多架构固件数据集、先进强化学习策略如多智能体和分层学习，以及基于Transformer的探索机制，以进一步评估所提方法的鲁棒性和泛化性。
