面向CTF自主渗透测试的规划器导向多智能体LLM架构与按需技能配备专家系统

《International Journal of Information Security》：Planner-directed multi-agent LLMs with on-demand skill-equipped specialists for CTF-based autonomous penetration testing

　　

大语言模型（Large Language Model, LLM）智能体正日益自动化进攻性安全任务，但在孤立挑战上的成功并不能证明其具备可靠的长期自主能力。本研究在授权的夺旗（Capture-The-Flag, CTF）与战争游戏环境中探讨了这一区别，并提出一种规划器导向架构，其中持久化非执行规划器按需将任务委派给临时、上下文隔离的专业子智能体，这些子智能体具备可检索技能、持久化执行、紧凑记忆、防护栏及可配置模型升级能力。在NYU CTF基准测试集全部200项挑战上，该系统获得41个被接受旗帜（20.5%）和29个经泄露审计的真实解（14.5%），而状态化单智能体基线仅分别获得4个（2.0%）和3个（1.5%）。两者均从gpt-4o-mini起步，但只有规划器导向系统能够升级至gpt-5-mini，该系统在199/200项挑战中触发了升级，占支出的72.5%。一项在预注册的80项挑战子集上进行的受控架构-升级交叉实验，将资源匹配的单体智能体与规划器在匹配预算下进行对比，并独立完成两轮正式评估：M0分别解决4/80和3/80，M1解决22/80和19/80，P0解决4/80和3/80，P1解决14/80和15/80。合并两轮正式评估并以挑战为重复单元，聚类广义估计方程（Generalized Estimating Equation, GEE）显示强升级效应（比值比OR=8.79，95%置信区间CI 3.39?22.81，p=8×10-6），无架构主效应（OR=1.17，p=0.34），以及显著的架构-升级交互效应（OR=0.53，p=0.005）。在支出受限的340行动上限下，专业子智能体委派、上下文重启及证据折叠的协调成本抵消了规划器导向结构带来的额外解题率优势。在OverTheWire Bandit上，规划器导向系统独立模式达到30/33，顺序模式达到24/33，而最强单智能体迷你骨干网分别为27/33和23/33。

论文解读：规划器导向的多智能体LLM架构在CTF自主渗透测试中的应用

一、研究背景与问题提出

渗透测试本质上是一个序贯决策过程，操作者需要在侦察、假设形成、利用、凭证恢复、横向移动和验证等环节间保持状态连贯性，并在初始攻击路径失败时及时调整策略。这使得自主渗透测试成为一项极具挑战性的系统安全保障任务：能力不仅取决于模型能否给出正确命令，更在于智能体能否在多步行动中维持一致的闭环推理，并产生可验证的安全目标达成证据。

当前研究存在两个突出问题。第一，孤立任务的成功率可能显著高估同一智能体在状态传递链条中的实际表现——智能体在单次挑战中表现出色，并不代表它能可靠地完成需要跨步骤携带状态的长程自主任务。第二，静态公开CTF基准测试面临环境捷径和预训练数据污染的双重威胁，使得原始成功率指标难以真实反映系统能力。

针对上述问题，研究人员设计了一种规划器导向的分层多智能体架构，旨在探索在长程进攻性安全任务中究竟需要多少持久化编排能力。该研究在两个互补的评估场景中检验这一架构：OverTheWire Bandit用于区分独立任务能力与序贯状态携带自主性，NYU CTF Bench则用于评估系统在异构进攻性安全任务集合上的端到端能力。

二、主要技术方法

研究人员采用了以下关键技术方法：

1. 1.
   规划器导向分层多智能体架构（Planner-Directed Hierarchical Multi-Agent Architecture）：设置一个持久化的非执行规划器作为全局推理中枢，不直接执行shell命令，而是维护显式任务列表、选择类别专业子智能体并接收其结论，决定重新规划、再次委派或提交候选旗帜。
2. 2.
   按需创建与上下文隔离的专业子智能体（Transient Context-Isolated Specialists）：专业子智能体按需创建，每次只有一个活跃，不存在同级通信。每个子智能体接收委派任务和紧凑的相关先前证据，运行本地推理-行动-观察循环直至成功、停滞或耗尽预算，结束时返回发现和建议并立即销毁。
3. 3.
   渐进式披露程序技能机制（Progressive-Disclosure Procedural Skills）：每个专业子智能体配备对应类别的技能包，包含紧凑技术索引和深层笔记引用。初始上下文中仅放置索引，子智能体可通过专用工具按需读取深层笔记，访问范围受类别限制。
4. 4.
   结构化执行合约与证据折叠（Structured Execution Contract and Evidence Folding）：所有子智能体使用统一的非交互式shell命令执行、脚本写入和候选旗帜提交三工具接口。子智能体轨迹在执行完成后被折叠成紧凑证据卡，包含任务、主要观察、候选工件和推荐下一步行动，通过拉取式召回工具供后续检索。
5. 5.
   自适应模型升级策略（Adaptive Model Escalation Policy）：规划器和专业子智能体默认使用gpt-4o-mini，当专业子智能体出现占位提交、提交被拒绝或在12个工具行动内未获接受旗帜时，触发向gpt-5-mini的粘性升级。
6. 6.
   确定性防护栏与状态图检查点（Deterministic Guardrails and State Graph Checkpointing）：包括重复命令阻止、证据基础提交校验、重复猜测上限和全局步骤预算，同时状态图在每个节点转换后进行检查点保存，支持中断恢复和事后审计。

三、研究结果

RQ1：端到端NYU CTF性能

在NYU CTF基准测试集全部200项挑战上，规划器导向系统在审计前提交41个被接受旗帜（20.5%），保留29个真实解（14.5%）。各类别真实解率从二进制利用的12.8%到取证分析的20.0%不等，逆向工程贡献最多真实解（9个），密码学次之（6个）。状态化单智能体基线仅获得3个真实解（1.5%）。配对McNemar检验在28个不一致对上得到p=2.16×10^-7，表明规划器导向系统的优势具有统计显著性。

RQ2：OverTheWire Bandit长程自主性

在Bandit评估中，所有状态化单智能体配置在独立模式下解决的关卡数均多于序贯链式模式。最大差距出现在gpt-4o-mini，从19/33降至12/33；最强单智能体gpt-5-mini从27/33降至23/33。规划器导向系统同样呈现这一差异，独立模式达到30/33，序贯模式达到24/33。结果表明成功的局部行动本身并不能保证可靠的端到端自主性，当早期凭证、shell状态和交互结果决定后续进展时尤为如此。

RQ3：运行行为与成本分析

专业子智能体共执行110,750条命令，接收3,926次委派，92.5%的委派与类别提示一致。首次委派的提示一致性达99.0%，后续委派降至92.1%，反映了规划器在专业子智能体停滞后开始搜索其他类别的行为模式。91.9%的专业子智能体回合触发了升级，升级后平均发出14.93次大模型调用。提交防护栏过滤了83.2%的候选旗帜，仅留下390次进入最终检查。规划器导向系统总成本$136.83，每真实解$4.72；单智能体系统总成本$70.48，每真实解$23.49。约93.2%的输入token量按缓存读取费率计费。

RQ4：受控架构-升级实验

在预注册的80项挑战子集上进行的2×2受控实验中，升级禁用时两种架构解决相同数量挑战（首轮均为4/80，次轮均为3/80）。升级启用后，单体智能体分别解决22/80和19/80，规划器系统分别解决14/80和15/80。聚类GEE模型显示强升级效应（OR=8.79，p=8×10^-6）、无架构主效应（OR=1.17，p=0.34）以及显著架构-升级交互效应（OR=0.53，p=0.005）。在匹配工具、语料库、防护栏、提示和预算条件下，自适应升级对解题率产生强烈正向作用，而规划器导向结构包在此行动预算下未提供额外解题率优势。

四、讨论与结论

讨论要点

1. 1.
   证据支持的范围：完整拆分比较显示集成规划器导向系统在NYU CTF上显著优于状态化单智能体基线（14.5%对1.5%真实解率），但这是系统级比较，捆绑了规划器结构、技能、记忆、防护栏和大模型访问权限。受控实验在匹配条件下分离了结构和自适应升级的效应。
2. 2.
   协调成本与固定行动预算：在共同340行动上限下，委派任务、重启专业子智能体、折叠轨迹等协调操作消耗了本可直接用于挑战执行的行动配额。规划器导向系统更频繁达到行动上限（60.0%对46.9%），中位运行使用301个工具行动（单体为240个），支持将受控比较解释为成本约束下的性能对比。
3. 3.
   自适应升级的触发频率：在所用阈值下，199/200项挑战至少满足一个触发条件，大模型占调用量的64.5%和支出的72.5%。策略在小模型上运行直到出现低成本的非进展信号，然后将该回合剩余部分提交给昂贵模型。
4. 4.
   两种评估设置的互补性：NYU CTF Bench强调异构端到端问题求解，产生较大系统级分离；Bandit强调同质序列内的状态连续性。结果表明编排效用的发挥依赖于任务需求：当攻击类别、工件和技术变化时，专业化和任务分解有更多贡献机会，即使任务族相对统一，持久化状态仍然重要。

研究结论翻译

研究人员在授权CTF和战争游戏环境中研究了规划器导向的多智能体架构，该架构由一个持久化非执行规划器按需向临时、上下文隔离且配备可检索技能的专业子智能体委派任务。在NYU CTF Bench全部200项挑战上，系统获得29个经泄漏审计的真实解（14.5%），而状态化单智能体基线仅获得3个（1.5%）。一项在80项挑战子集上进行的受控架构-升级实验表明，在匹配技能、工具、防护栏和预算条件下，自适应升级产生强烈解题率效应（OR=8.79，p=8×10^-6），而规划器导向结构包在此行动预算下未提供额外解题率优势，因为专业子智能体委派、上下文重启和证据折叠的协调成本抵消了潜在收益。在OverTheWire Bandit上，规划器导向系统序贯模式达到24/33，高于最强单智能体的23/33。研究人员得出结论：该架构是一种有效的长程安全测试控制器，其效用取决于任务异构性和可用资源预算。