《Array》:Derivation-Relative Structural Admissibility for Pre-Execution Control of LLM-Agent Workflows
编辑推荐:
形式化了面向LLM(large language model,大语言模型)智能体工作流确定性预执行控制的派生相对结构可容许性。研究人员开发了PEGF(Pre-Execution Governance Framework,预执行治理框架),用于重建记录的派生祖先
形式化了面向LLM(large language model,大语言模型)智能体工作流确定性预执行控制的派生相对结构可容许性。研究人员开发了PEGF(Pre-Execution Governance Framework,预执行治理框架),用于重建记录的派生祖先,并在外部效应发生前评估拟议转换。区分了证据可容许性与从被消费草稿中恢复并重新验证的声明–证据关系(claim–evidence relation)的保持。在27个匹配配置上展示了终端关系机制,允许所有关系保持案例并拒绝所有关系替换案例。在受控套件和Transfer-B套件中,拒绝了所有目标结构对抗轨迹,同时保留了所有策略可容许和良性工作流。展示了预执行拦截、确定性重放一致性以及在不完整谱系元数据下可预测的失败关闭行为。记录了65条良性轨迹的中位额外控制处理成本为3.88 ms,中位配对重放开销为2.22%。
Mammu’an Titus Alams、Desmond Bala Bisandu与Irene Moulitsas围绕LLM(large language model,大语言模型)智能体工作流的预执行治理提出派生相对结构可容许性(derivation-relative structural admissibility,指拟议工作流转换相对于其记录的派生祖先是否满足策略相关结构条件)。研究背景在于,LLM已从文本生成系统转向能够规划、工具使用、记忆访问、多步推理、委托和与外部环境交互的智能体系统,推理—执行边界由此出现治理与控制问题:内部生成决策可改变工作流或外部状态。传统评估常关注事实准确性、有害性和用户意图对齐,但智能体可调用API、查询数据库、执行代码、浏览资源、与多智能体协作;拟议动作可能满足角色、工具、范围或转换约束,却因证据不支持、谱系断裂、缺少所需验证或将中间产物不当提升为终端输出而在结构上不可容许。已有预动作授权、运行时路径与依赖感知策略执行、合同、控制/数据流分离、跨步参数溯源和环境约束,但论文识别的问题是:拟议转换是否相对于产生其输入、产物和证据的特定记录派生满足策略相关结构条件。为此,研究人员形式化派生相对结构可容许性,并通过PEGF(Pre-Execution Governance Framework,预执行治理框架)操作化;PEGF重建与拟议转换相关的诱导派生祖先及规范有序轨迹,在执行前评估局部授权、委托有效性和祖先依赖结构条件;对终端发布,额外重新验证被消费草稿的声明–证据关系并与拟议发布绑定比较,以在执行边界前拒绝关系漂移。论文贡献包括形式化标准、PEGF架构、终端关系条件及匹配隔离、受控与Transfer-B回放、成本和有限原生AgentDojo集成评估。其意义在于将智能体治理从步骤局部许可推进到派生相对结构可容许性,但论文明确其治理结构而非语义真值。
研究人员采用确定性预执行治理门方法:将提案规范化为机器可读trace,显式父边优先,重建祖先子图和规范拓扑序,应用局部授权与委托、排序、谱系、来源传播和提升约束;发布时检查证据绑定与声明–证据关系。评估来源包括受控LangGraph套件(77条对抗、25条良性、2条政策敏感边缘)、27个匹配配置共54条合成轨迹、AgentDojo衍生Transfer-B(80条对抗、40条良性)、50–500步扩展长轨迹与父边省略扰动,以及原生AgentDojo 20个提案的拦截与重放一致性检查。
5.1 评估设计与研究问题(Evaluation Design and Research Questions):研究采用确定性trace回放并设置五个研究问题,分别考察终端关系保持/替换、受控套件结构拒绝与良性保留、能力分解、Transfer-B外部回放、成本与元数据敏感性。结论是评估限定于记录元数据上的结构决策,不测量语义真值、自然失败发生率或部署级攻击阻断效果。
5.2 轨迹来源、控制配置与指标(Trace Sources, Control Configurations and Metrics):研究使用受控LangGraph、终端关系匹配、Transfer-B和支持性数据,比较OFF、PREAUTH_ONLY、PATH_NO_ANCESTRY、NO_EVIDENCE_BINDING、FULL_STAGE2等配置,以对抗拒绝率、良性保留率和首失败归因衡量。结论是分层配置可用于定位能力贡献。
5.3 终端关系机制隔离(Terminal Relation Mechanism Isolation):在27个匹配配置中,FULL_STAGE2允许27/27关系保持轨迹,拒绝27/27关系替换轨迹并返回E.ADM.CLAIM_DRIFT;10次重复为270/270一致。结论是证据通过发布绑定检查不等于允许替换草稿记录的关系。
5.4 受控结构可容许性结果(Controlled Structural-Admissibility Results):FULL_STAGE2拒绝77/77对抗轨迹并保留25/25良性轨迹;PREAUTH_ONLY拒绝12/77、PATH_NO_ANCESTRY拒绝26/77、NO_EVIDENCE_BINDING拒绝51/77;两个政策敏感边缘案例分别返回E.ADM.ORDER和E.AUTH.SCOPE。结论是需祖先依赖和发布特定检查,且结果依赖政策设计。
5.5 能力分解(Capability Decomposition):失败族分析表明拒绝覆盖提升来自祖先依赖结构检查及发布证据绑定/关系检查;STAGE1与PATH_NO_ANCESTRY聚合拒绝率相同但机制不同;回放记录最早拒绝前缀和违例码。结论是收益不能由局部或序列规则单独替代。
5.6 AgentDojo衍生迁移研究(AgentDojo-Derived Transfer Study):Transfer-B中FULL_STAGE2拒绝80/80对抗并保留40/40良性;PREAUTH_ONLY拒绝0/80、FSM拒绝16/80、NO_EVIDENCE_BINDING拒绝48/80。结论是外部回放中的优势来自祖先依赖和发布关系控制,而非仅转换顺序。
5.7 处理成本与元数据敏感性(Processing Cost and Metadata Sensitivity):50–500步72条唯一轨迹和720次重复决策一致;中位步延迟约3.5–33 ms,累计门延迟约0.39–33.4 s;65条良性轨迹中位额外控制成本3.88 ms、配对重放开销2.22%。随机父边省略0/10/20%时对抗拒绝400/400稳定,良性保留200/200、144/200、104/200,额外拒绝为E.ADM.ORDER;恢复关键边后152/152恢复允许。结论是成本随谱系增长,关键元数据缺失导致失败关闭。
5.8 支持性有效性检查(Supporting Validity Checks):原生AgentDojo中20/20拟议工具调用在执行前被捕获并离线重放一致,无官方注入目标达成且出现1例良性误拒;3580配对决策在基准标签移除或矛盾后无变化。结论是支持预执行拦截和重放一致性,但不估计注入阻断效果。
5.9 讨论、范围与有效性威胁(Discussion, Scope and Threats to Validity):讨论认为结果在框架层和机制层支持派生相对结构控制;PEGF治理结构可容许性而非语义安全,不判断事实真值、语义蕴含、意图或下游危害;精确相等是评估的发布策略实例,不是通用关系演化理论;威胁包括构念、内部、外部/结论效度及元数据与部署假设,需可信策略、门、执行边界和trace适配器,并需数据最小化、受控trace访问、政策审查和拒绝审计/争议程序。结论是应作为更广可信智能系统控制架构的组件。
讨论部分进一步表明,终端关系机制将证据对象可容许性与关系可容许性区分开;未来可扩展单调增强、证据综合、授权重绑定等关系演化策略,但本研究未实现或评估。PEGF需与语义防护、人类监督、认证trace发射、运行时授权和执行完整性控制互补;部署依赖可信元数据和执行边界,未覆盖伪造记录、针对性关键边删除、门绕过、未记录带外通信等威胁。
研究结论部分可译为:本文形式化了面向LLM-agent工作流转换确定性预执行控制的派生相对结构可容许性,并通过PEGF操作化。PEGF不是仅凭步骤局部许可或序列有效性评估拟议转换,而是重建其诱导记录祖先,并在转换生效前评估授权、委托和结构可容许条件;对终端发布应用派生相对终端关系条件。评估在受控和Transfer-B套件中显示完整结构配置保留明确政策可容许工作流并拒绝目标结构失败类,匹配终端关系研究表明证据可容许本身不授权替换从被消费草稿恢复的关系。支持性研究刻画能力贡献、元数据敏感性、处理成本和有限原生AgentDojo集成。这些发现构成对评估工作流结构的确定性证据,不建立一般部署有效性或自然失败发生率。PEGF治理结构而非语义可容许性,其决策相对于配置策略、记录治理元数据的完整性与完整性及推理—执行边界的有效中介;不建立事实正确性、不推断意图、不判定语义蕴含或测量下游危害,应作为更广控制架构的一个组件。未来工作应在更嘈杂和生产派生轨迹、异构工作流表示和自适应失败条件下评估,并将终端关系机制扩展到审批–操作、委托–范围、同意–目标和验证–产物等政策相关关系类,同时强化trace与决策完整性、决策到执行绑定及选择性语义升级。