学习合作的程度：面向多智能体代码生成的难度感知拓扑选择

《Neurocomputing》：Learning how much to collaborate: Difficulty-aware topology selection for multi-agent code generation

　　•多智能体代码生成中的协作收益随问题难度变化。
•拓扑被视为每个问题的决策，而非系统级常量。
•预算匹配协议在支出均等化后交换了两个基线的排名。
•匹配层次预算的40%时，路由增加了4.1个pass@1百分点。
•数学结果涉及重新训练，而非未更改模型的迁移。

引言

一个代码生成服务接收具有不同分解和验证需求的任务。在执行前选择协作，使其成本成为资源分配的一部分：服务表示请求，估计候选成功概率，并在其成本偏好下选择拓扑。候选通信图是一种执行设计；预测器内部的拓扑图是用于比较这些设计的表示。

自适应分配要求区分协作有帮助的任务和协作仅增加成本的任务。多标签预测能够容纳重叠的成功拓扑，而单一目标类别则丢弃这种重叠。图头提供了结构化共享假设，但分离其收益需要对描述符、共享和参数容量进行控制。最后，公平的成本比较需要校准每个方法的操作点，而非惩罚系数的相等。

大型语言模型编写代码的能力已经足够好，因此有趣的工程问题不再是是否使用它们，而是如何安排它们。单次调用单个模型是最廉价的安排。除此之外是设计空间中的多智能体系统，其中多个模型实例承担角色、交换草稿、相互批评并收敛于答案。诸如ChatDev[1]、MetaGPT[2]和AutoGen[3]等框架使这些安排易于构建，而AgentCoder[4]和MapCoder[5]等专门流水线报告称，协作将竞争性编程基准上的pass@1提升到远高于单次调用的水平。

这些系统的共同点是承诺：拓扑在设计时固定。分解、委托和审查的流水线对每个传入问题都如此执行，无论问题需要层次分解还是三行字符串操作。这种承诺实现方便但运行昂贵。在我们的测量中，层次角色网格在相同问题上消耗的令牌是单次调用的9.95倍；按Claude Opus 4价格计算，每个问题0.94美元对比0.09美元，这一差异主导了任何部署系统的运行成本。

如果额外协作均匀地带来回报，这种承诺就说得通。但事实并非如此。将614个问题按难度分为三组，层次网格与单个智能体之间的差距在简单组为2.4个pass@1百分点，中间组为10.7个百分点，困难组为21.1个百分点。在简单问题上，精心设计的流水线花费十倍预算来回收两个百分点，而单次调用几乎可以自行达到。因此，总体准确率提升掩盖了这些难度层中观察到的不同边际收益。在此处考虑的成本偏好下，额外协作在简单层上提供更小的准确率回报。

对于此处研究的异构任务集合和成本偏好，协作收益的变化促使选择拓扑作为输入的函数。对于同质工作负载或不同成本偏好，固定拓扑仍然可以适用。因此，我们询问是否可以在代码生成之前从问题陈述中学习依赖于输入的选择。

我们证明可以，并且决策的分解方式很重要。自然的初步尝试是训练一个分类器，将问题直接映射到解决它的拓扑。这丢弃了决策的结构。标签“解决它的拓扑”在多个拓扑成功时具有歧义，在无拓扑成功时未定义，并且将准确率-成本权衡硬编码到训练目标中，因此为单个操作点训练的分类器在该点变化时可能需要重新训练。预算条件分类器是一种替代方案，并不被此论点排除。相反，我们预测实际可观测的内容——对于每个拓扑，它是否解决了每个缓存的问题——并将权衡推迟到推理时应用决策规则。预测器回答五个独立的问题，形式为“该拓扑能否解决此问题”；选择器通过单一标量系数将这些答案与成本表结合。这种分解是标准的先预测后优化结构[6]。与直接分类相比的报告中差异约为6.0个pass@1百分点，但实际预算不同；此比较并未分离分解的等预算因果收益。

将权衡保留在一个标量中具有第二个后果，其重要性超过了第一个，并且我们认为它比其来源的路由器更持久。变化成本惩罚定义了具有不同可达操作点的路由策略族；它不保证最廉价和最昂贵拓扑之间的每个支出，并且不固定支出而报告其准确率几乎没有意义。给每个方法相同的系数不能修复这一点，因为系数乘以每个方法自身的评分尺度：在我们的比较中，共享λ=0.2使得六个方法在参考预算的30%到52%之间花费。因此，我们在比较之前校准每个成本感知方法——我们的和基线——到一个共同预算，通过二分法在留出预测上选择每个方法的系数，朝向总是层次成本的40%。可达性单独检查：四个校准方法满足外部容差，两个不满足。在共享系数下似乎优于Dats的两个基线，一旦支出均等化就落在其后面，而看起来最好的方法实际上是购买最多计算的那个。我们将该过程陈述为协议，报告它均等化和不均等化的内容，并认为这是此类比较的要求而非细化。

本工作的贡献如下。首先，我们量化五个协作拓扑的收益如何随问题难度和算法类型变化，在614个问题的主评估上进行，并在四个骨干模型上进行额外的汇总比较。主评估激励任务相关分配。其次，我们将拓扑选择表述为每个问题的约束选择问题，并将其实例化为Dats，一个先预测后优化的路由器，其预测器是五个候选拓扑上的紧凑图网络：因为拓扑形成连接顺序，我们将其建模为该顺序的节点，并沿其传递消息，而不是将它们评分为独立标签。组合头比较在显示的支出上报告1.7个百分点的增益；它不分离邻接性。我们分别比较决策头和输入表示。39个可解释特征的替代方案在测试集中最大观察到的改进为1.3个百分点，无显著的成对改进。这并不证明表示等价性，也未定位决策头中的所有增益。第三，我们定义上述预算匹配评估协议，显示它反转了其管理的六个成本感知方法中的两个比较，并在整个过程中使用它。第四，我们刻画了结果行为及其边界：哪些特征携带信号，哪些拓扑被选择用于哪些算法类型，路由器的概率如何校准，增益在骨干模型变化后保留多少，以及在400个GSM8K和MATH问题上——这些是否依赖于问题是代码。

章节片段

路由与协作研究

LLMRouterBench[66]涉及语言模型之间的路由评估；The Avengers[67]涉及路由和集体模型能力。这些对于资源分配和评估是有用的比较，而这里的动作是固定目录内的通信拓扑。关于网络代理[68]、集体风险下的通信[69]、认知上下文[70]、可识别合作伙伴[71]和遗憾动态[72]的工作为交互设计提供了更广泛的背景。

问题表述

设x表示问题陈述，T={τ1,…,τ5}为图1中的拓扑目录。使用固定骨干模型对x运行τt产生一个程序，要么通过问题的完整测试套件，要么不通过；写出结果yt(x)∈{0,1}及其期望st(x)=Pr[通过∣x,τt]。运行τt也消耗令牌，我们将ct表示为拓扑t的预期成本（以货币单位计），按拓扑而非问题测量，因为令牌概况由数量和结构主导。

难度感知拓扑选择

Dats从问题陈述中估计所有五个拓扑的st(x)，然后应用等式(2)和校准乘数（图2）。管线中没有任何内容需要在决策时执行拓扑，也没有任何内容将梯度传播到智能体。

问题

我们评估614个问题（表1）：300个来自APPS，入门、面试和竞赛级别各100个；HumanEval+的164个完整问题；以及来自LiveCodeBench的150个问题，抽取自我们测试的每个骨干模型训练截止之后举行的比赛。这些套件选择旨在涵盖难度而非最大化规模：HumanEval+提供单次调用几乎总是足够的区间，APPS-Competition提供没有可靠工作的区间，以及

无拓扑主导

表3报告了Claude Opus 4上五个拓扑的pass@1。按总体准确率排序为Single、Star、Chain、FullMesh、HRM，总差为11.4个百分点。该表有两个特征比排序更重要。

首先，差异分布有多不均匀。在HumanEval+上，五个拓扑彼此在4.2个百分点内，最廉价仅比最昂贵落后4.2个百分点，尽管成本为十分之一。在APPS-Competition上，相同比较为22

哪些特征携带信号

在六次消融校正后，只有难度和算法类型具有显著的成对差异（pHolm=0.00244和0.03645）。其他特征组差异未达到0.05阈值。

表13的上方面板和图10每次移除一个特征组并重新训练。难度评分是单个最有价值的组，为4.24个百分点，这在预期之中。算法独热编码是第二有价值的，为3.10个百分点，这是更有信息量的结果：

讨论

主评估报告在40%成本下对Always-HRM的4.07个百分点优势。额外骨干聚合显示类似优势，而数学评估涉及单独训练的路由器。这些比较在骨干特定训练下支持任务相关分配；数学实验使用领域特定重新训练。

结论

多智能体系统应购买的协作量取决于其面临的问题，这种依赖性强到值得学习。在主要的Claude评估中，层次协作相对单次调用的优势从简单问题的约两分增长到困难问题的二十一分。四个骨干表报告聚合比较而非分层趋势的单独确认。DATS报告在40%成本下对Always-HRM的4.07个百分点增益。

生成式AI和AI辅助技术的声明

在准备此修订稿期间，作者使用OpenAI Codex协助编辑检查、文档格式化和修订材料准备。作者根据需要审查和编辑输出，并对文章内容负全部责任。

竞争利益声明

作者声明无已知竞争经济利益或个人关系可能影响本论文报告的工作。

Yunsong Hong于2026年从悉尼大学获得理学学士学位，主修计算机科学，辅修数据科学。目前在该大学攻读计算机科学硕士学位。研究兴趣包括大型语言模型智能体、多智能体协作和智能体技能演变。当前工作研究任务难度如何指导代码生成的协作结构，关注解决方案