基于多智能体路由(Multi-agent Routing)的项目合规性审查中最适智能体选择方法

《AI Open》：Who is the most suitable one? Compliance review method based on multi-agent routing

　　

项目合规审查是确保项目申报材料符合法规及程序性标准、筛除不合规提案的关键环节。然而项目申请量的快速增长使传统人工审核机制效率低下且难以为继。现有基于语义向量匹配或直接调用大语言模型(Large Language Model, LLM)的自动化方法常受困于异构文档结构、鲁棒性不足及计算成本高昂等问题。为克服上述挑战，研究人员提出一种基于多智能体路由(Multi-agent Routing)的自动化合规审查框架。该框架集成了多种具备不同推理范式(Reasoning Paradigm)的专家智能体(Expert Agent)，并利用一个分类智能体(Classification Agent)依据输入数据的语义特征动态将每项任务路由(Routing)至最适配的专家，从而实现数据自适应的决策。通过自适应路由，系统仅在必要时才调用复杂推理，有效减少了冗余计算。在电力行业真实数据集上的实验结果表明，该方法相比性能最优的单智能体基线取得了更高的准确率，且Token消耗量降低48%，在效果与效率间实现了良好平衡。此外，研究人员开发了在线审查平台并成功部署于大规模电力项目评审场景，验证了所提方法的实用性与可扩展性。

《AI Open》发表的该研究针对电力工程项目申报材料异构性强、关键信息分散、审核标准模糊导致传统人工及单一自动化方法效率低、成本高的问题，由国网浙江省电力公司经济研究院Chutian Yu、Jiangqian Huang等研究人员开展基于大语言模型(LLM)的多智能体路由(Multi-agent Routing)自动化项目合规审查框架研究，得出该框架在真实电力数据集上取得最高F1值0.9080且与全量投票法持平，Token消耗较多智能体辩论(Multi-Agent Debate, MAD)降低约48%，并已成功部署于"Review Dingdang"在线平台，对提升大型工程项目的合规审核效率与智能化水平具有重要意义。

研究人员采用的主要关键技术方法为：使用来自电力行业2022—2024年共464份原始项目申报材料，经人工增广构建包含Original（原始）、Pos_1（保留最低层级地址）、Place_Adj（替换项目地址构造负样本）、Type_Adj（替换项目类型构造负样本）四个子集总计1381份样本的近平衡二分类数据集；以Qwen2.5-32B-Instruct为统一骨干模型(Backbone)，设计数据预处理模块将多格式文档转为纯文本并与项目元数据构成三元组输入；构建LLM路由器(LLM Router)以零样本(Zero-shot)推断方式依据文档—项目对的语义完整性与冲突指示将其动态分配至三种推理智能体——链式思维(Chain-of-Thought, CoT)、自精炼(Self-Refine, SR)、多智能体辩论(Multi-Agent Debate, MAD)；设置规则匹配(REGEX)、语义向量检索(Qwen3-Embedding-8B + 余弦相似度)、直接判断(Direct)、单一CoT/SR/MAD及随机路由(Random Routing)、LLM投票(LLM Voting，三法全跑多数表决)为对照基线，以准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1值及平均Token用量评估性能。

研究结果如下：

研究背景与问题定义：项目合规审查属二分类问题，判定文档—项目对(x, p)是否匹配元数据m(p)=(项目名n_p, 地址a_p, 类型τ_p, …)。现实数据挑战在于单项目含20+异类文件、关键信息稀疏、命名不规范及行业缩写致歧义，单一规则或语义相似度法难满足精度要求，统一LLM推理则成本过高且对模糊情形敏感。

方法——数据预处理(Data Preprocessing)：所有.doc/.pdf/.txt等格式文档经标准化转换模块转为纯文本，与项目目标p及其元数据m(p)组成三元组{x, p, m(p)}供后续模块使用。

方法——LLM路由(LLM Routing)：路由器f_router(x, p)输出路由标签r∈{CoT, SR, MAD}，信息明确自含则选CoT，需迭代自校正选SR，语义模糊或冲突选MAD；该过程为零样本推断，无需训练数据，实现"合适任务交合适专家"。

方法——合规审查(Compliance Review)：被分配的推理智能体执行判定——CoT按步骤结构化推理给出可解释逻辑；SR先给初判再通过自评反馈迭代修正增强鲁棒性；MAD多个Agent交互辩论达成共识提升可靠性；结果结构化输出供专家复核。

实验——实验设置(Experimental Settings)：基线含REGEX、Qwen3-Embedding-8B向量法、Direct/CoT/SR/MAD单智能体法、Random Routing与LLM Voting；主干统一Qwen2.5-32B-Instruct；指标为Acc/Prec/Rec/F1及各子集单独准确率；另用GLM-4-Flash验证模型无关性(Model-agnostic)。

实验——实验结果(Experimental Results)：LLM_Routing取得总体F1=0.9080（Prec=0.9016, Rec=0.9146），与LLM Voting（F1=0.9080）持平并优于MAD（F1=0.9058）、SR（0.8489）、CoT（0.8582）、Direct（0.8379）及向量检索（0.6487）；显著超越Random Routing（0.8646），证明路由选择具实质贡献；在各子集上保持稳健——Original正确数428（92.24%）、Pos_1为204（89.87%）、Place_Adj为447（96.34%），Type_Adj子集全体方法均下降（174正确，76.99%）反映项目类型替换造成更强语义偏移；单一范式在不同子集方差大（如CoT对正样本优但对Type_Adj负样本差），LLM_Routing跨分布表现稳定。

实验——效率分析(Efficiency Analysis)：平均单文档Token消耗——CoT总约4.2k、SR约13.0k、MAD约69.8k、LLM_Routing约36.4k（平均6.2次API调用，Prompt 35.1k + Completion 1.3k）；LLM_Routing相较MAD减少约48% Token开销且Accuracy略优，表明自适应路由避免了对简例不必要重推理又对复杂例保留强推理。

实验——案例研究(Case Study)：典型清晰匹配案例中路由器正确分配CoT路径仅耗6.4k Token得正确"是"判断；SR耗20.1k Token、MAD耗73.3k Token均因过度推理得出错误"否"，佐证动态路由防过度计算同时提精度。

应用(Application)：基于"Review Dingdang"智能在线平台实现该合规审查模块，用户批量上传材料后系统自动获取项目元数据并运行上述模型，标记不一致处（如地址引用错误或类型不匹配）并以结构化摘要呈现交互仪表盘供专家快速核验与审计追踪。

讨论与结论翻译：本文提出一种基于多智能体路由(Multi-agent Routing)的自动化合规审查框架以提升电力项目评审的效率与一致性。通过集成多种基于大语言模型(LLM)的推理范式——链式思维(Chain-of-Thought, CoT)、自精炼(Self-Refine, SR)和多智能体辩论(Multi-Agent Debate, MAD)，系统依据任务复杂度与上下文动态将每项任务路由至最适配的推理路径。所提框架在保持可解释性的同时在准确率与效率间取得平衡，并已成功部署于"Review Dingdang"平台用于大规模在线合规审计。未来工作将探索融入领域知识与多模态信息以进一步提升推理性能并拓展至更广泛工业场景。