优先级驱动的多意图问答:意图序列决策与协调多智能体生成(PriMAF)

《Array》:Priority-driven multi-intent question answering via intent sequence decision and coordinated multi-agent generation

【字体: 大 中 小 】 时间:2026年10月27日 来源:Array 5.3

编辑推荐:

  在垂直领域问答中,用户经常在单个查询中嵌入多个业务意图,而这些意图并不具有同等重要性。然而,现有框架要么采用单遍流水线,要么采用无序多标签分类器来处理多意图查询,完全丢弃了优先级信息。这造成了双重的结构性失败:下游检索得不到任何优先级信号,无法相应调度知识资源

  
在垂直领域问答中,用户经常在单个查询中嵌入多个业务意图,而这些意图并不具有同等重要性。然而,现有框架要么采用单遍流水线,要么采用无序多标签分类器来处理多意图查询,完全丢弃了优先级信息。这造成了双重的结构性失败:下游检索得不到任何优先级信号,无法相应调度知识资源;最终答案聚合了部分响应,却不反映用户最关心哪个意图。研究人员提出了PriMAF(Priority-driven multi-intent question answering via intent sequence decision and coordinated multi-agent framework),它将意图优先级端到端传播:从识别、经过检索调度,直到最终答案的叙事结构。该框架首先将意图排序形式化为一个序列决策问题,并使用跨步循环记忆、动作掩码和一个联合优化覆盖完整性、排序质量和语义冗余抑制的复合奖励来训练一个紧凑的策略。所得出的优先级排序序列随后用作分层Worker–Manager架构的调度信号,其中物理隔离的按意图文档存储消除了跨领域检索噪声,Worker智能体按优先级顺序累积上下文,Manager智能体执行全局优先级感知融合。大量实验表明,与八个强基线相比,该方法持续改进,且随着查询复杂度的增加,优势单调扩大。
垂直领域问答系统通常假设用户查询只包含单一意图,但实际场景中用户常常在一个查询中表达多个业务意图,且这些意图的重要性并不相同。现有方法要么采用单遍管道一次性处理,要么使用无序多标签分类器识别意图,两者都完全丢弃了优先级信息,导致下游检索无法根据用户核心关切调度知识资源,最终答案也未能反映意图的主次结构。例如,一个电信客服查询“我总是收到欠费提醒,但数据用量不多,且网速很慢,我应该升级套餐吗?”同时包含账单查询、宽带故障排查和套餐比较三个意图,其中账单查询是用户最关心的首要意图。若系统优先回答套餐推荐,就会产生结构错位的误导性建议。因此,需要一种将优先级作为一等设计原则、并从识别端到端传播到答案结构的框架。研究人员提出了PriMAF,将意图排序构建为马尔可夫决策过程(MDP),通过强化学习(RL)训练策略生成优先级排序的意图序列,再以该序列作为唯一协调信号,驱动Worker–Manager多智能体架构完成检索与生成。在三个数据集上的实验表明,PriMAF在BLEU-4、ROUGE-L、BERTScore-F1和意图覆盖率(ICR)上一致优于八个强基线,且优势随查询复杂度增加而单调扩大,证明了优先级信号端到端传播的结构性价值。

研究人员为开展研究构建并改编了三个数据集:Multi-Intent-QA来自真实电信运营商知识库,包含5类意图、约1400个文档块和300个测试问题;Multi-Intent-Banking改编自Banking77,将77个细粒度意图合并为8类主题,生成400个双意图和多意图测试案例;Multi-Hop-QA改编自HotpotQA,包含4类意图、200个两跳或多跳问题。关键技术方法包括:基于MDP的意图排序策略,采用Encode-Remember-Act架构(MLP编码层+GRU循环记忆层),结合动作掩码防止重复选择,并使用由覆盖完整性、排序质量和冗余抑制构成的复合奖励进行训练;生成阶段采用分层Worker–Manager架构,每个Worker检索物理隔离的按意图子文档库,按优先级顺序激活并通过累积上下文传递信息,Manager根据显式优先级排名进行融合和冲突消解。

4.2. Main results:在三个数据集上,PriMAF在所有四个指标上均超过所有基线。与最强的先前方法RAG-Critic相比,PriMAF在Multi-Intent-QA上BLEU-4提高3.9、ICR提高6.6个百分点;也超过PlanRAG。此外发现Pipeline-RAG在Multi-Intent-Banking上落后于Vanilla-RAG,说明没有优先级排序的意图感知反而可能损害性能。

4.3. Intent recognition analysis:将优先级学习模块与六个意图识别基线比较,PriMAF在NDCG@3和MRR上显著领先,例如Multi-Intent-QA上NDCG@3提高8.8%、MRR提高7.8%。REARANK虽同为RL方法但无法建模跨步依赖,Aligner2等多标签分类器即使架构更强也无法恢复排序,验证了序列决策公式的优势。

4.4. Ablation studies:对RL模块,移除GRU、排序奖励或动作掩码均导致性能下降,其中移除动作掩码下降最大(Macro-F1 -5.8%、NDCG@3 -6.2%),说明跨步循环记忆、排序奖励和动作掩码三个结构选择缺一不可。对生成模块,反向激活顺序使BLEU-4下降2.5,随机激活下降7.7并接近Vanilla-RAG,证明性能优势来自学习到的优先级排序而非多智能体架构本身;移除Manager改用简单拼接虽略有提高ICR但BLEU-4下降3.3,说明Manager的关键作用是结构综合;合并文档存储使ICR下降6.9,验证了物理隔离检索的必要性。

4.5. Performance vs. Query Complexity:将结果按并发意图数分层,Vanilla-RAG的ICR从单意图0.852跌至三意图及以上0.415(Δ=-0.437),而PriMAF仅从0.883微降至0.852(Δ=-0.031),且两者差距随复杂度增大而单调扩大,表明优先级机制在高复杂度查询下是防止覆盖率崩塌的关键。Multi-Intent-Banking上PriMAF的ICR从双意图到多意图反而微增,源于该数据集由规则组合生成,策略利用了其组成规律。

4.6. Parameter sensitivity: ??max:??max控制最大激活Worker数。BLEU-4呈倒U形,在最优??max处达到峰值(Multi-Intent-QA和Multi-Hop-QA为3,Multi-Intent-Banking为4);ICR单调增加但边际收益快速递减。最优??max与数据集三意图以上比例对齐,可设为真实意图数分布的75百分位。

4.7. Efficiency analysis:在Multi-Intent-QA上测得PriMAF每查询延迟4.8秒,高于单遍系统但与其他迭代方法相当;LLM调用数为2-4次,总token消耗约2850,相对成本为4.0倍。开销主要来自Worker串行执行,但范围有界且可预测。

4.8. Generalization across LLM backbones:在Qwen2.5-7B-Instruct、GLM-4-9B-Chat和GPT-4o-mini三种后端上,PriMAF相比Vanilla-RAG的BLEU-4提升分别为+8.5、+12.8、+13.2,ICR绝对提升约0.22-0.25。后端能力越强提升越大;GLM-4-9B基线更低但PriMAF得分更高,说明框架的结构引导可补偿模型能力弱点。

4.9. Human validation of automatic metrics:对100个采样答案进行人工评估,两位标注者间Cohen's κ=0.84;GPT-4o评估的ICR与人工多数投票的Pearson r=0.92、Spearman ρ=0.89;人工质量评分与BLEU-4相关系数为0.78、与BERTScore-F1为0.83,验证了自动指标的可靠性。

4.10. Case studies:典型成功案例中,查询“我最近收到欠费提醒,但我觉得没怎么用流量,而且网络很慢。我该换套餐吗?”被策略依次识别为账单查询、宽带服务、套餐资费,三个Worker按序生成互补回答,Manager融合为因果链完整的最终答案。失败案例涉及香港/澳门漫游与国际漫游两个高度相似意图,因文档主题混叠、错误信息在累积上下文中传播,且缺乏事实核查层,最终答案混淆了资费规则,这也指出了未来改进方向。

讨论部分总结了若干局限性:改编数据集可能存在组合规则性;框架依赖预定义意图类别和相关文档子库,难以扩展到开放域或动态新增意图;复合奖励需要真实优先级标注,策略可能继承标注主观性;物理隔离子库假设领域划分干净且文档权威性相当;动作空间绑定固定意图集,新意图需要架构修改;LLM评估可能存在细微偏差;参考答案按优先级组织可能部分奖励保持该结构的答案。未来工作包括动态意图本体扩展、无监督优先级估计、少样本适应新意图、在Manager融合中集成置信度估计和事实核查,以及混合人工-LLM评估协议。

研究结论翻译:研究人员提出了一个通过意图序列决策与协调多智能体框架实现优先级驱动的多意图问答(PriMAF),其核心洞察是:意图优先级不是需要标注的标签,而是需要学习的序列决策,并且该优先级应支配下游的每个阶段。该框架的贡献不在于将强化学习或多智能体协调作为孤立技术应用,而在于识别出使顺序意图排序可学习所需的结构要求,包括跨步依赖建模、重复预防和多目标奖励平衡,并设计了一种生成架构,使学习到的优先级从识别传播到答案结构。对意图优先级信号或多智能体协调机制的独立消融都会将性能降至接近基线水平;它们的组合随查询复杂度增加带来一致、递增的改进。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号