COMETS:基于显式结构模式匹配的免训练跨领域推理迁移框架
《IEEE Open Journal of the Computer Society》:Training-Free Cross-Domain Learning Transfer in Reasoning Models
【字体:
大
中
小
】
时间:2026年09月20日
来源:IEEE Open Journal of the Computer Society 6.0
编辑推荐:
大语言模型通常能够在熟悉的领域内解决问题,但在表面词汇不同的领域之间迁移相同的推理策略时却往往力不从心。我们提出了COMETS(跨领域记忆增强与迁移系统),这是一个免训练框架,通过显式的结构模式匹配实现跨领域推理迁移。COMETS将已解决的源领域问题抽象为基于领域无关操作(如
大语言模型通常能够在熟悉的领域内解决问题,但在表面词汇不同的领域之间迁移相同的推理策略时却往往力不从心。我们提出了COMETS(跨领域记忆增强与迁移系统),这是一个免训练框架,通过显式的结构模式匹配实现跨领域推理迁移。COMETS将已解决的源领域问题抽象为基于领域无关操作(如赋值、过滤、除法、循环和返回)的类型化推理图。在推理阶段,它首先生成零样本目标领域解决方案。如果该解决方案未通过验证,COMETS则使用Weisfeiler-Lehman图核检索结构相似的源模式,并将其注入纠正提示中。这种选择性的基线优先策略避免了当结构提示被无条件地应用于模型已能解决的问题时所产生的模式干扰失效问题。我们使用从GSM8K和SVAMP算术问题中提取的推理模式,在MBPP代码生成任务上评估了COMETS。COMETS达到了87.5%的Pass@1,而零样本提示为71.5%,语义检索为76.0%。在复杂问题上提升最为显著,准确率从37.2%提高到了76.7%。消融实验表明,改进来源于基于图的抽象、WL核结构检索以及验证器控制的选择性迁移三者的结合。这些结果表明,显式的结构模式匹配能够在无需目标领域标签或模型权重更新的情况下,实现零样本跨领域推理迁移。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号