基于概念异构上下文融合通过AMR驱动蒸馏增强RAG的方法

《Pattern Recognition》：Concept-based heterogeneous context fusion for enhancing RAG via AMR-driven distillation

　　

研究人员提出了一种用于检索增强生成（Retrieval-Augmented Generation，RAG）的基于概念的异构上下文融合框架。AMR驱动的蒸馏从多源文档中抽取信息性概念。该方法在各种骨干大语言模型（Large Language Model，LLM）与压缩基线中验证了鲁棒性。

研究背景方面，大语言模型（LLM）在知识密集型任务中依赖预训练记忆的参数化知识，但存在过时或错误知识导致的幻觉问题，尤其在长尾领域查询下可靠性下降。检索增强生成（RAG）通过引入外部文档补充非参数知识，然而多文档检索结果构成异构上下文，在相关性、噪声水平与信息完整性上差异显著，直接拼接原始文本会使表面序列无法暴露跨文档语义结构，噪声稀释注意力并降低推理性能。现有上下文压缩多在词法层操作，难以消除表面变异与跨源表述不一致。为此，研究人员开展基于概念蒸馏的异构上下文融合研究，以《Pattern Recognition》为发表载体，提出利用抽象语义表示（Abstract Meaning Representation，AMR）作为结构化中间表示，将多源文档解析为AMR图并蒸馏核心概念，形成紧凑统一的事实集合供LLM推理。研究表明，该方法在支持文档数增加时准确率显著提升，优于多种压缩基线与骨干LLM组合，且可作为即插即用组件增强知识密集型RAG。

关键技术方法上，研究人员采用Contriever与BM25分别作为PopQA与EntityQuestions的检索器，取前K篇支持文档；使用基于mBart并在AMR 3.0语料训练的AMR解析器将文档转为有根有向无环图G=〈N,E〉；设计AMR驱动概念蒸馏算法，经句子切分、忽略ARGX边、深度优先搜索（DFS）遍历节点，处理:name、:wiki、date-entity等角色，通过HandleName、HandleWiki、HandleDate、ConceptBacktrace等函数还原命名实体、维基对齐与时间表达，并过滤city-district等规范节点，回溯原文表述得到统一概念集C；推理阶段以“Facts: C”模板约束LLM依赖非参数概念。实验覆盖GPT-Neo、OPT、Bloom、LLaMA-2等10种骨干LLM，对比关键词抽取、摘要、Selective Context（SelCon）三类压缩基线，在K=1至10设置下以准确率（Acc）与曲线下面积（AUC）评估。

研究结果部分，5.1性能评估显示，随K增大尤其在长上下文区间I_l=[6,10]，本方法Acc持续高于Vanilla与各压缩基线，AUC提升量Δ在LLaMA-2-13b达正向峰值，Bloom-560m因规模限制Δ为负，证实大规模LLM能从离散概念关联语义场景；AMR蒸馏在语义层操作优于SelCon词法层冗余剪枝，也避免提示压缩的生成随机性。5.2效率评估中，5.2.1压缩比表明本方法平均截断原始token长度超60%，PopQA上压缩比最高；5.2.2推理延迟在RTX A5000上显示压缩上下文缩短多数LLM单条推理时间，与压缩比趋势一致。

讨论与结论部分，研究人员指出框架通过AMR语义结构归一化跨文档表面变异，产生低噪一致概念集，不改骨干模型即可即插即用。局限在于AMR解析器质量影响概念抽取，小规模LLM受益有限，未来将考察字符级长度敏感性、拓展表格与知识库条目等结构模态，并在更广知识任务上验证。结论确认该工作是首例将AMR驱动语义蒸馏用于多源异构上下文融合，为RAG提供紧凑、鲁棒、可迁移的上下文融合路径。