《Machine Learning with Applications》：A hybrid quantitative-qualitative RAG approach for territorial well-being decision support
编辑推荐：
区域福祉分析需要整合两类互补的信息：刻画结构性条件的客观指标（设施、综合生活质量得分），以及反映生活体验的主观感知（公民调查原话、访谈）。经典的检索增强生成（Retrieval-Augmented Generation, RAG）在处理此类混合来源查询时表现不
区域福祉分析需要整合两类互补的信息：刻画结构性条件的客观指标（设施、综合生活质量得分），以及反映生活体验的主观感知（公民调查原话、访谈）。经典的检索增强生成（Retrieval-Augmented Generation, RAG）在处理此类混合来源查询时表现不佳：语义相似性搜索会割裂信息，且无法对查询所需数据类型与实际可用数据类型之间的一致性施加结构性约束。本研究提出一种基于三项原则的混合RAG架构：（i）将用户查询显式分解为独立处理的子问题；（ii）沿业务驱动的分析视图预计算多层级综合表征，将RAPTOR方法适配至调查元数据而非自动聚类；（iii）引入类型化分解机制，强制查询性质与所生成子问题之间的一致性，约束缺乏文档支持的子问题表述。研究在一个涵盖七个使用类别的109个手工设计问题基准上评估该架构，结合分类检索指标与经人工标注验证的多维度LLM-as-a-Judge评估，并开展隔离各原则的消融研究，以及与外部分解基线（Self-Ask）的对比。结果表明，该架构检索相关来源的完备性远高于vanilla RAG（召回率0.97对比0.68），类型化规则与多层级表征均对答案质量有显著贡献，且性能优于Self-Ask。在整个基准上，答案质量与vanilla RAG相当，优势集中于需要多维度推理的问题上——这表明架构选择应依据预期使用场景而定。
论文解读文章
1. 研究背景与问题提出
当代公共政策面临双重需求：一方面需整合日益异质化的福祉维度，从经典社会经济指标到居民主观感知；另一方面需依赖能够高效处理海量结构化与非结构化数据的决策支持工具。在此背景下，区域福祉的测度已无法仅通过传统聚合指标实现，而需要结合定量（客观）数据、定性（常为主观）数据与专家知识的混合方法。客观与主观数据之间的关联尤为关键，因为两者并不总是一致：某些市镇可能客观指标良好但主观感知欠佳，或反之。这种差距并非方法论噪声，而是信息本身，承载着未满足期望与行动杠杆的洞见。科西嘉地区因其地理、经济与人口特征，为应用研究提供了典型案例。
然而，产出混合测度仅是第一步。在决策支持工具中整合客观与主观数据，并促进决策者理解、质疑与运用，是当前区域面临的重大挑战。为此，研究人员设想开发基于本地部署的大语言模型（Large Language Model, LLM）的对话助手。但LLM在决策情境中的使用引发可靠性、来源可追溯性与幻觉控制等挑战。为满足这些要求，研究采用检索增强生成（Retrieval-Augmented Generation, RAG）机制，将生成答案锚定在受控且可验证的文档语料库中。
经典RAG方法在此情境下存在若干局限：其一，语义相似性搜索机制难以应对决策支持中典型的多维度查询；其二，索引分块的碎片化特性限制了模型从分散原话中识别全局趋势的能力；其三，缺乏对实际调动来源的结构性保障，可能导致答案隐式援引上下文缺失的数据类型，这在决策环境中尤为有害。
2. 研究内容与核心结论
为应对上述局限，研究人员提出一种专为区域福祉分析设计的RAG架构，基于三项互补原则：第一，将用户查询显式分解为一组独立处理的子问题，每个子问题关联专用检索流程；第二，在原始分块之外，索引根据业务驱动分析视图预计算的摘要，借鉴RAPTOR方法但基于元数据的受控划分而非自动聚类；第三，分解过程纳入严格类型化规则，确保初始查询性质与生成子问题性质一致，防止无文档支持的子问题被虚构。
研究在一个涵盖七个使用类别（事实检索、比较推理、因果推理、不确定性处理、缺失信息处理、语义鲁棒性与架构局限）的109个手工设计问题基准上评估该架构。评估协议结合分类检索指标（召回率、精确率、F1）与语言模型裁判的多维度生成质量评估，并通过与人工标注的一致性研究验证裁判可靠性。消融研究比较三种逐步移除架构原则的配置，隔离分解的贡献及多层级表征与层级检索耦合的贡献。结果显示，该架构检索相关来源的完备性远高于vanilla RAG（召回率0.97对比0.68），类型化规则与多层级表征均显著贡献于答案质量，且性能优于Self-Ask基线。在整个基准上，答案质量与vanilla RAG相当，优势集中于多维度推理问题。
3. 主要关键技术方法
研究人员采用以下关键技术方法：其一，查询分解机制，将用户查询显式分解为固定数量的子问题（实验中N=5），每个子问题独立处理并关联专用检索流程；其二，多层级综合表征构建，沿业务驱动分析视图（市镇、维度、人口群体及其交叉）预计算摘要，采用BGE-M3多语言稠密嵌入模型编码文档，并基于余弦相似度在ChromaDB向量数据库中进行检索；其三，类型化分解机制，强制查询性质与子问题性质一致，并针对全局福祉查询设置专用模式，强制联合调动定量与定性来源；其四，层级化生成流程，结合层级检索与中间推理步骤生成最终答案。评估采用LLM-as-a-Judge范式，并经人工标注校准。语料库覆盖科西嘉所有市镇，包含主观数据（246名受访者、70个市镇的问卷原话690个分块、聚合得分491个分块、定性访谈284个分块、多层级综合674份文档）、客观数据（OppChoLiv综合指标394个得分、市镇设施清单360份文档）与情境数据（市镇人口概况70份文档、地理数据390份文档、百科全书式描述）。
4. 研究结果
4.1 检索性能评估
通过对比混合架构与vanilla RAG在109个问题基准上的检索表现，研究发现混合架构在召回率上显著优于vanilla RAG（0.97对比0.68），表明查询分解与多层级表征能够更完备地检索相关来源，尤其对于需要跨多个语义维度的复杂查询。
4.2 消融研究
通过逐步移除架构原则的消融研究，研究人员隔离了各原则的贡献。结果显示，类型化规则与多层级表征均对答案质量有显著贡献。类型化规则通过约束子问题与文档支持的匹配，减少了无依据子问题的生成；多层级表征则通过提供综合视图，改善了全局趋势的识别能力。
4.3 与Self-Ask基线对比
与外部分解基线Self-Ask的比较表明，所提出的架构在答案质量上优于Self-Ask。Self-Ask采用顺序自适应分解，而本架构采用预生成固定子问题集合并独立处理，结合类型化规则与多层级表征，在多维度推理问题上表现更佳。
4.4 分类别性能分析
按七个使用类别分别分析性能时，研究发现架构优势集中于需要多方面推理的问题（如比较推理、因果推理），而在简单事实检索类问题上与vanilla RAG相当。这一结果表明架构选择应依据预期使用场景而定。
5. 讨论与结论
讨论部分指出，所提出的混合RAG架构通过查询分解、多层级综合表征与类型化分解机制，有效解决了经典RAG在混合定量-定性数据查询中的局限。研究强调，客观与主观数据的不一致本身携带信息，能够揭示未满足期望与行动杠杆。架构的模块化设计使其可迁移至其他同时存在定量指标与定性调查数据的区域，前提是定性语料携带可比的结构化元数据。研究也讨论了迁移的条件与成本。局限性方面，研究指出基准问题为手工设计，可能未完全覆盖真实用户查询的多样性；LLM-as-a-Judge虽经人工校准，仍可能存在偏差；架构的复杂性可能增加计算与维护成本。
研究结论表明，所提出的混合RAG架构能够更完备地检索相关来源，类型化规则与多层级表征显著贡献于答案质量，且整体性能优于Self-Ask基线。优势集中于多维度推理问题，提示架构选择应依据预期使用场景。该工作为区域福祉决策支持提供了可验证、可追溯的对话式分析工具，促进了决策者对福祉指标的理解、质疑与运用，有望改善公共政策制定与评估过程。
