《Big Data Mining and Analytics》：RAG-Based Language Model with Enhanced Indexing Optimization for Financial Intelligent Customer Service Application
编辑推荐：
大语言模型（LLMs）在专业领域面临显著挑战，尤其是在严格准确性要求下“幻觉”（hallucinations）不可接受的场景中。本文提出检索增强生成融合（RAG-Fusion），这是一种新型检索增强生成（RAG）系统，采用互惠排序融合（Reciprocal R
大语言模型（LLMs）在专业领域面临显著挑战，尤其是在严格准确性要求下“幻觉”（hallucinations）不可接受的场景中。本文提出检索增强生成融合（RAG-Fusion），这是一种新型检索增强生成（RAG）系统，采用互惠排序融合（Reciprocal Rank Fusion, RRF）与多查询生成机制，以优化知识检索并降低金融客户服务中的“幻觉”现象。不同于传统单查询RAG系统，该方法实现了多查询生成与基于互惠排序融合（RRF）的重排序机制，并结合复合查询构建与语义向量加权，以提升复杂金融术语的召回能力。通过与中国银联数据（CUPD）合作，研究人员构建了一个综合性的专业领域知识数据库，以缓解金融专业语料不足的问题。与ChatGPT-4及资深行业专家的实验对比表明，该方法准确率达到86%，而基线模型仅为45%；其性能与具有10年经验的专家相当，但响应时间仅为后者的22%；同时，该方法在金融领域深层语义理解与开放式问题处理方面表现突出。
该文发表于《Big Data Mining and Analytics》，聚焦于金融智能客服场景下大语言模型（LLMs）应用中的高准确性需求与“幻觉”（hallucination）控制问题。研究背景在于，通用预训练模型虽具备较强的通用语义理解与生成能力，但在金融等知识密集型、监管敏感型领域，往往因专业知识覆盖不足、术语表达复杂、推理不确定性及训练噪声等因素产生事实性错误。尤其在金融客服场景中，错误回答不仅影响用户信任，还可能带来合规与法律风险。现有检索增强生成（RAG）方法虽然能够通过外部知识库缓解模型知识不足，但传统单查询向量检索难以充分覆盖金融概念的多样化表达，对复合术语、业务细则和监管语义的处理能力有限，因此仍存在召回不足、重排序能力弱和答案质量不稳定等问题。基于此，研究人员提出了面向金融智能客服的RAG-Fusion框架，通过改进索引与检索机制，提高金融领域问答系统的准确性、可解释性与实用性。
该研究的核心工作包括三个方面。首先，研究人员在RAG架构基础上设计了增强型索引方案，将关键词搜索、语义向量匹配与结果重排序相结合，引入多查询生成与互惠排序融合（Reciprocal Rank Fusion, RRF）机制，以提升复杂金融问题的检索效果。其次，为解决金融行业专业语料匮乏问题，研究人员联合中国银联数据（CUPD）构建了专业知识数据库，并通过提示工程（prompt engineering）和语义分段（semantic segmentation）扩展知识覆盖范围。再次，研究构建了较完整的实验评测框架，将所提方法与ChatGPT-4、原始DeepSeek-R1-8B模型以及不同经验年限的金融专家进行对比，综合评估准确率、响应时间、用户满意度、ROUGE-L、语义一致性得分及虚假信息比率（False Information Ratio, FIR）等指标。
从总体结论看，本文提出的RAG-Fusion在金融智能客服任务中展现出显著优于通用预训练模型的性能。实验结果显示，该方法在领域问题上的准确率达到86%，显著高于基线模型45%的水平；其回答质量接近具有10年经验的金融专家，同时响应速度明显更快，仅需其22%的响应时间。在开放式问题上，RAG-Fusion获得0.731的ROUGE-L分数，明显高于ChatGPT-4和DeepSeek-R1-8B，表明其在深层语义理解和领域化自然语言生成方面具有优势。此外，系统的语义一致性得分达到0.92，FIR降至0.08，说明该方法在抑制“幻觉”、增强事实一致性方面效果突出。该研究的重要意义在于，为高风险、高准确性要求的金融客服系统提供了一种兼顾检索质量、生成能力与知识管理的可行技术路径，也为医疗、法律等知识密集型行业的智能服务系统设计提供了可迁移框架。
从技术方法上看，研究人员主要采用了以下关键方法：其一，基于RAG构建金融问答系统，选择text2vec-base-chinese-paraphrase作为索引器（indexer），以DeepSeek-R1-8B作为生成器（generator）；其二，引入多查询改写、复合布尔查询、模糊匹配、短语检索、余弦相似度计算及互惠排序融合（RRF）重排序，形成增强型检索索引策略；其三，与中国银联数据（CUPD）合作构建金融专业知识数据库，并基于约19 000组种子问答通过提示工程扩展至25 000余组问答，同时结合语义分段与表格JSON化提升知识组织能力；其四，使用100道客观题和20道开放题构成测试集，引入金融行业评估者和专家开展双盲评测。
在研究结果部分，论文按照不同模块展开论述。
3.1 Working Principle of RAG
该部分首先说明RAG的基本工作原理，即将问题处理分为检索与生成两个阶段。系统先通过非参数记忆模块检索与问题相关的文档，再将检索得到的前K个文档与原始问题一并输入预训练语言模型进行答案生成。研究人员指出，这一框架可在专业知识不足时有效降低“幻觉”出现概率。结合金融客服场景，系统还加入了用户意图捕获、问题分类处理、上下文历史利用与反馈优化等机制。通过文本清洗、语义嵌入和历史会话引用，系统能够更准确识别用户真实意图，并据此决定直接检索知识库还是进入后续语言模型处理流程，从而提升复杂问答的上下文适配性。
3.2 Selection of Indexer and Generator
该部分介绍模型组件选择。研究人员采用text2vec-base-chinese-paraphrase作为索引器，该模型基于余弦相似度，可将句子映射到768维稠密向量空间，适用于句向量表示、文本匹配与语义搜索，在中文匹配任务上具有较好性能。生成模型方面，研究选用DeepSeek-R1-8B，其在大规模语料上训练，具备中英文、多语言及数学文本理解与生成能力，并支持较强的长文本处理。这样的模型组合使系统在检索效率与生成质量之间取得平衡，为金融专业问答提供技术基础。
3.3 Enhanced Indexer
该部分是全文的方法核心。研究人员提出的RAG-Fusion通过融合关键词搜索、语义向量匹配和结果重排序来弥补传统RAG在复杂金融术语处理上的不足。系统先由语言模型对用户原始问题进行多视角改写，生成多个语义等价但表达不同的查询；随后对原始查询与改写查询执行并发向量检索；再利用互惠排序融合（RRF）对多路检索结果进行整合与重排。RRF通过对各结果列表中同一文档的倒数排名求和获得融合分数，可降低单一检索策略造成的偏差。除此之外，系统构建了复合查询机制，在“must”子句中使用多字段匹配并设定60%的最小匹配比例，在“should”子句中加入模糊匹配和短语搜索，并通过boost参数调节排序权重。之后，研究人员对候选文档标题与摘要生成嵌入向量，经L
2归一化后计算余弦相似度，并将其与RRF得分按权重融合，形成最终综合得分。该策略使系统既保留传统搜索引擎的高效检索能力，又获得语义搜索与多查询重排序的优势，从而提升复杂金融问题的召回率与答案质量。
3.4 Knowledge Database Expansion
该部分聚焦知识库扩展。研究人员指出，知识数据库的广度与深度直接决定智能问答系统的回答质量和用户满意度，而金融领域原始专业语料普遍存在数量不足与质量不均问题，因此必须对知识库进行动态扩展与持续更新。研究中主要采用两类方法：提示工程和语义分段。通过这两种方法，系统得以提升对新兴主题、复杂查询及专业术语的理解能力，从而增强金融知识覆盖与适应性。
3.4.1 Prompt Engineering
该部分介绍基于提示工程的知识扩展流程。研究人员以约19 000组种子问答为起点，利用大语言模型生成新的问题和指令，使知识库规模扩展至25 000余组问答。具体而言，先由领域专家筛选具有代表性的种子问题，再围绕每个问题设计多种提示模板，引导模型从不同视角、语气和细节层次生成语义一致但表达多样的新问题；随后，系统采用self-ask与self-answer方式，为新问题自动生成对应答案。该流程不仅扩充了问答数量，也补充了原知识库未覆盖的细粒度业务知识，提高了知识库对金融行业变化需求和新主题的响应能力。
3.4.2 Semantic Segmentation
该部分说明语义分段对知识组织的作用。对于非格式化文档，系统依据内容理解对知识片段进行语义切分；对于格式规范的文档，则根据其内部逻辑按章节或段落划分；对于包含表格的文档，则将表格内容转换为JSON（JavaScript Object Notation）格式，以支持结构化存储和后续检索。研究人员还进一步描述了文档预处理流程，包括文档格式分析、章节标题识别与提取、内容切分与组织、表格数据处理等步骤。该方法提升了知识片段的结构化程度和可检索性，有助于系统理解复杂业务规则和专业术语。
3.5 Knowledge Database Expansion
该部分实际讨论的是知识数据库的持续建设与维护管理。研究人员提出，知识库建设不是一次性工作，而是涵盖技术实施、维护人员职责和系统持续使用反馈的循环过程。该过程包括会话记录管理、知识库更新、用户反馈处理与系统监控四个主要组成部分。通过自动收集和分析客户交互数据、依据使用模式系统性审查与扩充内容、整合满意度反馈优化回答质量，并通过系统监控保障服务稳定性，可以使知识库保持现势性与适应性。该持续构建机制确保金融智能客服系统在真实业务环境中具备长期演化能力。
4.1 Purpose and Hypotheses of the Experiment
该部分明确实验目标与假设。研究主要检验两点：一是所提出的基于RAG且经过索引优化的方法是否能够提升金融客服回答质量，并达到与资深人类专家相近的水平；二是用户在双盲条件下是否难以区分系统回答与专家回答。由此可见，实验不仅评估技术性能，也考察实际使用场景中的主观感知效果。
4.2 Design of the Experiment
该部分介绍实验设计。系统部署于高性能服务器，参与者包括20名金融行业评估者和20名回答问题的专家。专家来自信用卡、借记卡和消费信贷三个金融子领域，其中一半具备至少10年经验，另一半约有3年经验。测试数据库包含100道客观题和20道开放题，覆盖上述子领域，并按基础、中级和高级三种难度分层。评价指标包括准确率、响应时间、双盲识别评分、用户满意度，以及用于文本质量评估的ROUGE-L、用于事实一致性评估的语义一致性得分和用于衡量“幻觉”的FIR。该实验框架较为全面，能够同时衡量系统的客观性能与主观体验。
4.3 Results and Analyses
该部分给出实验结果。研究人员比较了带有与不带有RAG-Fusion的DeepSeek-R1-8B、ChatGPT-4，以及具有3年和10年经验的金融专家在准确率和响应时间上的表现。结果表明，RAG-Fusion在客观题上达到与10年经验专家相近的准确率，并显著优于基线模型。响应时间方面，该系统明显快于人工专家，也快于未优化的原始模型。识别评分和用户满意度结果显示，评估者较难将RAG-Fusion生成的答案与资深专家答案区分开来，说明其在开放式问题上的语言质量与专业性较高。ROUGE-L测试进一步表明，RAG-Fusion在开放式问题上取得0.731的相似度分数，远高于ChatGPT-4的0.122和DeepSeek-R1-8B的0.115，证明其在复杂金融问答中的深层语义理解和领域回答生成能力显著增强。消融实验则显示，去除RRF组件和增强索引方法后，系统回答质量与事实准确性明显下降，说明多查询生成和智能重排序并非边际改进，而是金融领域可靠问答性能的关键条件。最终，语义一致性得分0.92与FIR为0.08共同表明，该系统在降低“幻觉”、维持事实一致性方面具有显著优势。
讨论部分强调，本研究通过将外部专业知识库与改进检索机制深度融合，有效缓解了金融场景下通用大语言模型知识不足、术语召回不全和生成失真等问题。多查询生成使系统能够从多个语义视角理解同一金融问题，RRF重排序则降低单一检索路径带来的偏差，二者共同提升了复杂查询处理能力。知识库扩展与维护机制则从数据层面补强了金融专业语料稀缺这一现实约束。论文也表明，这种方法不仅适用于金融客服，还可迁移至医疗、法律等对事实准确性与监管一致性要求较高的知识密集型领域。整体上，本文从模型、检索、知识库和评测体系四个层面构建了较完整的应用方案。
研究结论部分可译为：本文将检索增强生成（RAG）与增强型索引方法集成应用于金融智能客户服务。通过部署先进索引技术与算法增强策略，所提出的方法在处理复杂金融查询时显著提升了语言模型的性能。为应对金融行业普遍存在的专业语料库不足问题，研究人员与中国银联数据（CUPD）合作，获取了具有广泛代表性的行业知识数据库，并将其作为本文优化方法的基础。比较实验的实证验证表明，该方法实现了与资深金融专家相当的性能水平。尤其是，该方法在自然语言理解、生成质量、用户满意度和响应准确率等关键指标上均优于现有预训练语言模型，包括ChatGPT-4。特别地，所提出的方法不仅提升了准确率和ROUGE-L等常规指标，还在专业“幻觉”评估指标上表现突出，实现了92%的语义一致性得分，并将虚假信息比率（FIR）降低至8%。这些结果证实，RAG-Fusion能够有效解决金融智能客服应用中的关键“幻觉”问题。该研究的价值不仅限于金融服务，还可推广至医疗、法律及其他监管敏感型服务领域，适用于对准确性和事实一致性具有严格要求的场景。未来研究方向包括跨领域知识迁移优化，以及开发实时监测系统，以确保在信息快速变化环境中的持续准确性。本文建立的领域知识数据库与先进检索机制的成功融合，为多行业下一代智能服务系统奠定了基础。
