《Machine Learning and Knowledge Extraction》：Stratified Bootstrap or Stratified Cross-Validation: How to Do Reliable Model Validation Under Class Imbalance
编辑推荐：
检索增强生成（Retrieval-Augmented Generation, RAG）和结构化智能体记忆（structured agent memory）通常被视为为大型语言模型（Large Language Model, LLM）提供依据（ground）的竞
检索增强生成（Retrieval-Augmented Generation, RAG）和结构化智能体记忆（structured agent memory）通常被视为为大型语言模型（Large Language Model, LLM）提供依据（ground）的竞争方式。研究人员的结果表明，它们的相对价值随任务而变化，且检索相似性（retrieved similarity）和图关联（graph association）均不足以作为答案的证据。研究人员提出一种任务自适应（task-adaptive）双层方法，将用于定位（orientation）和跨源综合（cross-source synthesis）的紧凑、经审核知识层与用于精确查找（exact lookup）和主张支持（claim support）的版本化证据层相结合。路由器（router）选择表示方式，而独立准入阶段（admission stage）检查命名实体（named entities）、时间、来源角色（source role）、矛盾（contradiction）和溯源（provenance）。一项受控课程落地（course-grounding）研究揭示了 Course 2 内的任务条件性交叉（task-conditional crossover）：蒸馏知识体系（Body of Knowledge, BoK）在查找上落后于普通 RAG 1.07 分，在综合上领先 0.62 分。在 72 题三课程查找面板中，RAG 领先 2.17 分；Course 1 综合接近持平（near parity）。互补的、去位置偏差（position-debiased）的 LLM 评判掌握度比较（mastery comparisons）在两门课程上均偏向 BoK。常驻表示（standing representation）减少 22–35 倍。一个针对 289,642 个块（chunk）证据库的观察性生产案例说明了为什么候选发现（candidate discovery）、包选择（packet selection）和证据准入（evidence admission）需要独立门控（separate gates）。贡献是一种经过测试的方法，用于在一个有依据的智能体架构（grounded agent architecture）内为检索、结构和证据准入分配不同职责。
研究背景与问题：组织知识上的智能体（agent）需要广泛访问详细源材料，同时需要紧凑表示概念、关系和决策。原始检索在请求事实出现在局部段落时强，但在连接多个模块、跨跳保持命名实体、调和来源或识别语料不支持主张时弱。紧凑知识表示提供全局定位，但压缩可去除查找所需表面细节。该张力常被框为 RAG 与知识图谱、记忆系统、摘要或蒸馏知识之间的竞争，鼓励单一表示服务所有查询，并混淆“哪些材料用于发现”和“哪些材料足以支持答案”两个决策。高相似段落可能引用错误模型版本，图邻居可提供路线但不能建立关系；更多检索不自动产生更多证据。研究人员在评估课程到 BoK 蒸馏管线并运营大型双语知识服务时遇到这些问题：普通 RAG 在查找上决定性胜出，完整经审核管线有时输给未合并事实消融；Course 2 内 BoK 减 RAG 差异从查找 ?1.07 变为综合 +0.62；生产系统扩展检索和图发现改善候选覆盖，但仍可能交付不足最终包或替代邻近实体。因此提出分离紧凑经审核知识层与广泛版本化证据层，按信息操作路由查询，并在发现与生成之间放置受治理证据准入阶段。
关键技术方法概括：研究采用两个知识基底：版本化证据层保存源身份、修订、内容哈希、访问/权利类别、精确跨度和有效期，作为最终事实支持来源；紧凑知识层由经审核事实、概念、技能、关系、档案和导航链接派生，保留溯源指针但不自动作为充分证据。查询计划识别精确/局部查找、跨源综合、多跳比较/调和、当前/时间事实、命名实体/版本特定、不支持/超出范围等操作，默认查找偏好原始检索，综合偏好紧凑知识层并用证据层关闭主张。发现产生候选集，证据准入构建有界证据包；每个材料主张声明实体/版本锚点、关系类型、时间范围、允许来源角色、独立来源、矛盾政策、可接受多跳路径和部分支持或弃权条件。主张闭合为 PASS、FAIL 或 UNKNOWN。语料生命周期涵盖摄取、保留修订与跨度、构建紧凑层、索引、冻结回归资格、原子激活与回滚、诊断和仅对确认缺口获取新证据。受控评估使用三课程语料：Course 1 含 305 个结构化文档、3.01 M 字符、566 条蒸馏事实；单转录试点含 53.5 K ASR 字符、144 条事实；Course 2 含 103 个混合格式文档、2.61 M 字符、880 条事实，压缩约 34.6×和 22.5×。综合评估扩展至十个答案器模型和三个跨厂商判官；固定答案器为 claude-sonnet-4-6，跨厂商判官为 gpt-4o。生产案例证据库为 289,642 个块。K-Forge 发布版本 1.2 包含 7818 条答案行和 28,593 条判断行。
研究结果：5.1 RAG Wins Lookup（RAG在查找中胜出）：72题三课程查找面板中，RAG 平均综合分 8.54，BoK 6.37，配对 BoK 减 RAG 差异 ?2.17（95% CI ?2.84 至 ?1.52），RAG 在每个 Bloom 水平胜出，L6 领先最小。该结果否定“蒸馏普遍优于检索”。 curation 消融也呈负向：保留 9072 条未合并事实的 naive_kg 在最大课程查找上优于 566 条事实的经审核 BoK，说明压缩和合并减少可检索表面，丢弃基于参考答案 QA 奖励的细节，这是保留原始证据层的原因。5.2 Synthesis Produces Task Crossover（综合产生任务交叉）：最清晰交叉在 Course 2 内，BoK 在综合上超过 RAG 0.62 分（95% CI 0.52 至 0.73），十个答案器模型中九个为正方向；同语料查找中 BoK 减 RAG 为 ?1.07 分（95% CI ?1.95 至 ?0.25）。同语料符号变化成为任务自适应路由的中心经验动机。Course 1 综合完整十模型三判官均值 RAG 7.056、BoK 6.996，差异 ?0.06（95% CI ?0.15 至 0.03），接近持平；用与 Course 2 相同的 BGE 嵌入器重复仍接近持平，差异 0.04（95% CI ?0.09 至 0.17），跨语料对比不由嵌入器改变解释。效果仍条件性，逐模型差异从负到正，语料比较混淆教学来源与语言和模态。5.3 Mastery and Compactness（掌握度与紧凑性）：基于参考答案 QA 奖励与源派生答案重叠。无参考、LLM 评判掌握度评估问哪个回答更好整合和掌握课程材料。严格位置一致规则下，Course 1 BoK 偏好 171 次对 RAG 76 次，214 平局；Course 2 150 对 3，75 平局。包含弱、位置不一致偏好时分别 176 对 78、156 对 3，作为敏感性分析。问题层面精确双侧符号检验，净每问题三判官严格偏好，Course 1 为 91 个 BoK 偏好问题对 42 个 RAG 偏好问题（23 净平局），Course 2 为 66 对 2（10 净平局），p 值为名义。相同答案下反转显示评估构念敏感性，不证明 LLM 定义掌握度唯一正确，需独立盲法专家评分。架构含义是逐字正确性和整合掌握是不同工作负载，不应强制同一表示。紧凑层将常驻表示从 Course 1 的 3.01 M 字符降至 87 K，从 Course 2 的 2.61 M 降至 116 K；每查询上下文预算匹配，因此不是生成更便宜的主张，而是路由器可调查、加载和转移的表示。5.4 A Simple Routing Policy（简单路由策略）：仅任务策略将查找路由至 RAG、综合路由至 BoK。20 个综合单元（两语料×十模型）中，始终 RAG 得分 6.97，始终 BoK 7.25，逐单元 oracle 7.32。简单规则捕获 81.1% oracle 改进，符号准确率 0.75。逐模型规则用一语料综合胜者预测另一语料胜者，BoK 均值超过 RAG 时选 BoK，否则 RAG；留一语料两方向给出 20 个预测，符号准确率 0.70。探索性转移检查更支持更简单任务规则作为实践起点，前瞻路由评估仍是未来工作。6.1 Full Breadth Can Dilute Selective Signal（全广度可稀释选择信号）：生产证据层从选择性向量表面演化为全密集索引。一个冻结发布含 286,920 个块，编码每个块通过完整性检查，但导致 37 个确定性检索回归案例之一失去预期工具/技能综合：额外最近邻稀释先前的选择性信号。加入固定多语言 BGE 重排器后恢复 37/37。说明语料覆盖与最终选择质量的区别。问题驱动丰富化后来产生 289,642 个块的生成，含 49 条原子经审核事实、41 个经审核来源项和十个聚焦档案；新深度通过精确跨度和独立审查加入，而非仅批量摄取。6.2 ANN Preserved the Qualified Behavior（ANN保留合格行为）：对后来 289,642 向量发布，选定的 USearch/HNSW 路径实现平均 Recall@48 0.9892，最小案例召回 0.9375，p95 检索时间约 12.1 ms，而匹配精确搜索为 662.1 ms。精确+BGE 与 ANN+BGE 在单独 50 题开发集上产生相同状态分布：13 通过、21 需审查、16 失败。该集在冻结下游政策下评估后来发布，不同于 37 案例检索回归套件和 30 题保留面板。支持在冻结下游政策下用合格 ANN 替代精确密集搜索，但不意味着 16 个失败已解决。6.3 Graph Discovery Improved Paths, Not Selected Evidence（图发现改善路径而非选定证据）：经审核关联侧车使用 45 个源封闭节点和 50 条准入边。相对平展检索，候选召回从 0.9833 增至 1.0000，选定召回从 0.9333 增至 0.9500，多跳候选完整性从 0.75 增至 1.00，路径召回从 0 增至 0.6667。但多跳选定完整性仍为 0.0833。图找到有用路线，但最终包选择瓶颈仍在。注册提升阈值未达到，因此图未激活；该负面决策重要，因为发现改善不证明提升，除非准入证据和下游行为也改善。6.4 Named-Anchor Failure and Fail-Closed Correction（命名锚点失败与故障关闭修正）：初始图路线为故意未知命名主题扩展泛化相关主题。混合查询中，解决一个常见实体初始掩盖比较目标缺失。修正规划器要求每个显式命名/版本锚点出现在可回答平展证据中才进行关联遍历；若任何锚点未解决，图扩展阻断，缺口保留。修正后，聚焦五案例不支持主题诊断 5/5 通过，零关联候选、零假关联、完整源闭合。第一次锚点门控重跑已消除图扩展引入的五项回归失败中的四项。该事件提供证据准入的具体动机：语义邻近和图连通对发现有用，但作为缺失命名证据替代不安全。6.5 Naturalistic Held-Out Boundary（自然保留边界）：开发驱动丰富化后，冻结 30 题自然集对单一冻结配置评估，claude-opus-4-8 作为诊断 LLM 评估器。它判定选定证据对 1 题完全支持、11 题部分支持、18 题不支持。所有 30 案例中最大标注类别为语义邻居替代（11）和语料缺口（6）：主题相关段落常不建立请求主张，其他问题需要缺失源材料。无保留结果用于修改该生成。该集显示比生产准确率估计更窄的结论：通过确定性回归和扩展语料不证明自然问题可答，架构必须保留语料缺口和拒绝作为有效结果。
讨论总结与结论翻译：讨论部分认为，经验证据拒绝表示一元论（representation monism）。RAG 是局部事实检索合适默认；紧凑结构化层在问题需跨丰富语料整合时可匹配或超过，但效应依赖语料和答案器。方法按任务分配表示。生产证据增加第二分离：检索回答“什么可能有用？”证据准入回答“什么可支持此主张？”ANN、重排、图、摘要可改善第一问而不解决第二。诊断显示准入层自身贡献：5/5 故意不支持命名主题被阻断零假关联，锚点门控重跑消除五回归失败中的四，不支持自然问题作为显式缺口而非流利替代。端到端收益包括拒绝成本仍未来工作。两层优于一个混合索引，因为单一混合分数可结合词汇、密集和图信号，但仍将不同职责坍缩为一个排序；两层保留定位所需紧凑地图，同时保留审计和当前事实的精确源材料；准入政策操作类型化义务，而非假设更高融合分数意味更强支持。实践指南包括：局部查找和精确引用用原始检索；综合、规划和全局定位用紧凑结构化知识，然后将事实主张关闭到证据；图遍历作为候选生成器；分开评估候选召回和选定包质量；在相同下游政策下用精确 oracle 资格化 ANN；添加源前诊断重复漏检，许多失败是规划、实体、新鲜度或准入问题而非语料缺口；当必需命名实体、版本、时间或来源角色不能关闭时保留 UNKNOWN。限制包括两个主要语料、作者身份语言模态混淆、LLM 判官、模型生成问题库、观察性生产案例、30 题自然集、依赖源身份和时间元数据等，故不能泛化。结论翻译如下：研究人员的实验从蒸馏知识与 RAG 的比较开始，并以一个架构性结果结束。RAG 在答案为局部且逐字时胜出。当任务需要整合时，结构化知识变得有竞争力，并且互补的 LLM 评判掌握度比较在两门课程上均偏向紧凑表示。生产经验随后显示，更广泛、更连通的发现并不保证可准入证据。由此产生的方法给每个组件分配更窄的职责。紧凑知识层提供定位和综合。版本化证据层提供精确支持。任务路由器选择适当路线。准入阶段决定发现材料是否关闭查询的义务。未解决主张保持为部分支持或未知。这种划分不如宣布 RAG 和结构化记忆之间的普遍赢家那样戏剧化，但它更受证据支持，并且对构建有依据的智能体更有用。
