用于大语言模型输出顺序可靠性诊断的外部可验证检查点轨迹：来自结构化文本转SQL推理的证据

《Neurocomputing》：Externally verifiable checkpoint trajectories for ordinal reliability diagnosis of LLM outputs: Evidence from structured text-to-SQL reasoning

　　

- CPFC将大语言模型推理编译为可外部验证的检查点轨迹。
- 基数校准失败将验证器熵限制为序数诊断。
- 检查点轨迹在退化起始定位方面超越了步骤级验证。
- CPFC标签与独立的盲法参考标注之间存在非平凡的一致性。
- 深度嵌套结构暴露了扁平检查点的可验证性边界。

**引言**

端点准确性仍然是评估大语言模型长链推理输出的常用基准。在诸如文本到SQL、数学推理和逻辑问答等任务中，最终答案的正确性、SQL可执行性或执行结果的匹配直接记录了任务实例的成功或失败。这一信号对于模型比较和系统筛选很有用，但它仅记录了推理过程的终端状态。

可靠性诊断需要比终端信号更精细的轨迹证据。一条推理链可能在早期检查点处偏离，但随后恢复出正确的端点；另一条链可能因为局部验证错误、依赖传递传播、误导性信息积累或由表示触发的结构边界而在端点处失败。端点指标将这些轨迹压缩为最终成功或失败，因此无法识别退化首次出现的位置，也无法区分端点等效失败背后的中间演变过程。

图1说明了这一诊断困境：一旦结构化的推理输出被简化为终端记录，虽然可以看到错误答案，但推理首次出错的位置以及到达该答案的路径仍未解决。

添加错误类别可以丰富端点描述，但无法替代中间轨迹测量。关于退化起始或故障模式区分的诊断论断，只有在中间状态被表示为可外部检查的对象、且这些对象能够在模型外部进行验证和比较时，才能具有可裁决性。因此，长链推理可靠性需要在端点准确率和模型内部解释之间建立一层测量层：该层记录可外部观察的轨迹对象，并支持在受限解释下进行跨案例的诊断比较。

本文提出了CPFC（功能链检查点级探测），作为面向可检查点化的结构化长链推理任务的后验序数诊断协议。CPFC所针对的测量问题不同于过程级评估和思维链推理。CPFC通过生成推理输出编译为可外部验证的检查点轨迹，并在固定外部规则下记录中间状态、依赖链接和协议定义的验证结果，来解决诊断测量问题。生成、奖励建模和基准优化不属于此诊断目标。从这些轨迹中，该协议评估两个端点指标无法提供的诊断任务：退化起始定位和协议定义的故障模式区分。所得到的证据由可外部验证的对象构成，并在测量协议授权的序数层内加以解释。

实证研究在Spider文本到SQL上进行。Spider提供结构化查询目标、可分解的中间构造、外部约束和可执行验证条件。这些特性使得后验推理输出可以被转换为检查点轨迹并进行独立验证。实证论断的范围是经过审慎限定的：在Spider文本到SQL设定和当前检查点协议下，CPFC被评估为面向结构化长链推理的外部序数诊断工具。此范围排除了对开放域推理轨迹进行广泛评估的论断。

研究围绕四个研究问题组织。

**RQ1. 测量与可识别性可采纳性。** 在当前测量装置和统计约束下，CPFC检查点轨迹能够支持哪种诊断解释层？

**RQ2. 增量序数诊断价值。** 在Spider文本到SQL中，CPFC是否提供了超越端点评估和更简单诊断基线的增量序数诊断信息？

**RQ3. 与独立盲法参考的一致性。** CPFC衍生的退化起始标签和协议定义的故障模式标签是否与独立的盲法参考标注达到非平凡的一致性？

**RQ4. 范围边界与可复现条件。** 在哪些结构条件、可验证性条件和可复现记录下，当前的诊断结论仍然成立？

这些问题也界定了论文论断的强度。第6节报告验证器未能实现基数校准：因此，熵导出的量仅被保留为序数或秩序诊断信号。更丰富的连续门控实现在冻结保护序列下被拒绝，保留的实现仅作为在所考察候选集内的群体级序数实现被采纳。7节"结果：增量诊断价值与独立盲法参考的一致性"和8节"结果：边界发现与可复现条件"则评估该保留的序数信号是否提供了增量诊断价值、是否与盲法参考对齐，以及是否在明确的范围条件下可复现。

贡献有四点。

**C1.** 我们将中间状态、依赖链接和外部验证结果组织为可比较的检查点诊断轨迹。这提供了超越端点准确率的可靠性诊断测量对象，且无需访问模型内部。

**C2.** 我们定义了一个受限的诊断协议，用于裁决在数据支持有限、校准失败和统计保护条件下，哪些序数经验实现可以被保留。该协议同时报告保留的诊断输出以及该输出被授权的边界条件。

**C3.** 我们在Spider文本到SQL上对CPFC进行了评估，对比了仅端点、简单步骤级验证、描述性错误标签、简化轨迹和协议回退基线。评估聚焦于退化起始定位和协议定义的故障模式区分作为序数诊断任务。

**C4.** 我们将校准状态、可识别性裁决、不可验证检查点、深度嵌套结构和后端可复现记录整合到冻结Spider协议下的协议输出中。这使得解释的停止点成为诊断报告的一部分。

本文其余部分组织如下。第2节将本工作定位在大语言模型评估、过程级推理评估、外部验证与可解释性以及诊断测量领域。第3节将CPFC定义为测量结构，包括适用条件和诊断工作流。第4节规定了受限的诊断协议和方向性锚点。第5节描述了Spider实证设定、基线、盲法标注和研究问题到证据的映射。6节"结果：测量与可识别性裁决"包含6.1"校准失败固定了序数测量边界"、6.2"更丰富的实现被收敛性失败模式拒绝"、6.3"保留的实现将可识别信号集中在群体级步骤结构上"、6.4"RQ1裁决"。7节"结果：增量诊断价值与独立盲法参考的一致性"包含7.1"CPFC超越了预定义基线的序数起始信息"、7.2"CPFC超越了描述性标签的协议定义模式信息"、7.3"候选池锚定的案例对比说明了群体级信号如何在个体轨迹中显现"、7.4"CPFC衍生标签与独立盲法参考标注显示出非平凡的一致性"。8节"结果：边界发现与可复现条件"报告了测量与可识别性裁决、增量诊断价值与独立盲法参考的一致性，以及边界发现与可复现条件。第9节讨论了使用条件、解释边界和候选扩展，第10节总结了方法论适用范围和实证覆盖范围。

**章节片段**

**相关工作**

CPFC定位在关于大语言模型评估、过程级推理评估、外部验证与可解释性以及具有可外部检查中间状态的结构化推理领域的工作中。其测量目标是检查点轨迹：一种后验记录，在明确的推理权限边界下，跨实例对齐可观察的中间状态、依赖链接和外部验证结果。该轨迹记录支持退化起始CPFC作为测量结构

**表1** 总结了整个测量和评估框架中使用的主要符号。

**方向性理论骨架：从轨迹信息结构**

检查点轨迹包含两类信息：每个检查点的验证状态以及检查点之间的结构依赖。前者表明当前中间状态在外部验证下是否保持稳定。后者表明当前状态如何被先前状态约束或误导。公式(1)中的条件熵分解将此轨迹结构表达为与显式父集关联的分步不确定性项。

**受限的经验实例化与评估样本空间**

本研究使用Spider文本到SQL作为CPFC的受限经验实例化。该任务提供自然语言问题、数据库模式、SQL构造目标和可执行验证条件。这些特性使得生成输出可以被分解为检查点轨迹并通过外部规则进行检查。该设定满足第3.2节定义的四个适用要求：中间构造可以离散化，验证规则可以在外部

**结果：测量与可识别性裁决**

测量与可识别性分析得出三层RQ1裁决。VSP审计拒绝了基数校准，冻结保护序列拒绝了公式(8)中更丰富的连续门控实现，协议在所考察候选集内保留了群体级序数实现。此序列决定了在当前CPFC验证器轨迹中进行增量诊断测试之前，所授权的 CPFC 解释层。保留的状态为

**结果：增量诊断价值与独立盲法参考的一致性**

在第6节保留的序数层内，CPFC提供了超越预指定基线族的增量诊断信息，并与独立的盲法参考标注达到非平凡的一致性。RQ2和RQ3随后通过退化起始定位、协议定义的故障模式区分以及CPFC与参考标注的一致性来评估该信号。所有比较均使用第5节定义的冻结基线族、指标和盲法标注设计。

**结果：边界发现与可复现条件**

边界分析将主要的范围限制定位在可验证性、表示和可复现条件上。对于Spider可外部检查的检查点，第7节确立了增量诊断价值和外部一致性；RQ4识别了这些结论仍然可解释的条件。第5节将方法论适用范围限定为满足P1至P4的可检查点化结构化长链推理任务，且评估设计冻结了协议，

**讨论：实际使用、解释边界与未来范围**

实证结果为CPFC在冻结的Spider文本到SQL协议下赋予了受限的诊断角色。第6.1节的测量边界和第6.3节的保留实现声明支配了以下所有解释。在该授权层内，检查点轨迹为退化起始定位和协议定义的故障模式区分增加了诊断信息，且所得标签与独立的盲法参考显示了非平凡的一致性

**结论**

CPFC是一种后验序数诊断协议，将可检查点化的结构化大语言模型输出编译为可外部验证的轨迹，该轨迹链接检查点状态、依赖、验证结果和边界记录。在第6.1节"校准失败固定了序数测量边界"和第6.3节"保留的实现将可识别信号集中在群体级步骤结构上"建立的测量和保留实现边界下，Spider文本到SQL研究

**未引用的参考文献** [14], [15], [16], [17], [18], [19], [20], [21], [22], [23], [24], [25], [26], [27], [28], [29], [30], [31], [32], [33], [34], [35], [36], [37], [38], [39], [40], [41], [42], [43], [44], [45], [46], [47], [48], [49], [50], [51]

**CRediT作者贡献声明**

Zhiwei Huang：原创草稿撰写、可视化、验证、软件、方法论、调查研究、形式化分析、数据管理、概念化。Gang Wei：审阅与编辑、方法论。Gang Wang：审阅与编辑、监督、项目管理、概念化。Xuan Liu：审阅与编辑、软件、数据管理。Haolun Sun：验证、数据管理。Xiaoyang Han：审阅与编辑。Hui Yuan：审阅与编辑、可视化。

**生成式AI及AI辅助技术在写作过程中的声明**

在本文准备过程中，作者使用了ChatGPT（OpenAI）和通义千问进行语言编辑、编辑规划、格式支持和代码组织辅助。使用这些工具后，作者根据需要对内容进行了审阅和编辑，并对出版物内容承担全部责任。

**资金**

本研究未获得公共、商业或非营利部门资助机构的任何专项资助。

**利益冲突声明**

作者声明，他们不存在任何已知的可能影响本论文所述工作的竞争性经济利益或个人关系。

Zhiwei Huang于2024年获得中国西安空军工程大学指挥信息系统工程学士学位。目前他在空军工程大学空天导弹防御学院攻读军事指挥科学硕士学位。其研究兴趣包括智能指挥与控制、大语言模型推理可靠性诊断以及防空系统建模。他曾在《现代防御技术》等期刊发表文章。Zhiwei Huang | Gang Wei | Gang Wang | Xuan Liu | Haolun Sun | Xiaoyang Han | Hui Yuan