在预算约束干预策略下对无记忆大语言模型输出进行二值结果反馈监督

《Cognitive Systems Research》：Binary outcome-feedback supervision of memoryless LLM outputs under a budgeted intervention policy

　　

围绕逐次无记忆大型语言模型构建的闭环系统，能否在不改变模型本身的情况下表现出依赖于反馈的适应性行为？我们在威斯康星卡片分类测验中测试了这一假设，该任务中隐藏的排序规则会悄然变更且不进行公告，而回复生成过程不携带对话历史。监督者在每次试验中仅接收二元结果反馈——每次试验一个正确性比特，且每36次试验中仅有9次干预机会。我们获得了三项发现。第一，无反馈的监督者仅重分布了模型的重复输出轨迹，增加了选择的多样性但未提升准确率：单纯的输出变化并不等同于适应性的改变。第二，两种可获取正确性比特的监督者，在所有四个保留模型世代上均显著提升了准确率，提升幅度为12至17个百分点（所有Holm校正后p值均<.001）。第三，一个在信息量和干预预算上相匹配的"对则坚持、错则改变"策略，比复杂的信念追踪监督者更准确。复杂监督者预测能降低的"前序规则对齐错误"在两个模型上出现显著反转：预注册的结论为无迁移效应。一个冻结的后续研究移除了复杂策略的保护机制，产生了一个在行为上与"对则坚持、错则改变"策略一致的最小监督者；它在之前出现反转的两个模型上消除了反转，这表明驱动反转的是保护栈而非结果追踪机制。在测试的策略下，改进需要正确性反馈，而简单、可审计的策略已足以获取这些收益。自适应的单位是受监督的架构（生成模块加外部监督者），而非LLM本身。设计与分析在接触数据前均已冻结。

引言

面对威斯康星卡片分类测验的代理必须发现当前哪种规则在控制奖励，仅依靠逐次结果反馈，并且必须在该规则悄然变更时放弃它。该任务具有四项共同使其成为适应性控制之苛刻考验的特性：治理规则从不直接可观测；它必须从每次行动后的结果反馈中推断；它在运行过程中会变更；且先前的规则仍然可作为合理（且现已错误）的答案存在。人类研究表明，前序规则对齐错误（传统上称为固着错误）是更新受损的一个可观测后果，同时警告没有任何单一WCST分数能唯一标识一种机制。

本研究探究自适应行为能否在闭环系统层面产生，而该系统的生成组件既不接受任务历史，也不在试验间进行在线更新。在我们设计中的每次LLM回复都是独立生成的，不携带对话历史：生成调用不记录其前序选择或结果。"无记忆"因此是关于任务界面的操作性术语：没有选择、结果或规则估计通过模型上下文跨越试验。这不是对预训练网络处于计算无状态的断言。因此，任何适应性都必须来自外部——来自一个小型外部监督者，它观察公共回复序列，并在某些条件下，在每次最终行动后接收一个额外的比特：即该行动是否正确。如果与任务相关的逐次状态要在系统中任何位置存在，它必须存在于该监督者中。监督者从不看到隐藏规则、卡片-规则映射或未来时间表，且它最多只能在36次试验中的9次进行干预。动作空间被刻意设得较小：每个最终行动都是三种卡片维度之一（颜色、形状或数字），因此该设计隔离了在受控信息访问下的隐藏规则切换，而非开放式的规则学习。LLM在认知任务上的行为对提示格式、采样、记忆和解析都很敏感，因此我们将所得分数视为特定系统的属性，而非类人能力的测量。

这个问题对于代理型LLM系统的设计至关重要。已部署的流水线越来越多地在外部脚手架中封装固定的生成调用，设计者必须决定适应性应存在于何处：是在模型内部，通过重新训练或累积上下文，还是在外部，由一个持有少量数字状态的小型可审计控制器承担。本设计是第二种选项的最小、完全受控实例：模型从不重新训练，其上下文永不增长，且唯一的适应性通道是每试验一个外部观察的正确性比特。下述三个确认性问题由此将更广泛的问题操作化：在何种条件下，外部监督者可以作为其他历史盲生成模块的适应性控制层？

三个问题组织了确认性设计：

1. 能否在不使用任何结果信息的情况下，仅通过重塑模型的重复输出轨迹来提升表现？
2. 即使干预预算有限，二元正确性反馈是否有帮助？
3. 给定完全相同的信息和预算，一个复杂监督者——积累证据并保护当前假设——是否优于简单策略？

项目的真实历程是其答案的一部分。这项工作始于一个无反馈的轨迹控制器，在两个归档模型和一个固定时间线上开发，其早期结果暗示了广义"持续"测度的大幅降低。该开发设计无法将轨迹塑造与正确性反馈提供的信息分离，且其重复的固定时间表容易招致过拟合。因此，本次确认性研究预先冻结，以将原有说法置于风险之中——而它失败了：无反馈控制器改变了输出分布但未提升准确率。真正一致且显著提升准确率的是，对二元结果反馈的访问。而在使用反馈的策略中，简单的"对则坚持、错则改变"基线在准确率上超越了复杂的信念与否决监督者，且复杂监督者在预测降低前序规则对齐错误上的优势在两个模型上发生了反转。另一个单独冻结的后续研究随后探究该反转是来自结果驱动的假设追踪本身还是来自添加的保护机制：一个没有保护的最小监督者消除了反转，并在其校准参数下，它在行为上与"对则坚持、错则改变"一致，我们将这一约化在此呈现，因为它限制了本文中的每一项解释性主张。因此，本文并非提出一个新的监督者；它是一次逐步解剖——每一步都在其数据存在前冻结——以辨明一个自适应LLM-监督者系统中哪些成分做了工作，哪些没有。

贯穿全文，严谨性得以保持但重新定位。正文以平实语言呈现每个监督者的目的、可见信息、行动规则、预期效果和观察结果；精确参数、冻结程序和审计机制见技术子节、第7节及存储库。

文章片段

卡片分类与自适应控制

威斯康星卡片分类测验长期以来被用于研究规则发现、集切换以及稳定性和灵活性之间的平衡。当代方法学研究强调，信度和解释取决于评分规则、任务版本和目标人群。计算性模型将卡片分类建模为序列学习而非单一潜在能力，包括序列学习模型等。

架构与信息隔离

对于每次试验，生成层向模型提供公共卡片描述并请求一个维度名称。没有系统消息或对话历史在试验间携带信息。原始文本被保存并由一个冻结的解析器解析。控制器接口仅暴露公共信息，而冻结的控制器仅参考试验索引和解析后的选择；评估者，是唯一能访问结果的。

结果

每个子节按顺序报告：判决、效应大小、统计证据和解释局限。

所获发现

三个组织性问题得到了清晰回答。第一，在没有结果信息的情况下重塑输出轨迹并未提升准确率：一个监督者可以改变模型产生什么而不使其更正确，且选择多样性增加并不等同于适应性。第二，二元结果反馈显著提升了准确率，并表现出罕见的跨模型一致性——在RuleBlindFull策略下约12个百分点，在WSLSBudgeted策略下16个百分点，在所有四个保留世代上均如此。

局限

该任务只有三个分类动作和外部定义的块变化。监督者从预设的选项中做出选择；没有组件学习新的规则表示。WCST在此作为实验框架，用于隔离受控信息访问下的隐藏规则切换，而非作为人类测验的认知等价物，且不做出关于认知灵活性完整构念的任何主张。自然扩展包括更大的或开放的动作空间、噪声或模糊反馈等。

可重复性、数据完整性与安全

存储库保留了不可变的公共流、单独生成的真值时间表、重放输出、试验级和重复级结果、配对统计表格以及SHA-256清单。自动化检查强制执行两项研究的完整试验网格、一对一重复配对、控制器盲性、解析器行为、硬性干预预算以及拒绝覆盖现有重复文件。所有时间表均可从单一命令确定性重新生成。

结论

外部二元正确性反馈提升了围绕逐次无记忆LLM构建的受监督架构的表现力，且该提升稳健地跨越了四个测试的保留模型世代，并在稀疏的干预预算内实现，且无需复杂的认知脚手架即可获取。在该WCST式环境中，简单、可审计的策略更为强大，无结果的输出多样化不构成适应性控制，且一个没有复杂保护机制的最小策略消除了反转。

CRediT作者贡献声明

Gyu Tae Jang：论文审阅与编辑、原始草稿撰写、可视化、验证、形式分析、数据策展、概念化。

生成式AI与AI辅助技术在写作过程中的使用声明

在本工作的准备过程中，作者使用了大型语言模型助手：Claude Fable 5用于语言编辑和草稿支持，以及GPT-5.6 sol用于辅助数据审阅、交叉核对和文献检索。在使用这些工具后，作者审阅、核实并编辑了所需内容，并对已发表文章的内容承担全部责任。

资金

本研究未从公共、商业或非营利部门的任何资金来源获得特定资助。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系，这些可能影响本文所报告的工作。

致谢

无。

Gyu Tae Jang