《Array》：ASCENT: Scale-complementary external state for frozen long-context language models
编辑推荐：
长上下文语言模型系统日益将存储的证据与对其进行推理的阅读器分离。稀疏注意力、检索、提示压缩与循环记忆各自减少直接处理的证据量，但通常仅在单一阅读器规模下评判。该协议留下一个核心尺度问题未解：随着阅读器能力增强，外部状态在绝对意义上是否变得更有用？研究人员将肯定
长上下文语言模型系统日益将存储的证据与对其进行推理的阅读器分离。稀疏注意力、检索、提示压缩与循环记忆各自减少直接处理的证据量，但通常仅在单一阅读器规模下评判。该协议留下一个核心尺度问题未解：随着阅读器能力增强，外部状态在绝对意义上是否变得更有用？研究人员将肯定回答称为尺度互补性（scale complementarity）。它强于证明记忆有助于大模型，也不同于仅模型尺度律：阅读器与信息预算均被允许增长。ASCENT是一种冻结基础接口，旨在使该性质可测量。一个因果的、目标盲（target-blind）写入器将查询前流转换为嵌套类型化状态；有界读出仅向冻结阅读器暴露与查询相关的条目。状态预算与阅读器容量协同缩放，而其与模型存储的字节比下降。这种分离创建两个独立可控轴——阅读器尺度与状态精化——并使模型×状态交互可识别。本文将理论、设计与证据统一于同一估计量。在贝叶斯最优对数损失下，嵌套状态精化的增量价值恰为其与目标的条件互信息。ASCENT构造旨在使该量正定的精化。预设的3×3析因设计识别有限阅读器是否实现该信息中越来越多的部分，而官方自由生成基准确立相应准确率效应。模型、数据、配置与分析哈希在评估前固定；面板为推断单位；多重性在族水平控制。证据包含官方RULER与BABILong任务、两个有序模型族、五个公开7B–8B阅读器、已发布的任务训练Q-RAG检查点、原始与神经检索对照、表示消融、系统核算、匹配硬件上的跨节点复现以及跨架构敏感性分析。该设计将尺度互补性从视觉趋势转变为协同缩放语言模型系统的受检验性质。主要贡献包括：尺度互补性理论将嵌套状态精化与条件信息联系并产生有限阅读器交互估计量；ASCENT提供目标盲、有界、嵌套外部状态，其绝对预算增长而状态与模型存储比收缩；官方16 K结果在0.5B、1.5B与3B Qwen2.5阅读器上确立两个正相邻准确率增益增量；九面板3×3析因设计通过7B识别正模型×状态交互，并对完整对比族同时推断；五个公开7B–8B阅读器、直接训练检索比较、跨任务对照、系统测量与跨节点复现确立架构广度与可复现性；每个报告数字均可由发布的逐行记录重算。
研究背景方面，长上下文语言模型系统日益将存储证据与推理阅读器分离，稀疏注意力、检索、提示压缩与循环记忆等技术均减少直接处理的证据量，但通常在单一阅读器规模下评估，因而留下核心尺度问题：阅读器能力增强时外部状态在绝对意义上是否更有用。既有长序列架构工作缩放序列处理器本身，系统级工作改变执行上下文成本，外部记忆与检索工作针对不同因变量，压缩与评估及尺度律研究亦未将状态预算作为第二缩放坐标。为此研究人员提出尺度互补性概念并设计ASCENT冻结基础接口，使该性质可测量。研究得出在评估任务上外部状态随冻结阅读器缩放而更有价值，条件信息理论指定嵌套精化价值，析因交互表明更大阅读器提取该价值中越来越多部分；官方RULER与BABILong评估跨模型族、任务与上下文长度复现增益递增模式，五个公开7B–8B阅读器保持大绝对增益。其重要意义在于尺度互补性在所评估冻结长上下文语言模型系统内可识别、可实现且可复现。研究方法上，主要关键技术方法包括：目标盲因果写入器将查询前流转换为嵌套类型化状态，状态由末次写入映射、仅追加日志与计数器三种原语构成；有界读出仅暴露查询相关条目；预设3×3析因设计含九个不相交面板并以面板为推断单位，采用面板聚类t统计量与Holm族错误控制；机制研究在受控组合任务上对15个等长双词延续评分精确联合似然；官方RULER与BABILong基准评估及语义验证集选自公开BABILong训练生成划分并排除与官方8 K测试池语义指纹重叠的行；另设固定与协同缩放状态、FIFO记忆、词汇检索、BGE-M3稠密加BM25融合重排、同FLOP静态重放、无关与损坏状态及已发布Q-RAG检查点等对照。研究结果方面，6.1 Qwen2.5在官方BABILong上的缩放：通过十面板官方16 K与零重叠语义验证评估，官方16 K曲线由10.50升至78.88再至82.63个百分点，两个相邻增量在族错误校正下均显著，语义验证曲线复现两个正相邻增量；规范表示在3B官方16 K面板达.9875准确率而对冻结原始表示为.8338，差15.38点且基础预测逐行相同。6.2 直接全析因尺度交互：通过九面板析因机制研究，协同缩放NLL增益由.388升至2.099再至7.406 nats，两个模型×状态交互均为正且Bonferroni同时区间在八估计量族上保持正下界。6.3 公开7B–8B广度：通过五个公开阅读器十面板官方16 K结果，全部五个增益区间排除零，增益跨五种架构持续。6.4 跨族与跨任务证据：通过跨任务证据矩阵，SmolLM2在官方RULER常见词聚合上增益递增且两相邻区间严格为正，Qwen2.5在16 K均值递增，RULER多查询检索上两模型族两相邻增量区间均为正，官方BABILong 4 K与8 K覆盖QA1–QA3而QA7–QA8提供聚合证据。6.5 与当前同类直接比较：通过在相同QA2/QA3面板上与已发布任务训练Q-RAG检查点比较，冻结ASCENT在1.5B领先22.75点、3B领先26.25点。6.6 对照与系统证据：通过匹配SmolLM2面板对照，ASCENT优于字节匹配FIFO、词汇检索与BGE-M3混合检索，无关与损坏记忆对照隔离结构化证据收益；固定写加读状态占589.0、624.6与640.6字节而状态与模型字节比随尺度下降，受支持算子FLOP较基础生成路径少78.2–83.7倍。讨论部分总结如下：尺度互补性在此仅针对Qwen2.5阅读器在官方BABILong与RULER任务、准确率与候选归一化负对数似然下、以结构化事实状态模式得到证明，并非冻结长上下文阅读器带外部记忆的一般性质；三项不利结果如实报告，即准确率增益由3B至7B下降、Qwen2.5常见词聚合上相邻上区间含零、SmolLM2同精化交互区间含零；写入器模式范围限于所评估结构化事实检索基准中的结构，附录D报告三种无模式写入器均不满足注册协同缩放规则且在各尺度劣于无状态；7B结论依赖非饱和NLL析因；架构研究覆盖自回归Transformer而非循环或线性阅读器；分布匹配语义集源自训练生成划分故次于官方留出结果；直接交互研究使用受控组合任务与教师强制似然，自然文本生成仍为重要扩展；系统结果确立有界状态、下降相对存储、隔离解码增益与78.2–83.7倍受支持算子FLOP削减，其性能分析器包围的端到端墙钟时间比按实测报告。研究结论部分翻译如下：在所评估任务上，外部状态随冻结语言模型阅读器缩放而变得更有价值。条件信息理论指定嵌套精化的价值，析因交互表明更大阅读器提取该价值中越来越多部分。官方RULER与BABILong评估跨模型族、任务与上下文长度复现增益递增模式；五个公开7B–8B阅读器保持大绝对增益。直接同类比较、系统测量、表示对照与跨节点复现完成从理论到证据的链条。因此，在第7节所述范围内，尺度互补性在所评估冻结长上下文语言模型系统中是可识别、可实现且可复现的。
