《Machine Learning and Knowledge Extraction》：STRATA-HeadQuotient: Functional Localization of One Quarter of Global KV Heads with Typed Predicate-Graph Computation at 8192-Token Context
编辑推荐：
全局注意力（global attention）同时结合长距离词法访问与语义关系检索，使得整层替换存在信息损失。研究人员提出STRATA-HeadQuotient，其静态地将每个键-值（KV）头分配至全历史注意力（GLOBAL）、1024词元注意力（LOCAL）
全局注意力（global attention）同时结合长距离词法访问与语义关系检索，使得整层替换存在信息损失。研究人员提出STRATA-HeadQuotient，其静态地将每个键-值（KV）头分配至全历史注意力（GLOBAL）、1024词元注意力（LOCAL），或局部注意力加事件作用域类型化图读取（LOCAL_GRAPH）。对于一个24层、16头解码器，研究人员在约束子集选择前审计了384个头及118个候选中的全部6903个头对。Q25导出将96/384个头定位：81个为LOCAL，15个为LOCAL_GRAPH。在470个文档不相交的8192词元窗口（385万词元）上，禁图Q25困惑度为稠密模型的1.00146倍（95%文档自助区间：1.00131–1.00161）；4096–8191词元段比值为1.00201。在2000例未触及语义测试上，类型化执行达1998/2000，而容量匹配的未类型化图为374/2000。两次全新适应/选择运行复现了两个方向，尽管每个匹配容量边际图效应区间均含零。Q25保留78.125%词元-KV字节与98.44%稠密全序列吞吐；测试的Q30导出失败。因此，交互感知定位在8192词元语言模型质量下得以保持，而独立类型化路径控制了事件角色行为。该实验未确立图计算导致困惑度保持。
研究背景与动机
Transformer自注意力（self-attention）为自回归推理提供内容依赖的历史词元访问，但键值（KV）缓存随序列长度与全局注意力头数增长而扩张。既有高效注意力研究通过分组查询注意力（GQA）、流式策略与输入输出感知核来压缩或近似词元间注意力，但未回答“部分全局注意力功能可否被局部化、已识别语义功能可否交由结构化语言学状态显式计算”这一功能级问题。全局注意力在同一层内混杂语义检索与词法/语篇访问，整层移除会导致8192词元困惑度上升34.22%，表明语义与词法功能在层内共存。此前Primitive-Augmented Transformer with Event-Role侧状态（PAT-ER）已在预训练解码器上挂载类型化事件角色寄存器但保留稠密因果注意力且限于1024上下文；本研究在此基础上切分“物理头组时间作用域”与“类型化图路径”两条独立问题。
研究开展与结论概要
研究人员在24层、16头标准多头注意力（MHA）解码器（约5.54亿参数）上，对384个KV头做单头审计、118候选头间6903对交互与128三元组测量，经约束混合整数子集选择导出Q25：96/384头不再保留全历史KV（81个LOCAL，15个LOCAL_GRAPH，图头全集中于零基第23层）。在470文档不相交8192词元窗口上，禁图Q25困惑度比稠密1.00146（95%文档自助上限1.00161），满足1.03非劣效边界；保留78.125%词元-KV字节、98.44%全序列吞吐。独立类型化图路径在2000例控制语义题达1998/2000，容量匹配未类型化图仅374/2000，错角色干预命中反事实1999/2000；但修正后“稠密注意力+同容量图头”边际效应区间均含零，故不能断言图路径回收了被局部化头的能力。Q30（115头）导出失败（聚合困惑度1.2317倍）。两次新种子复现Q25两个方向。论文发表于《Machine Learning and Knowledge Extraction》。
主要关键技术方法（≤250字）
研究人员以5亿词多语维基续训1亿词获得稠密参考；对384头做消融/局部/类型化图/未类型化图/错角色五态审计，测6903对与128三元组非加性交互；用SciPy+HiGHS求解带层数、头数、图程序覆盖约束的混合整数线性规划选Q25子集；图路径采用零初始化有界相对残差读取（BRR）挂载事件作用域类型化谓词图程序，冻结合页载体编译器（natural carrier compiler）将表面依存归约至类型化角色图；LM评测禁图并以470文档配对NLL自助区间做非劣效检验；语义评测用2000例控制集与2000例外部v3未用语树库，以错事件/随机/图零做因果对照；证据策略用确定性四值映射。样本队列为500百万词多语维基（阿/中/英/德/西各1亿）续训，留出5百万词跨6653文档评测。
研究结果（保留小标题）
5.1 稠密共存与匹配Q10控制：H0挂零图不改稠密函数；Q10局部化39头困惑度0.9999×，随机移39头1.0466×，重要度移39头1.3798×，证明确实需交互感知选择。
5.2 替换边界：原8窗确认Q10/Q20/Q25保困惑度，Q30骤败（1.2317×），说明25%为本次协议下演示边界而非全局最大。
5.3 8192词元语言模型质量：扩样470文档Q25/Dense困惑度比1.001463，4096–8191段1.00201，各语言与位置桶上限均<1.03；因禁图，该结果只支持全局→局部商，不支持图必要性。
5.4 类型化图计算与匹配容量再分析：类型化1998/2000，未类型化374/2000，错角色0/2000（反事实1999），错事件/随机/图零267/2000（近0.125随机基线）；修正同容量H0下三阵营边际正确图效应区间分别为?0.0011~0.0042、含零、含零，故不证明图回收局部化损失能力。
5.5 类型化路径深度集中：15个LOCAL_GRAPH全在第23层，因适配器深度先于选择固定，非优化发现。
5.6 新选择与适应结果：两新种子选96头（图头14而非15），Jaccard 0.901/0.939，PPL上限<1.03，类型化>0.99，类型-未类型差>0.80，边际同容量区间仍含零。
5.7 物理导出与模型核效率：96局部化/288全局；全历史KV头减25%，词元-KV字节0.78125（减21.875%）；全序列吞吐0.9844×稠密；缓存服务档batch16解码1.237×稠密、峰值分配0.834×。
5.8 外部自然载体评测：v3集合1821/2000原生执行，授权事实内0.9827执行@0.7973覆盖，错授权0.0173；自然图检索256/256类型化、127/256未类型化。
5.9 确定性证据策略：800例四值映射（ANSWER/REJECT/NOT_SURE/IDK）全对，仅验证给定结构化证明下的实现一致性。
5.10–5.11 主张-证据对照与负结果：整层移12层涨困惑34.22%、稀疏缓存/低秩残差不可救；Q30败选；图非PPL因。
讨论与结论翻译
讨论指出替换单元是功能级头组而非整层；81/96局部头无图、图头限末层、PPL禁图三者并列，故应解读为“交互感知局部化保LM+末层小图路保控制语义”的混合商，而非图致PPL保持。事件作用域程序通过错角色逆转证明角色地址敏感，但匹配容量检验未检出局部化转移效应。
结论部分翻译：STRATA-HeadQuotient在因果选定头级而非整层改变全历史词元访问。24层MHA 384头中静态导出96头局部化（81 LOCAL，15末层事件作用域类型化谓词图），470文档8192窗Q25/Dense困惑度1.00146（95%CI 1.00131–1.00161）满足1.03非劣效；留98.44%全序列核吞吐、少25%全历史KV头、少21.875%词元-KV字节（图态前）；缓存档batch1解码近平、batch4–16达1.178–1.237×稠密；控制集类型化1998/2000 vs 未类型化374/2000；Q30败。RQ1答是（配置内），RQ2答控制角色行为为是但非局部化转移证明，RQ3答演示边界25%非全局极大，RQ4答冻结转换库存下选择性是。未决：全头重发现、图深匹配、GQA迁移、多语人工 adjudication、异步编译时延、>8192上下文。
