推理时词元表示复用：一种无需重训练的Transformer大语言模型加速框架

《Complex & Intelligent Systems》：Exploiting representational redundancy in transformer hidden states through token representation reuse

　　

摘要

基于Transformer的大语言模型在多层结构中构建了丰富的上下文化词元表示，然而其中间隐藏状态空间中的冗余性作为推理时表示属性尚未得到充分探索。本文提出了词元表示复用（TRR），这是一种推理时框架，能够在相似性和复用预算约束下识别高度相似的上下文化词元表示，并将选定的隐藏状态替换为前置的锚点表示。与词元剪枝或合并不同，TRR保留了原始序列长度和位置结构，并且既不需要模型重训练，也不需要修改参数。我们进一步对表示发现进行了端到端复杂度分析，并刻画了相同隐藏状态在原则上允许投影复用的局部条件，同时明确表明这种相等性通常不会在后续Transformer层中持续存在。使用Qwen2.5-1.5B-Instruct和Llama-3-8B在BoolQ、AGNews、SST-2和TruthfulQA上的实验表明，表示复用率最高可达12.40%，同时大部分保持了下游预测性能。在冻结的默认配置下，配对统计分析显示AGNews或SST-2上无显著准确率变化，而TruthfulQA在Qwen2.5-1.5B-Instruct上表现出统计显著的提升，为\(+2.92\)个百分点（95%置信区间\([+1.15,+4.69],\) p = 0.001）；BoolQ则显著下降\(-1.50\)个百分点。对相同TRR算法过程的端到端运行时剖析表明，当前的稠密实现引入了额外延迟，因为\( O(n^2d) \)的相似性发现成本未被硬件层面的计算跳过所抵消。在所评估的模型、任务和序列长度范围内，这些结果证明了受控隐藏状态表示复用的可行性，同时指出高效的相似性发现和底层计算复用是研究实际可扩展性和未来加速的必要方向。