《Machine Learning and Knowledge Extraction》：When Reuse Repeats Mistakes: Answer Stability and Error Concentration in Large Language Model Semantic Caching
编辑推荐：
语义答案缓存（semantic answer caching）通过复用先前响应来降低推理成本，但可能反复提供错误答案。已有研究主要针对缓存匹配、验证和新鲜度，而本研究探讨一个错误归因问题：将多个请求表面（request surface）分组到共享源键（sour
语义答案缓存（semantic answer caching）通过复用先前响应来降低推理成本，但可能反复提供错误答案。已有研究主要针对缓存匹配、验证和新鲜度，而本研究探讨一个错误归因问题：将多个请求表面（request surface）分组到共享源键（source key）下，可能会在错误总数未按比例增加的情况下，集中错误答案的暴露。研究人员评估了500道类别均衡的MMLU-Pro问题、六种指令与格式变体，以及两个经指令微调的模型，使用固定多项选择预测。在400道TEST题目上，两两答案不一致率（pairwise answer disagreement）对于Qwen2.5-3B为27.12%，对于Mistral-7B为26.90%。在DEV选取的阈值0.96下，TEST同题匹配达到98.59%的精确率和99.97%的召回率。语义缓存避免了91.69–92.31%的建模推理token成本。在Zipf需求下，每个源键的平均最大累积错误复用次数从Qwen的146.8增至783.2，从Mistral的153.3增至820.1。这些约五倍的增加部分反映了缓存键粒度的差异：在底层问题层面，最大值分别为726.0对783.2和745.8对820.1。相对于新鲜计算，每4800次请求净增加的错误标签仅为22.1和37.55。暴露感知刷新（exposure-aware refresh）未能持续提高准确率或控制集中的错误。可靠的缓存评估应同时考虑正确性、计算成本、错误暴露和聚合层级。
大语言模型（LLM）服务中，语义答案缓存（semantic answer caching）通过复用相似请求的响应来减少推理开销。然而，若被复用的答案本身错误，缓存可能导致错误被反复提供。已有研究主要关注缓存匹配、验证与新鲜度，但较少从错误归因角度分析：多个请求表面共享一个源键（source key）时，错误暴露会如何在可复用条目上集中。本研究旨在量化这种错误集中现象，并区分其与总体正确率变化的关系。
研究人员使用MMLU-Pro基准中类别均衡的500个问题，其中100个作为开发集（DEV）校准阈值，400个作为测试集（TEST）评估。对每个问题构建六种指令与格式变体，形成3000个提示表面。两个指令微调模型为Qwen2.5-3B-Instruct和Mistral-7B-Instruct-v0.3，采用约束下一词评分（constrained next-token scoring）固定输出有效选项。嵌入来自BAAI/bge-m3，使用注意力掩码加权均值池化与L2归一化。余弦相似度阈值在DEV上选定为0.96，TEST同题匹配的精确率为98.59%，召回率为99.97%。回放实验包含4800次请求流，采用均匀或Zipf需求（指数1.1），每种模型—策略组合使用20个随机种子。策略包括精确缓存、语义缓存，以及随机刷新、周期刷新和暴露感知刷新（EAR），并按名义目标5%、10%、20%、30%比较。统计采用Bootstrap区间、配对符号翻转检验和Holm全局校正。
结果部分主要发现如下。
4.1 相似的整体不稳定性，不同的准确率：Qwen的平均准确率为35.38%，Mistral为27.75%，但两者的两两答案不一致率接近，分别为27.12%和26.90%。201/400的Qwen问题和198/400的Mistral问题在六个任务保持变体下产生过多个答案。稳定不一定正确：Qwen有91题一致正确、108题一致错误；Mistral有65题一致正确、137题一致错误。DEV置信度校准显示两个模型均严重过度自信，ECE分别达48.73和52.01个百分点。
4.2 大量复用节省与小的平均准确率变化：均匀需求下，精确缓存避免50%的建模token成本，语义缓存约91.69%。Zipf需求下，语义缓存避免约92.3%，精确缓存约76.2%。语义缓存相对精确缓存的平均准确率变化在Zipf下为?0.46和?0.78个百分点，在均匀下为+0.27和?0.36个百分点。低失配率并不等于低错误率，跨问题语义匹配虽仅占服务命中约0.44%（均匀）和0.18%（Zipf），但源键的最大错误复用可因跨问题匹配超过同一底层问题的请求数。
4.3 偏斜需求在源键处集中错误复用：Zipf需求下，语义缓存的源键级平均最大累积错误复用为Qwen 783.2、Mistral 820.1，而精确缓存为146.8和153.3，均值比约5.34和5.35。但按底层问题聚合后，Qwen仅从726.0增至783.2，Mistral从745.8增至820.1，说明约五倍对比部分源于缓存键粒度差异。净额外错误标签每4800次请求仅为22.1（Qwen）和37.55（Mistral）。Gini系数和顶部源键错误份额显示错误复用集中在少数条目，但语义缓存并非在所有归一化集中统计上都大于精确缓存。
4.4 校准在DEV有效，但TEST活动不同：EAR阈值在DEV上达到目标刷新率，但TEST实现刷新率发生偏移。例如20%名义目标下，Qwen均匀需求实际为16.31%，Zipf下为23.20%；Mistral分别为19.83%和18.09%。这意味着名义目标相同并不保证计算成本相同，实际token节省需与结果并报。
4.5 刷新减少了某些错误交付但没有普遍可靠性提升：Mistral均匀需求20%目标下，EAR比随机刷新平均减少104.8次错误缓存交付，但准确率仅提高0.11个百分点且全局校正后不显著。Zipf需求下，EAR未能控制源键级集中，30%目标时最大错误复用为482.55（Qwen）和484.15（Mistral），而随机刷新为108.60和111.10。在全部160个对比中，没有任何EAR的准确率对比通过全局Holm校正。
讨论指出，正确匹配不等于正确回答，验证或接地机制可能减少错误暴露但不会必然消除它；置信度加权暴露刷新并不是严格的暴露上限，高置信度错误条目贡献了大量错误复用；缓存评估应同时关注计算节省、总体准确率和错误暴露分布。研究结论表明，语义缓存并非制造五倍多的错误，而是改变了错误交付在可复用源条目上的集中方式；源键级最大值、问题级聚合、全键不平等统计和顶部源份额应联合解读。EAR在部分配置中减少错误交付，但没有实现稳定的准确率提升或最坏情况暴露控制，属于探索性缓解工具而非通用最优策略。未来工作应引入显式源级暴露约束、校准的不确定性估计、独立正确性验证，以及有限容量、驱逐策略、时变需求等现实条件。
