摘要
长时间运行的大型语言模型代理会在多次会话中积累记忆，但大多数代理运行时系统将这些记忆以纯文本形式存储。我们提出了MEMTIER，这是一种分层记忆架构与整合框架，用于开源代理运行时系统，并研究了三个问题：存储什么、注入什么以及保留什么。首先，采用分层式情景-语义记忆结构，在LongMemEval-S测试集（样本量N=500）中，使用70亿参数的模型在6GB显存上运行时，准确率可达0.382，F1值可达0.412，这一数值比不进行信息检索时的结果高出33个百分点。通过控制性的单流程消融实验发现，这些提升得益于两个要素——语义预填充和两阶段筛选机制；而多信号检索框架在这种场景下实际上只是对BM25排序结果的前k项进行直接传递，若完全去掉该框架，准确率也不会发生变化。通过神谕分析可以解释为何该系统存在检索限制：在测试子集中，正确会话98%的时间都会出现在候选集合中，因此主要的限制因素在于哪些证据能够被呈现给用户。虽然更大的生成器有助于提升性能，但无法解决检索瓶颈问题。其次，瓶颈在于信息的注入粒度，而非会话召回率（会话覆盖率为90.9%，而事实召回率为4.5%@2）。将所有从排名前k的会话中获取的信息都注入系统，可使多会话场景下的准确率提升0.120，知识更新准确率提升0.205；通过对照实验还发现存在一种与信息量无关的结构效应。第三，我们将记忆整合视为一个马尔可夫决策过程，分析了三种会导致学习到的策略在单一主体测试基准上无法提供有效信息的结构缺陷，并在实时代理测试基准上获得了初步证据，表明基于关键词的类型化策略无需监督即可为某种类型的记忆（威胁模式记忆）实现接近理想水平的性能。对于其他类型的记忆，我们也提出了基于类型的保留策略，但目前尚未进行验证。我们将这些研究视为相互关联的诊断性研究，而非一个经过验证的完整流程；总体而言，它们都将代理记忆问题视为一个模式识别问题，即判断哪些会话模式包含有用信息，以及应保留哪些类型的知识。
