RALLM-STAR：用于零样本下一兴趣点推荐的时空对齐检索增强大语言模型

《Knowledge-Based Systems》：RALLM-STAR: Spatial-Temporal Aligned Retrieval-Augmented LLM for zero-shot next POI recommendation

　　

• •
  提出RALLM-STAR，一种用于零样本POI推荐的检索增强大语言模型。
• •
  STAR利用高斯混合模型注入长短期上下文，以实现时空一致性。
• •
  GDR确保细粒度的序列真实性和路径级对齐。
• •
  智能体大语言模型校正器提供自我反思以纠正生成错误。
• •
  RALLM-STAR显著优于有监督基线和零样本大语言模型。

引言

下一个兴趣点推荐仍然是时空数据挖掘中一项关键但具有挑战性的任务。其主要目标是根据历史轨迹预测用户下一个可能的目的地，这些轨迹编码了丰富的签到行为和个人偏好潜在模式[1], [2]。准确的下一个兴趣点预测不仅能提升基于位置的社交网络中的用户体验，还能带来更广泛的社会效益，涵盖从交通管理优化、城市规划到公共卫生监测和灾害响应。因此，该任务引起了广泛的研究关注，催生了多种旨在解析人类移动复杂性的模型（见图1）。

传统上，深度学习方法是该领域的主导力量。循环神经网络，如LSTM和GRU，已被广泛采用以建模签到数据中的序列依赖性[3], [4], [5], [6], [7]。与此同时，基于图的方法被用于捕捉全局转换模式并通过利用移动网络的拓扑结构来缓解数据稀疏性问题[8], [9], [10]。最近，Transformer架构日益受到重视，将签到序列类比为自然语言以捕捉长程上下文依赖[11], [12], [13], [14], [15], [16]。然而，尽管这些方法有效，但全监督范式通常需要大量标注数据集和长时间训练。此外，它们往往缺乏零样本泛化能力，难以在没有重新训练的情况下适应新用户或新区域。这一局限性催生了对能够在无训练、零样本模式下预测移动模式的替代范式的研究兴趣。

大语言模型的兴起为解决这些局限性提供了有前景的途径。近期研究探讨了在兴趣点推荐中集成大语言模型以利用其庞大的语义知识库和推理能力。例如，LLMMove和LLM-Mob等框架利用精心设计的提示词将原始签到历史转换为叙述性描述，使大语言模型能够推断移动意图。其他方法，如LLMZS，则通过提供输入示例和预期输出来依赖上下文学习。然而，现有的零样本大语言模型方法面临重大挑战。一个关键难题是：仅仅用用户的原始历史提示大语言模型往往效果不佳。用户意图在根深蒂固的长期习惯和短暂的短期目标之间动态波动，而标准提示方法无法区分这些细微差别。此外，大语言模型对检索上下文的质量和顺序高度敏感，缺乏严格的空间锚定容易导致产生看似合理但地理位置无效的幻觉推荐。

除了直接提示外，近期研究还探索了用于推荐的检索增强、用于移动预测的轨迹检索以及用于改善大语言模型输出的迭代自我精炼。面向推荐的检索增强方法通过外部物品、协同或基于知识的证据为大语言模型提供丰富信息，而基于轨迹的方法检索信息丰富的历史移动序列以支持下一个兴趣点预测。同时，自我精炼方法通过迭代反馈和修订来改善初始大语言模型生成结果。这些进展引发了零样本下一个兴趣点推荐的一个重要问题：如何将检索的历史证据与目标用户的移动行为在多个时空分辨率上对齐，并有效组织此类证据以用于大语言模型推理。

受此挑战启发，我们提出了一种增强的检索增强大语言模型框架用于带有时空对齐检索的下一个兴趣点推荐，称为RALLM-STAR。RALLM-STAR采用多阶段检索增强流水线，在预测前逐步将历史移动证据与目标用户的行为意图和移动模式对齐。首先，为弥合上下文差距并向大语言模型提供高质量的锚定证据，我们提出了时空对齐检索器。STAR的基本目标是从历史移动序列数据库中查询并检索出与目标用户具有相似语义和运动模式的轨迹。为实现高精度，STAR超越简单相似度匹配，采用双流架构明确分离短期兴趣和长期习惯。此外，STAR结合高斯混合模型将检索过程锚定于概率空间现实，确保检索到的上下文在语义上相关且分布上合理。其次，为精炼检索到的上下文以用于大语言模型，我们引入了地理距离重排序器。虽然STAR确保了分布级别的对齐，但GDR专注于移动的细粒度序列顺序。通过利用衰减加权动态时间规整，GDR优先考虑反映用户近期路径的支持轨迹，并纳入时近性偏差以匹配大语言模型对提示顺序的敏感性。最后，承认大语言模型在单次生成过程中仍可能产生格式错误、幻觉推荐或逻辑不一致，我们纳入了智能体大语言模型校正器。受智能体工作流启发，ALR作为自我反思的质量保证层，迭代验证并纠正输出以确保鲁棒性和任务约束合规。这些组件共同构成了一条移动专属的多层对齐流水线，从短期和长期意图对齐、空间分布对齐，到路径级证据优先排序和结构化输出验证。

我们在三个真实的Foursquare数据集和大规模Gowalla基准上广泛验证了RALLM-STAR。结果表明，通过结合概率检索、序列空间重排序和智能体校正，我们的框架超越了最先进的零样本大语言模型基线，并在无需任何数据集特定训练的情况下与近期基于图/超图的推荐系统性能相当，且在六个大语言模型主干上表现出稳健的泛化能力。

章节摘要

下一个兴趣点推荐

下一个兴趣点推荐基于用户过去的签到、周边兴趣点密度和用户行为模式，预测用户最可能选择的下一个兴趣点。经典的神经网络模型标志着在推荐中利用深度学习的重大进展。与传统潜在因子方法（如基于LDA和矩阵分解的模型）不同，这些模型能更好地建模用户、地点和上下文信息之间的交互

时空对齐检索器

在个性化兴趣点推荐中，用户轨迹编码了表现为相关空间和时间模式的潜在行为意图。基本前提是具有相似语义和时空特征的轨迹意味着相似的 Future 意图。例如，某用户序列中包含书店→咖啡馆，很可能表达出悠闲下午的意图。从其他用户检索类似的轨迹因此能提供强有力的，

实验设置

数据集。我们在三个代表新加坡、纽约市和凤凰城的Foursquare数据集上开展实验。为预处理并确保数据质量，我们过滤掉交互次数少于10次的兴趣点。我们还移除轨迹少于5条的用户，并丢弃兴趣点数量不超过3个的轨迹。每个用户的交互记录按时间顺序排列，80%的数据用于构建数据库，其余用于测试

结论

本文提出了RALLM-STAR，一个用于零样本下一个兴趣点推荐的新颖框架，有效结合了大语言模型的泛化能力、检索增强生成和自我校正。与传统需要大量资源进行重新训练和调优的训练方法不同，RALLM-STAR利用大语言模型的内在知识，并通过STAR补充上下文和地理相关的历史轨迹，再通过GDR进行精炼。ALR进一步

CRediT作者贡献声明

李昆荣：写作–审阅与编辑，写作–初稿撰写，可视化，验证，方法论，调查研究，正式分析，数据策展，概念化。林冠辉：写作–审阅与编辑，监督，资源，项目管理，资金获取，概念化。

利益冲突声明

作者声明不存在可能影响本文所报告工作的已知竞争性财务利益或个人关系。

致谢

本研究由新加坡教育部学术科研基金二级支持（资助编号：MOE-T2EP20123-0015）。本文中的任何观点、发现、结论或建议均为作者所有，不代表新加坡教育部的观点。

李昆荣|林冠辉