LLM 驱动的位置补全与测试时训练用于下一位置预测

《Expert Systems with Applications》:LLM-Driven Location Completion and Test-Time Training for Next Location Prediction

【字体: 大 中 小 】 时间:2026年08月29日 来源:Expert Systems with Applications 9.4

编辑推荐:

   # 摘要 下一个位置预测旨在根据用户的历史签到数据推断其可能访问的下一个位置。然而,现有方法假设签到数据是完整的,忽视了用户签到行为的主体性,导致对用户偏好的捕捉不准确。近年来,大型语言模型(LLMs)凭借其丰富的世界知识,为位置补全提供了一种有前景的方法。然而,我们的实验

  

# 摘要

下一个位置预测旨在根据用户的历史签到数据推断其可能访问的下一个位置。然而,现有方法假设签到数据是完整的,忽视了用户签到行为的主体性,导致对用户偏好的捕捉不准确。近年来,大型语言模型(LLMs)凭借其丰富的世界知识,为位置补全提供了一种有前景的方法。然而,我们的实验表明,LLMs难以有效理解原始的地理坐标信息。此外,人类的移动行为随时间自然演变。传统的预训练模型可能无法捕捉用户在测试期间的即时偏好,导致推荐性能欠佳。为解决这些挑战,我们提出了LCT3,一个由LLM驱动的下一个位置预测框架,采用多视角位置补全和协作测试时训练(TTT)架构。基于我们的实证发现——自然语言描述与真实世界的地理逻辑更契合——LCT3将地理坐标转换为文本以增强空间推理。利用这些语义描述,LCT3构建双智能体来补充用户移动行为:"微观层面补全"填补短期遗漏,而"宏观层面补全"基于周期性偏好推断未记录的位置。通过定制的真实世界兴趣点(POI)池和自验证机制确保可靠性。最后,我们设计了一个协作双TTT模块。在训练阶段,该模块利用增强数据进行细粒度偏好建模;在测试阶段,它利用自监督信号和批量并行性动态更新模型参数,有效适应用户的即时偏好。在三个真实世界数据集上的大量实验表明,LCT3显著优于最先进的方法。我们的代码可在https://anonymous.4open.science/r/LCT3-AE68上获取。

# 引言

智能城市基础设施的指数级增长催生了多个领域对个性化位置感知服务前所未有的需求,包括旅游、社交平台和日常活动(Huang, Lan, Li, Zhang, Li, 2024c, Lan, Zhang, Xiang, Wang, Zhou, 2023, Qin, Wu, Ju, Luo, Zhang, 2023b, Zhuang, Wei, Liu, Qi, Shen, Yin, 2024)。作为核心组成部分,下一个位置预测利用历史移动模式预测用户的未来目的地,是商业推荐和城市规划的关键驱动力(Han, Wang, Ruan, Yang, Liang, Yuan, Long, Yuan, Zheng, 2025, Wan, Gao, Yu, Chao, Song, Ran, 2025, Wang, Xie, Ding, Gao, Chen, Xiang, 2024)。

现有方法主要采用深度学习架构,如RNNs Li et al. (2510)、GNNs Wang et al. (2022b)和注意力机制 Luo, Liu, Liu, & Stan (2021),来建模具有时空因素的数值化用户交互数据。最近,大型语言模型(LLMs)凭借其庞大的世界知识和强大的语义理解能力,已成为下一个位置预测的一种有前景的范式 Bao et al. (2023); Huang et al. (2024b); Lan, Xu, Yang, Liang, Guo, Zhao, Wang, 2025a, Lan, Yang, Liu, Guo, Zhao, Wang, 2025b; Zhang et al. (2025)。这一范式转变使得基于LLM的模型能够超越传统的协同过滤(CF)方法,通过利用文本化的用户交互来全面理解并精准捕捉用户复杂的多维偏好 Cheng et al. (2025); Feng, Lyu, Li, Sun, & Chen (2024); Li et al. (2024a); Long et al. (2024); Wang et al. (2024); Zhang et al. (2024)。

尽管先前利用各种复杂结构的方法行之有效,它们仍面临关键挑战。首先,用户的签到行为是对访问模式的主体性记录(用户可以选择是否签到、记录哪些特定位置,或完全不签到)。例如,在现实场景中,由于活动的连续性,签到行为容易被忽视,因为用户的注意力往往集中在位置的内在吸引力上,而非记录他们的访问。如图1(a)所示,在商业区,用户可能在短时间内访问多个店铺或服务设施,例如一名游客在参观完博物馆后立即去了纪念品商店。然而,现有方法建立在用户签到数据完整这一假设之上,导致对用户行为的理解存在偏差,对用户偏好的捕捉不准确。当前的数据增强技术,如掩码(Duan, Fan, Zhou, Liu, Wen, 2023, Zeng, Zhao, Yu, Gao, Zhou, 2021)、重排序(Dang, Liu, Yang, Guo, Jiang, Wang, Zhao, 2024, Zhuang, Wei, Liu, Qi, Shen, Yin, 2024),已有效解决了数据稀疏问题并提升了模型性能,但这些方法仍以数值为主,缺乏对全局签到数据中复杂关系的全面理解。虽然TAU Zhuang et al. (2024)和MPTM (Zeng et al., 2021)对缺失位置进行了初步探索,但它们的方法面临类似的局限。

其次,虽然传统深度神经网络方法可以精准捕捉用户签到数据中的时空关系(如时间间隔或距离),但它们缺乏对位置语义信息(如功能性和地理背景)的理解,导致对签到数据中内在复杂交互模式的捕捉效率低下。基于文本的方法已证明在理解位置语义信息方面是有效的,得益于LLMs强大的世界知识和语义理解能力(Li, de Rijke, Xue, Ao, Song, Salim, 2024a, Wang, Xie, Ding, Gao, Chen, Xiang, 2024)。然而,我们的实验揭示,LLMs难以有效理解具体的地理坐标信息(经度和纬度)。如图1(b)所示,在LLM4POI Li et al. (2024a)中为每个位置加入详细的地理坐标描述并未提升性能,这促使我们质疑:LLMs能否正确理解地理坐标信息?我们随后对LLMs空间推理能力的调查表明:(i) LLMs无法精确定位具体的地理坐标,只能提供近似位置;(ii) 当提供位置的自然语言描述时,LLMs可以推断两个位置之间的旅行时间是否与其实际物理距离一致(更符合现实场景),但当输入仅限于原始地理坐标时,它们难以做出同样的判断。图1(c)和1(d)展示了ChatGPT-5.2空间推理能力的验证。对其他最先进LLMs空间理解的评估见第2节和6.12节。此外,直接使用LLM生成的结果进行用户推荐会引入幻觉问题,因为LLMs可能生成现实中不存在的虚构位置。因此,在使LLMs理解空间信息的同时,有效利用语义增强数据以提高下一个位置预测的准确性,仍是一个具有挑战性的问题。

第三,用户行为偏好随时间动态演变,受到社会角色和生活阶段转变等因素驱动。如图2(a)所示,用户从学生生活过渡到就业,再到承担家庭责任时,其访问偏好可能发生转变。具体而言,图2(b)可视化了NYC数据集中用户(ID为365)在训练期和测试期访问的位置。大量位置仅出现在测试期间,突显了用户偏好的显著时间变化。此外,图2(c)展示了我们对时间偏移的分析。我们利用所有用户在初始三个月期间的平均位置分布建立历史基线,并将其与后续以两周为间隔计算的分布进行对比。结果表明余弦相似度随时间持续下降,证实了用户行为模式中存在显著的时间漂移。然而,大多数现有方法假设数据是独立同分布的,这限制了它们适应演变偏好的能力,从而降低了整体预测性能。

为解决这些挑战,我们提出了一个由LLM驱动的框架(LCT3),用于位置补全和测试时训练,以补全用户签到数据并在测试时进行适应。具体而言,我们首先将地理坐标转换为位置的自然语言描述,从而使模型的推理与真实场景更契合。随后,为兼顾短期和长期用户偏好,LCT3采用两个互补的位置补全智能体:(1)微观层面轨迹补全智能体,识别用户可能访问但未签到的位置,可能由于活动的连续性;(2)宏观层面意图补全智能体,检查用户整体访问模式之间的关系(如周期性),以总结历史偏好并发现缺失位置。为确保可靠性,我们为每个智能体构建定制的真实世界POI池,锚定LLM推理同时缓解幻觉。与此同时,我们设计了一个自验证机制,使LLMs能够对其识别的缺失位置提供反馈,从而进一步提高生成位置的可靠性。最后,我们构建了一个双TTT模块。在训练阶段,该模块有效利用语义丰富的增强数据建模历史用户偏好;在测试阶段,它利用自监督信号更新模型状态,使其能够适应用户的即时偏好。

**贡献。** 我们的主要贡献总结如下:

- 我们的实验揭示,原始地理坐标并非LLMs的有效接口。将这些坐标转换为自然语言描述能够使模型在真实场景中更有效地进行推理。
- 我们提出了一个由LLM驱动的多视角位置补全框架(LCT3)。它采用两个定制的LLM智能体来丰富用户的签到历史,捕捉短期和长期偏好。据我们所知,这是首个利用LLMs探索下一个位置预测任务中缺失位置的工作。
- LCT3为每个补全智能体构建定制POI池,并设计自验证机制以提高补全数据的可靠性。此外,它引入双TTT模块,在测试阶段动态适应用户的即时偏好。
- 在三个真实世界数据集和两种基于LLM的推理设置上的大量评估表明,LCT3始终优于最先进的位置预测方法。

# 各节摘要

## 重新审视LLMs的空间理解能力

为更好地探索LLMs理解空间信息的能力,我们进行了一系列详细的实验。

## 用于下一个位置预测的协同过滤

下一个位置预测旨在通过建模用户的移动模式和偏好来推荐相关位置。在传统协同过滤的范畴内,本节将主要方法分为两大类型:基于序列的方法和基于图的方法。

## 下一个位置预测

在解决下一个位置预测问题时,我们将用户集合和已访问的位置点分别定义为 $\mathcal{U}=\{u_1, u_2, \cdots, u_{|\mathcal{U}|}\}$ 和 $\mathcal{P}=\{p_1, p_2, \cdots, p_{|\mathcal{P}|}\}$。每个位置点对应一个由 $p_i \in \mathcal{P}$ 标识的离散真实世界场所(等同于POI),其特征由地理坐标对和类别 $p_i=(lon_{p_i}, lat_{p_i}, cat_{p_i})$ 描述。为清晰和精确起见,我们在第5节中明确使用"POI"这一术语以触发LLMs对特定场所及其领域知识的理解。

## 方法论

本节详细描述了所提出的模型LCT3,并在图3中展示了其整体架构。它由三个主要组件构成:(1) 语义位置转换,(2) 两个位置补全智能体,以及 (3) 协作双TTT模块。

## 实验

本节描述了我们的实验设计,并在三个实用数据集上进行了广泛的评估,以回答八个关键研究问题:RQ1: 我们提出的LCT3模型与最先进推荐系统相比表现如何?RQ2: LCT3框架中每个关键组件对整体模型性能的贡献如何?RQ3: LCT3恢复已知签到的效果如何?RQ4: LCT3补全的位置是否产生有意义的结果?

## 结论

在本工作中,我们提出了LCT3,一种新颖的由LLM驱动的多视角数据增强框架,通过补全位置来增强用户签到数据。具体而言,LCT3结合了微观层面轨迹补全智能体和宏观层面意图补全智能体,分别基于短期行为和长期偏好识别用户可能访问但未签到的缺失位置。我们观察到,LLMs难以解释原始的地理坐标信息。

## 作者贡献声明

Pengxiang Lan: 概念构思、方法论、调查研究、形式分析、数据管理、撰写
Enneng Yang: 数据管理、调查研究、撰写-审阅与编辑、监督、数据处理、表格/图表制作
Yuliang Liang: 数据管理、调查研究、撰写-审阅与编辑、监督、方法论
Jianzhe Zhao: 数据管理、监督、撰写-审阅与编辑
Guibing Guo: 资源、数据管理、监督、撰写-审阅与编辑
Hai Zhao: 数据管理

## 利益冲突声明

作者声明,他们没有任何已知的经济利益冲突或个人关系可能会影响本论文报告的研究工作。

Pengxiang Lan | Enneng Yang | Yuliang Liang | Jianzhe Zhao | Guibing Guo | Hai Zhao
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号