面向下一个兴趣点预测的多视图表示学习中的互信息最大化

《Neural Networks》：Maximizing Mutual Information in Multi-View Representation Learning for Next POI Prediction

　　

## 摘要

下一个兴趣点（POI）预测是时空数据挖掘中的一项基础任务，旨在通过对个体移动轨迹的建模来促进个性化位置服务。尽管近年来深度神经网络在从短期和长期轨迹中捕捉人类移动模式方面取得了进展，但由于短期意图表征的脆弱性和用户偏好漂移，准确的POI预测仍然充满挑战。这些挑战源于稳定的长期行为模式与瞬时的短期情况之间的意图不一致，以及稀疏、嘈杂和探索性的人类移动轨迹所固有的随机性，最终导致对未来意图的预测出现偏差或不稳定。本研究提出了MVMI，一种基于互信息的多视图表征学习框架，用于下一个POI预测。为提升短期意图表征的鲁棒性，MVMI将短期轨迹分解为即时意图和情境依赖意图，并采用基于高斯扰动的多视图增强策略，以增强短期意图表征对轨迹随机性的鲁棒性。为解决用户偏好漂移问题，MVMI进一步引入互信息（MI）约束，使整合的用户偏好与真实的未来意图对齐，其中采用双任务学习范式，在POI级别和区域级别施加层次化的空间约束。最终，在四个真实世界数据集上的实验表明，MVMI显著优于代表性基线方法。

## 引言

随着移动互联网技术和社交平台的迅速普及，基于位置的社交网络（LBSNs）吸引了越来越多的用户参与。个体频繁且主动地通过移动设备分享信息内容，包括签到、位置标签、图片/视频和文本评论。因此，此类个体活动的激增产生了海量的时空轨迹数据。这些数据不仅揭示了人类的时空移动模式，也为个性化推荐和智能服务奠定了基础，从而促进了众多基于位置的下层应用的发展。在此背景下，有效地挖掘和利用这些数据以提升用户体验已成为学术界和工业界面临的重大挑战。在相关工作中，下一个兴趣点（POI）预测（也称为移动性预测）已成为LBSNs中的一项关键任务，旨在利用历史移动轨迹来发现潜在的人类移动模式并预测未来的位置/足迹。此类技术已广泛应用于个性化旅行规划、智能交通和城市计算。

为有效解决此任务，关键在于从历史轨迹中发现多样化的移动模式，这些轨迹由有序的兴趣点序列组成，反映了个体偏好和转移规律。早期关于挖掘人类移动模式的研究主要依赖于传统统计方法，如马尔可夫链和矩阵分解，这些方法通常通过大规模的用户-POI交互数据捕捉静态的潜在偏好。然而，这些方法难以刻画人类移动背后的复杂序列依赖关系。随着深度学习的兴起，循环神经网络（RNNs）因其强大的序列建模能力而被广泛应用于人类移动性学习中。例如，Flashback通过显式检索与当前上下文相似的历史隐藏状态来增强RNNs，从而缓解数据稀疏性并提高预测准确性。类似地，PLSPL利用RNNs从短期轨迹中捕捉用户的动态行为，同时融入长期稳定兴趣的表征，并使用自适应加权机制融合不同时间级别的偏好，以在移动模式建模中动态平衡长期和短期偏好的影响。

随后，更高级的注意力机制——特别是自注意力——被引入以建模兴趣点或签到之间的交互作用。凭借其强大的捕捉长距离依赖和复杂相关模式的能力，这些机制使得对用户序列移动行为的表征更加富有表现力。例如，Zhang等人采用LSTM捕捉短期动态偏好，结合注意力机制聚合长期偏好，并进一步引入自监督策略推断多步未来偏好，从而构建更全面、更准确的用户行为表征。类似地，图神经网络（GNNs）因其能够建模复杂关系并捕捉高阶邻域依赖而被广泛应用于POI推荐，从而增强了序列中空间上下文的提取。其中，SSDL利用GNNs捕捉复杂的用户-POI交互，并对移动语义进行解纠缠以缓解表征纠缠。此外，新兴工作还引入了自监督和对比学习目标来利用无标签轨迹数据。近期在大型预训练模型和可解释推荐方面的进展进一步为提高泛化性和可解释性提供了新的机会。

尽管这些实践在下一个POI预测任务中取得了令人满意的进展，但我们仍然认为在有效提炼人类移动模式方面存在两大主要挑战：

**（1）短期意图表征的脆弱性：** 在现有工作中，大多数方法直接对日常级别的短期轨迹进行建模以提取用户的短期偏好，但它们仍然容易受到签到稀疏性这一普遍问题的影响，因为大多数用户以主动方式参与内容和位置分享，主要受内在兴趣和社会动机驱动，而非被动的信息披露。来自纽约市数据集的实证证据（见图1(a)）显示，约40%的短期轨迹仅包含两个场所（包括标签），这为模型解码用户的真实意图提供了不足的上下文线索。这种脆弱性放大了短期行为与潜在偏好之间的不一致，最终导致预测结果出现偏差。因此，自然地提出了一个关切：有效缓解表征脆弱性对于最大化当前意图信号的表征容量至关重要。同时，如图1(b)中用户#3的短期轨迹所示，短期移动性本质上具有随机性，因为用户可能会偏离常规模式，探索他们之前很少到访的场所。我们认为不应将这种随机性仅仅视为噪声，而应将其作为一种潜在的信息先验加以利用。通过引入多视图增强，可以缓解当前轨迹中获取的这种不稳定性，从而增强移动性表征的鲁棒性和泛化能力，并提升最终预测性能。

**（2）用户偏好漂移：** 现有研究通常通过联合建模用户的历史轨迹和当前轨迹来提高预测性能，旨在捕捉不同时间尺度上的偏好。更具体地说，历史轨迹主要捕捉长期的习惯性移动模式，而即时签到行为往往由短期意图和情境因素驱动。这两个成分以叠加方式相互作用，使用户行为本质上具有动态性。此外，用户偏好并非静态或稳定的，而是随着新兴趣的出现而随时间演变，这进一步增加了准确推断用户意图的难度。在图1(b)所示的同一示例中，用户的历史轨迹表明其主要移动模式围绕"家"与"工作"之间的转换，这反映了其长期偏好。相比之下，当前待预测的短期轨迹显示出"户外"与"家"之间的转换，这是历史轨迹中不存在的模式。为量化偏好漂移，我们使用两个互补的统计量来比较每个用户的历史轨迹和当前轨迹。Jensen-Shannon散度衡量其POI类别分布之间的差异，较大的值表示移动偏好的更大转变。新POI比例衡量当前轨迹中未出现在用户历史轨迹中的POI比例，从而捕捉探索性移动行为。两个统计量在数据集中所有用户之间取平均值。如表1所示，所有四个数据集均表现出明显的偏好漂移。特别是，洛杉矶和休斯敦较高的数值表明活动偏好的转变更为显著，探索先前未访问过的POI的倾向更强。与此发现一致，图2中的t-SNE可视化也揭示了一个广泛的行为随机性谱系，其中长期习惯（浅色样本）和短期意图（深色样本）共存。这种差异凸显了用户长期和短期偏好之间的时间不对齐。当前方法通常无法解耦短期和长期兴趣，这种融合可能会注入不相关的信号并损害模型性能。特别地，所获得的表征可能无法捕捉有利于最终预测的特征，使非必要因素干扰决策过程。因此，用户偏好随时间的固有漂移通过破坏对多样化签到意图背后的移动模式的准确建模，构成了一个关键问题。

为解决上述问题，我们提出了一种新颖的基于互信息的多视图表征学习框架（简称MVMI），用于解决下一个POI预测任务。具体来说，MVMI由五个相互关联的模块组成。不同于大多数现有方法要么忽略空间连续性要么仅依赖单个POI嵌入，我们首先引入空间聚类模块，通过K-Means算法将连续坐标离散化为语义区域。通过引入区域级空间先验，该模块增强了空间泛化能力和鲁棒性，为地理信息提供了更有结构的表征。不同于以往依赖有限上下文特征的做法，我们随后设计了一个语义嵌入层，将异构的签到属性映射到统一的潜在空间。该层联合探索与每个签到事件相关的多样化信号，包括位置标识符、时间标记、功能类别和空间聚类，从而实现更丰富、更具表现力的语义表征。为捕捉用户当前和历史轨迹背后的短期和长期移动行为，MVMI采用两个并行组件：当前意图提取器，用于从当前轨迹中建模即时的、情境感知的和潜在不确定的意图；以及长期兴趣提取器，用于从历史轨迹中捕捉稳定和周期性的行为模式。为缓解短期意图表征在短期轨迹上的脆弱性，我们引入了一个多视图增强机制，将高斯噪声注入短期表征中。通过通过对齐策略在各增强视图之间强制语义一致性，这种设计有效地丰富了短期意图表征，并增强了其在稀疏观测条件下的鲁棒性。通过将多视图表征整合到双任务学习目标中，并最大化联合表征与真实未来意图（真实未来POI的嵌入）之间的互信息，模型在共享表征空间中强制与未来意图的语义对齐。由于联合表征同时整合了短期和长期偏好的信息，互信息最大化目标对其施加了语义层面的一致性约束，使模型能够显式地捕捉用户偏好随时间的漂移。该机制隐式地减小了表征差距并缓解了短期和长期意图建模中的不对齐。同时，通过联合预测下一个兴趣点及其对应的空间区域，模型进一步增强了其判别能力和泛化性能。本工作的主要贡献总结如下：

- 我们提出了一种新颖的多视图表征学习框架MVMI，用于下一个POI预测。具体而言，MVMI显式地最大化用户偏好表征与未来意图之间的互信息（MI），使模型能够更有效地利用嵌入在真实POI中的监督信号。通过在移动性表征中加强任务相关的预测线索，MVMI增强了短期和长期用户偏好的建模，最终提高了捕捉多样化移动模式的准确性。

- 在MVMI中，我们将用户的短期轨迹解耦为即时意图和情境依赖意图，以阐明短期信号的不同角色。我们进一步引入了一个利用高斯扰动来近似人类移动性随机性的多视图增强机制。通过生成多样化的辅助视图并将其与原始视图对齐，该机制正则化当前意图表征，提高了其鲁棒性并缓解了轨迹稀疏性造成的脆弱性。

- 我们引入了一种空间聚类策略来提供区域级先验，作为任务学习的联合监督信号。在此基础上，MVMI最大化联合表征——整合短期和长期移动模式——与真实未来意图之间的互信息。

此外，采用了一种双任务学习范式，在POI（兴趣点）和区域两个层级上施加层次化空间约束。
在四个真实世界数据集上的全面实验表明，我们提出的框架MVMI在人类出行推断任务中取得了最先进的性能。具体而言，MVMI在纽约、休斯顿、东京和洛杉矶基准测试中的ACC@1指标上，分别以7.74%、6.62%、5.15%和7.97%的相对提升超越了最强基线方法。本文其余部分组织如下：第2节回顾相关研究；第3节形式化问题并介绍必要的技术背景；第4节介绍所提出的MVMI的架构细节；第5节报告实验评估结果以量化我们方案的有效性；最后，第6节总结全文并展望未来工作方向。

各节摘要

相关工作
本研究主要从两个角度回顾相关工作：下一个POI预测和出行表示学习。

问题定义
本节介绍基本定义，形式化任务，并概述互信息最大化。

方法
图3展示了我们所提出的MVMI的五个相互关联的模块，旨在捕捉空间语义、时间动态和个人化出行意图。为构建结构化空间表示，聚类模块通过K-Means算法将连续地理空间离散化为语义区域，为下游任务提供粗粒度的空间上下文。离散行为特征——包括位置ID、类别、时间索引和区域——

实验评估
本节在多个真实世界数据集上进行大量实验，以验证所提出MVMI的有效性。还提供了进一步的探究分析，以评估我们方案的设计选择。

结论
在本研究中，我们引入互信息理论以增强MVMI从现有数据中提取监督信号的能力。通过使联合意图更接近正确目标，该方法能够捕捉更准确的未来偏好。同时，多视图一致性被用于强化短轨迹即时意图的表示，提高鲁棒性并减少噪声，从而揭示更全面、更精确的用户出行偏好。

贡献声明
Tuohang Li：撰写——初稿撰写、可视化、软件、调研。
Jiajing Yu：撰写——初稿撰写、软件、资源、方法学、概念构思。
Jianyong Zhao：撰写——审稿与编辑、验证、方法学。
Yanzhe Xie：验证、软件。
Li Huang：撰写——审稿与编辑、基金获取。
Qiang Gao：撰写——审稿与编辑、方法学、概念构思。

利益冲突声明
作者声明，不存在已知的竞争性财务利益或个人关系，这些利益或关系可能会影响本文所报告的工作。

致谢
本工作得到四川省自然科学基金（项目编号：2025ZNSFSC1495）的资助。

Tuohang Li | Jiajing Yu | Jianyong Zhao | Yanzhe Xie | Li Huang | Qiang Gao