动态兴趣漂移检测：基于UCB探索的强盗算法应用

《Neurocomputing》：Dynamic interest drift detection: Leveraging bandit algorithm with UCB-based exploration

　　摘要：在线推荐系统在帮助用户发现符合其兴趣和偏好的物品方面发挥着重要作用。然而，现有系统在历史记录稀少的冷启动场景下表现不佳，因为此时可用来推断用户偏好的交互数据非常有限。同时，用户的兴趣本质上是动态的，会随着时间而变化，这进一步增加了提供精准推荐的难度。本文旨在通过将连续的用户行为纳入在线推荐系统中，来缓解历史记录稀少的冷启动问题。我们提出了MABID，这是一种基于多臂老虎机的推荐框架，并结合了兴趣漂移检测网络，旨在为动态环境中的用户提供准确且适应性强的推荐。具体而言，我们设计了一个兴趣漂移检测模块，用于从交互序列中捕捉用户偏好的时间变化。此外，鉴于用户-物品特征与奖励之间的非线性关系，我们采用了神经老虎机模型，通过基于梯度的信息来量化不确定性，从而实现有效的探索与利用。在LastFM、MovieLens和Yelp三个真实世界数据集上的大量实验表明，所提出的方法具有有效性。

引言：随着数字信息的爆炸性增长以及对更好用户体验需求的不断增加，在线推荐系统已变得极为流行。这些系统在现代社会的信息服务中发挥着至关重要的作用。在线推荐系统的主要目标是从海量信息中快速准确地匹配用户的兴趣，从而在电子商务和在线广告等各种在线服务中提供个性化的在线推荐[1]。在在线推荐系统中，用户和物品的持续增长与变化往往带来诸多挑战，尤其是对于新用户或新物品——这一现象被称为冷启动问题[2]、[3]、[4]。由于新用户和新物品缺乏消费历史和特征信息，因此提供高效的个性化推荐被视为一项复杂的任务。在一些研究中，这类冷启动推荐问题被建模为多臂老虎机问题[5]、[6]。多臂老虎机面临的主要问题是“利用-探索”困境，即需要在满足现有兴趣与探索潜在兴趣之间找到平衡，以最大化长期利益。近年来，一些基于多臂老虎机的方法[7]已被提出，并成功应用于在线推荐系统，包括贪心策略[8]、汤普森采样[9]、上置信界算法（UCB）[10]以及基于上下文的老虎机模型[11]，例如LinUCB[12]。基于上下文的老虎机通过结合上下文信息与用户反馈来优化决策。然而，基于上下文的老虎机问题存在两个方面的挑战。其一在于特征向量与预期奖励之间的非线性关系，给实际应用带来了复杂性；另一个重要挑战则来自用户兴趣和需求的动态性，它们会因外部影响和环境变化而随时间演变。一些传统的基于上下文的老虎机方法，如LinUCB和LinTS[13]，采用线性模型来估算预期奖励，从而降低了解决方案的复杂性。为克服这一限制，研究人员引入了神经网络，以提高特征表达能力并捕捉老虎机环境中的非线性关系，例如NeuralUCB[14]和NeuralTS[15]。这些方法打破了奖励估算的线性假设，并为累积遗憾界限提供了理论保障。尽管这些基于神经网络的方法在一定程度上解决了第一个挑战，但某些难题仍未解决。正如第二个挑战所指出的，捕捉用户兴趣随时间的动态演变是在线推荐中的另一个关键因素。举例来说，图1展示了使用MovieLens数据集得出的兴趣漂移示例。在这个例子中，一名用户从时间T0到T9依次对十部电影进行了评分，每部电影都有一个对应的编号。该数据集包含七种常见的电影类型，每种类型都用一个二元指标表示（若电影属于该类型则为1，否则为0）。最初，从T0到T1，用户10对喜剧和浪漫类电影表现出浓厚兴趣。但从T2开始，他的兴趣明显转向恐怖和惊悚类电影。从T4起，用户10又开始更关注悬疑和动作类电影。在T8之后，他的偏好又回到了喜剧和浪漫类电影。这一现象表明，在线推荐中积累用户的动态反馈并定期更新历史行为信息也很重要。通过查看最新的用户交互序列，可以获取有关用户偏好的宝贵洞察，从而使系统能够捕捉到用户的总体兴趣以及其偏好随时间的动态变化。然而，现有的方法在捕捉用户特征与预期奖励之间的非线性关系以及用户兴趣的动态变化方面效果不佳。一方面，现有的基于多臂老虎机的兴趣漂移检测模型，如PSLinUCB[16]和TVUCB[17]，虽然能够有效平衡“利用-探索”问题，并在长期收益与短期收益之间取得平衡，但它们难以捕捉序列信息（即用户最近的交互序列）和用户行为趋势，因为它们主要依赖当前的点击记录来进行推荐。此外，这两种方法都依赖于奖励与特征之间的线性假设，这限制了它们处理现实世界中复杂关系的能力。另一方面，循环神经网络（RNNs）[18]由于其强大的表达能力和高度的适应性，已被用于捕捉序列数据中的演化模式，这种特性与数据特点十分契合。然而，它们在在线推荐场景中的应用仍较少。RNNs可以利用已知的用户偏好来生成准确的推荐，但在探索方面存在不足，这限制了它们识别用户可能感兴趣的新物品的能力。基于这些见解，本文进一步研究了交互序列中用户偏好的演变规律，并提出了一种基于多臂老虎机且带有兴趣漂移检测网络的推荐模型，名为MABID。该模型采用基于UCB的探索策略的多臂老虎机框架，根据物品的上置信界来选择物品，从而实现探索与利用的平衡。为模拟用户偏好的动态特性，我们引入了一个兴趣漂移检测网络，该网络能够捕捉用户行为的时间变化，并在非线性特征交互情况下估算奖励预期。该检测模块由两个部分组成：动态兴趣提取层和特征融合层。前者利用序列交互数据学习具有时间意识的用户表征，后者则将这些表征与静态用户特征相结合，形成全面的用户画像。总之，本工作的主要贡献可归纳如下：我们提出了一种新型的在线上下文感知推荐模型，该模型通过整合连续的用户行为来更好地捕捉用户兴趣的演变。该模型利用非线性的、随时间变化的多臂老虎机框架，为动态且历史记录稀少的冷启动场景提供精确且及时的推荐。我们还设计了一个兴趣漂移检测模块，该模块结合门控循环单元与双塔模型，能够从最近的交互序列中捕捉用户兴趣随时间的动态演变。通过提取序列信息，该模块可以获得更丰富的用户特征，从而识别出用户偏好随时间的变化。在三个真实世界数据集上的大量实验证明了所提框架的有效性，并证实将动态用户表征纳入老虎机决策过程能够带来更具适应性和准确性的推荐。

相关研究：在本节中，我们将探讨与我们的在线推荐工作相关的几个研究方向，包括基于上下文的线性老虎机模型、非线性老虎机模型以及兴趣漂移检测模型。

问题表述：在本节中，我们将在在线推荐系统的背景下对多臂老虎机问题进行表述。表1列出了我们模型中使用的关键符号说明。多臂老虎机问题是概率论、统计学和机器学习领域中的一个经典问题[36]、[37]。多臂老虎机充当智能体，它选择某个“臂”作为行动。智能体采取行动后，会从未知分布中获得相应的奖励[38]。

解决方案与算法：在本节中，我们首先介绍所提出的在线推荐模型MABID的概要，随后详细阐述模型中的各个组成部分。

实验：为证明所提方法的有效性，我们在三个真实世界数据集上进行了系列实验，这些数据集包括音乐流媒体服务数据LastFM、电影评分数据MovieLens以及本地商业评价数据Yelp。我们在5.1节详细介绍了实验设置。接着，在5.2节中，我们对所提出的MABID与其他基准方法进行了全面比较分析，以评估它们的性能。我们还分析了参数敏感性，并给出了结论与未来工作方向。

结论与未来工作：在本文中，我们认识到了在线推荐系统中基于线性假设以及对用户兴趣进行静态建模所带来的局限性。为解决这些问题，我们引入了一种改进的多臂老虎机模型MABID，该模型通过应用深度神经网络和上置信界策略来检测随时间变化的用户兴趣。我们设计了兴趣漂移检测模块，以动态捕捉用户兴趣随时间的变动。

作者贡献声明：王慧颖：撰写——初稿、软件、方法论、概念设计。沈阳：验证、软件、方法论、形式分析、概念设计。周启峰：撰写——审阅与编辑、监督、方法论、资金获取、形式分析、概念设计。王青：撰写——审阅与编辑、方法论。

利益冲突声明：作者声明他们没有已知的可能会影响本文所述工作的财务利益或个人关系。

致谢：本研究部分得到了中国国家自然科学基金（项目编号62171391）的支持。王慧颖目前是中国厦门大学自动化系的硕士生，她的研究兴趣包括推荐系统与多臂老虎机算法。

王慧颖|沈阳|周启峰|王青
中国厦门市厦门大学自动化系，邮编361005