SSD4Rec：一种用于高效序列推荐的结构化状态空间对偶模型

《ACM Transactions on Information Systems》：SSD4Rec: A Structured State Space Duality Model for Efficient Sequential Recommendation

顺序推荐方法在处理长行为序列时面临效率与建模能力的挑战。本文提出基于Mamba架构的SSD4Rec框架，通过状态空间模型和硬件感知设计，结合新型Masked双向结构状态空间对偶块，有效建模长序列并支持变长处理。实验表明其在四个基准数据集上达到SOTA性能，并保持近线性扩展能力。https://github.com/ZhangYifeng1995/SSD4Rec

　　

摘要

在现代推荐系统中，序列推荐方法至关重要，因为它们能够根据用户过去的交互行为敏锐地理解用户兴趣的变化。然而，当前方法（例如基于RNN或Transformer的模型）面临的一个重大挑战是，如何通过建模长时间的行为序列来有效且高效地捕捉用户的偏好，这在用户交互频繁的短视频平台等场景中成为制约因素。最近，一种名为Mamba的新架构应运而生，该架构基于状态空间模型（SSM），并结合了高效的硬件感知设计，在序列建模方面展现了巨大潜力，为有效解决这一挑战提供了新的途径。受此启发，我们提出了一种新颖的、通用的高效序列推荐框架（SSD4Rec），该框架将Mamba架构进行了优化以适应推荐任务。具体而言，SSD4Rec使用序列寄存器标记长长度的项目序列，并通过一种创新的“掩码双向结构化状态空间对偶性”（Masked Bidirectional Structured State Space Duality）模块来处理项目表示。这种方法不仅支持硬件感知的矩阵运算，还提升了在处理变长度和长距离序列时的性能。在四个基准数据集上的广泛测试表明，所提出的模型在保持接近线性可扩展性的同时，实现了业界领先的性能。我们基于PyTorch实现的代码可访问于https://github.com/ZhangYifeng1995/SSD4Rec。