SeGMA4Rec：通过语义图传播和层级对比对齐学习稳定的序列表示

《Neural Networks》：SeGMA4Rec: Learning stable sequential representations through semantic graph propagation and hierarchical contrastive alignment

　　

通过自适应边细化的语义项目图（Semantic Item Graph）将全局关系结构注入项目嵌入（Item Embeddings）中。注意力引导的子采样（Attention-guided Subsampling）在生成多样化的对比视图（Contrastive Views）的同时保留信息性交互。逐层对比对齐（Layer-wise Contrastive Alignment）对编码器深度上的表示演化进行正则化。该框架是编码器无关的（Encoder-agnostic），并且在不同的数据稀疏度水平上有效。

### 论文解读：SeGMA4Rec——通过语义图传播与层级对比对齐提升序列推荐

#### 1. 研究背景与问题

推荐系统帮助用户从海量物品中筛选出符合偏好的内容，传统方法通常将用户交互视为无序集合，学习静态偏好。然而，用户兴趣随时间动态变化，且受物品消费顺序影响。序列推荐（Sequential Recommendation, SR）通过建模交互历史的有序序列，捕捉时间依赖和偏好演变，在电商、视频流媒体等领域受到广泛关注。但数据稀疏性（Data Sparsity）是核心挑战：多数用户仅与少量物品交互，导致编码器缺乏足够的监督信号学习可靠序列表示。

对比学习（Contrastive Learning, CL）被广泛用于缓解稀疏问题，通过对比不同增强视图来生成辅助监督。然而，现有方法存在两个关键缺陷：第一，视图构建多采用随机掩码、裁剪或重排，引入不可控扰动，可能破坏时序依赖并丢弃语义重要的交互；第二，对比对齐仅作用于编码器最终层，中间层——局部物品过渡和中层行为抽象逐步形成的区域——得不到直接对比指导，导致大部分表示能力未被监督。此外，稀疏性还带来更根本的困难：仅依靠交互数据无法发现罕见或从未共现物品间的语义关联。真实的物品间存在强语义关联（如文本描述、类别结构），但协作信号无法连接它们。因此，需要引入外部语义知识，通过构建全局物品-物品图，在语义邻居间传播信息，同时结合层级对比对齐，从两个互补方向应对稀疏性：语义图提供交互数据缺失的关系证据，逐层目标正则化表示在编码器深度上的演化。

#### 2. 研究内容与结论

研究人员提出SeGMA4Rec（Semantic Global graph with Multi-layer Alignment for Recommendation），一个在数据稀疏下提升序列表示学习的框架，包含物品级语义增强和序列级对比正则化。在四个基准数据集（Amazon-Beauty、Amazon-Toys、Amazon-Sports 和 MovieLens-1M）上进行实验，结果表明SeGMA4Rec在大多数评估指标上优于现有最强基线，特别是在稀疏数据上表现显著。该框架的贡献包括：构建基于大语言模型（Large Language Model, LLM）的语义物品-物品图，通过自适应边生成器（Adaptive Edge Generator）细化边权重，利用图卷积网络（Graph Convolutional Network, GCN）传播语义关系；设计注意力引导随机子采样（Attention-Guided Stochastic Subsampling, AGSS）生成增强视图，保留信息性交互；提出多层层级对齐（Multi-layer Hierarchical Alignment, MLHA），包括视图内层对齐、跨视图同层对齐和跨视图跨层对齐，对编码器各层进行直接正则化。实验证实语义图传播、自适应边细化、注意力引导增广和层级对比对齐均贡献显著，且框架与不同编码器架构兼容。

#### 3. 主要关键技术方法（不超过250字）

SeGMA4Rec的核心方法包括：①利用冻结的GTE-Qwen2-1.5B-instruct文本编码器将物品属性（标题、描述、价格、类别）转化为语义嵌入，计算余弦相似度后为每个物品保留Top-k个最相似邻居，构建稀疏的初始语义图；②引入自适应边生成器，通过可学习的投影矩阵（W_q、W_k）和Sigmoid函数，根据物品ID嵌入动态更新保留边的权重；③通过多层GCN（通常1-2层）进行图传播，并采用残差连接将初始ID嵌入与传播后的表示相加，得到图增强物品嵌入；④在序列编码器（Transformer）中，基于最终层注意力头对最后查询位置的归一化权重计算每个物品的重要性分数，结合标准正态噪声采样得到保留概率，生成两个增强视图；⑤对两个视图在各层（l=1,…,L）的序列表示，执行三种InfoNCE对比损失：视图内层对齐（h_u^(v,l)与h_u^(v,l-1)）、跨视图同层对齐（h_u^(1,l)与h_u^(2,l)）、跨视图跨层对齐（h_u^(1,l)与h_u^(2,l-1)）。样本队列来源于Amazon-Beauty（22,363用户，12,101物品，198,502交互，平均序列长度8.8）、Amazon-Toys（19,412用户，11,924物品，167,597交互，长度8.6）、Amazon-Sports（35,598用户，18,357物品，296,337交互，长度8.3）和MovieLens-1M（6,040用户，3,416物品，999,611交互，长度165.4）。

#### 4. 研究结果（保留小标题）

**4.5. 总体性能比较**：SeGMA4Rec在四个数据集上，与BPR、GRU4Rec、SASRec、BERT4Rec、CL4SRec、CoSeRec、DuoRec、ICLRec、SINE、FEARec、BSARec、CLEM4Rec、SRA-CL和ADRec共14个基线对比。在NDCG@10、NDCG@20、Recall@10、Recall@20四项指标上，SeGMA4Rec在大多数设置中取得最佳或次佳结果，尤其在稠密数据集ML-1M上提升显著（例如NDCG@10提升8.1%）。在稀疏的Sports数据集上，NDCG@10和Recall@10分别提升1.7%和2.3%。在Toys数据集上，Recall@10和Recall@20分别提升4.0%和2.8%，但NDCG略低于BSARec（差距不到1%）。通过10次种子匹配的统计显著性检验，SeGMA4Rec在22/24个设置中以p<0.01显著优于最强基线。

**4.6. 消融研究**：通过移除全局图模块、自适应边生成器、残差连接、各对齐目标、AGSS等，验证各组件贡献。完整模型在所有数据集上优于各消融变体。移除图模块导致最大性能下降；移除边生成器也有明显下降；残差连接移除后（如Beauty上NDCG@20从0.0713降至0.0643）表明保留ID嵌入的重要性。替换图构建源为共现图或ID图（交互训练嵌入）后，LLM语义图效果最佳，平均NDCG@20提升14.76%。在MLHA消融中，移除任一目标或AGSS均导致性能下降，单层对比（SL-CL）低于完整模型，表明层级对齐提供了额外正则化。Base Encoder（无图和MLHA）性能最差，说明两个模块互补。

**4.7. 超参数敏感性分析**：在ML-1M、Toys、Sports、Beauty上测试隐藏维度（16/32/64/128/256）、GCN层数（1-4）、Transformer块数（1-4）、对比损失权重λ（1-5）。64维隐藏维度、2层GCN、2个Transformer块、λ=3左右表现最佳。过大维度或过深层级导致过拟合或性能下降。

**4.8. 稀疏化参数k的敏感性分析**：k∈{1,...,10}，k=3在多数数据集上取得最优Recall@10和NDCG@10，更大k值引入噪声导致性能下降，表明高质量小邻居足够。

**4.9. 模型泛化性与编码器无关集成**：将SeGMA4Rec的Transformer替换为GRU4Rec和BERT4Rec，两个骨干网络的性能均获得一致提升，尤其在稀疏Amazon数据集上提升更大，证明语义图和多层对齐可作为模块化组件。

**4.10. LLM语义表示分析**：将GTE-Qwen2嵌入直接融合到SASRec、DuoRec、BSARec中，仅SASRec有稳定提升，DuoRec和BSARec提升微小或下降。SeGMA4Rec通过自适应图传播优于所有直接融合变体。使用不同文本编码器（all-MiniLM-L6-v2、BGE-base-en-v1.5、GTE-Qwen2-1.5B-instruct）性能接近，最大差距仅0.0024，表明框架对不同编码器鲁棒。

**4.11. 按物品频率的性能**：在Beauty上按训练交互频率分组（0-10+），SeGMA4Rec在低频（0-5次）组上相比SASRec和BSARec提升更明显，表明语义图在行为证据稀缺时提供补充关系信息。

**4.12. 局部图结构可视化**：展示高频、中频、低频物品的三邻居局部图，自适应边生成器保留候选邻居但重新校准权重，ID图产生不同的邻居结构，LLM语义图提供更丰富结构。

#### 5. 讨论与结论

**限制与未来工作**：当前评估基于静态离线数据集，未完全反映真实平台动态性、反馈延迟、元数据噪声等复杂性。语义图依赖LLM文本嵌入，引入预处理成本，在超大规模物品池中需优化。层级对齐在极深编码器中的行为需进一步探索，自适应边生成器目前只调整权重而不动态增减边。未来工作将验证在线系统，扩展多模态内容，探索轻量级图构建方案，以及自适应选择对比目标。

**研究结论翻译**：本文提出了SeGMA4Rec，一个旨在改善稀疏行为监督下表示学习的序列推荐框架。现有对比序列推荐器通常通过随机扰动生成增强视图，并将对比监督仅应用于最终编码器层。为了解决这些局限，SeGMA4Rec采用注意力引导的随机子采样保留信息性交互，并引入跨增强视图和编码器层的多层层级对齐，从而在整个编码层级上提供直接正则化。SeGMA4Rec还通过全局语义物品关系补充基于交互的建模。具体而言，它从预训练文本嵌入构建物品-物品图，根据推荐目标自适应细化保留边的权重，并在语义相关物品间传播关系信息。在四个基准数据集上的实验表明，在大多数评估设置中取得了普遍优越且统计支持的性能，同时在BSARec获得略高结果的Toys数据集的两个NDCG设置中仍保持高度竞争力。额外分析证实了语义图传播、自适应边细化、注意力引导增广和多层对比对齐的互补贡献。未来工作将研究能够动态添加或删除候选边的自适应拓扑学习，以及整合多模态物品信息（如图像）以进一步丰富语义表示。