面向偏好漂移感知的联邦动态多模态记忆推荐框架（FedDMMR）

《IEEE Transactions on Big Data》：FedDMMR: Federated Dynamic Multimodal Memory for Preference Drift-Aware Recommendation

　　

大语言模型（LLMs）近期被用于通过提供语义物品描述和高层内容表示来增强推荐系统。然而，当此类语义特征被纳入联邦推荐（federated recommendation）时，两个实际挑战仍未得到充分解决。第一，静态语义表示难以适应本地设备上持续演化的用户偏好（preference drift）。第二，依赖单一语义视图可能忽略个性化推荐所需的互补视觉与文本证据。为解决这些问题，研究人员提出了一种面向偏好漂移感知推荐的联邦动态多模态记忆推荐框架（FedDMMR）。FedDMMR为每个客户端配备本地动态多模态记忆（local dynamic multimodal memory），从而无需重新训练大规模骨干网络即可实现高效的设备端偏好漂移适应。为更好地利用多模态信号，研究人员进一步提出了一种场景自适应混合专家（Mixture-of-Experts, MoE），其配备以物品为中心的路由器（item-centric router），可动态加权视觉专家与语义专家。此外，为缓解联邦学习（federated learning）中跨客户端的语义碎片（semantic fragmentation），研究人员通过原型聚合（prototype aggregation）构建全局抽象记忆（global abstract memory），以提供跨用户的共享语义先验（shared semantic prior）。在四个真实世界数据集上的大量实验表明，FedDMMR优于集中式和联邦式基线，并能有效处理用户偏好漂移。

研究背景与问题：大语言模型（Large Language Models, LLMs，一类基于大规模文本预训练的语义建模模型）可为推荐系统提供语义物品描述和高层内容表示，但将此类语义特征引入联邦推荐（federated recommendation，在本地保留原始交互、仅交换模型侧信息的推荐范式）仍存在两个挑战：静态语义表示难以适应本地设备上持续演化的用户偏好（preference drift，用户兴趣随时间变化）；依赖单一语义视图会忽略个性化推荐所需的互补视觉与文本证据。现有LLM增强推荐多在集中式流程中训练，而联邦推荐多依赖ID表示或轻量个性化变体；其训练逻辑偏静态，频繁重训大骨干会增加本地计算、通信负担与优化不稳定。多模态融合若不处理模态可靠性差异，可能放大模态噪声；联邦数据呈非独立同分布（non-IID），使视觉与文本证据的可用性跨客户端差异更大。联邦数据隔离还加剧冷启动（cold-start，本地交互稀疏时推荐困难）。因此，研究人员开展FedDMMR研究，以在不直接交换原始交互历史的条件下实现偏好漂移适应、多模态条件利用和稀疏客户端知识共享。

研究开展与结论意义：研究人员提出FedDMMR框架，核心是解耦动态偏好适应与昂贵骨干重训，同时保留多模态灵活性和联邦隐私。其三个组件为：客户端本地动态多模态记忆（local dynamic multimodal memory），以短期缓冲和长期缓冲双层级结构维护近期与稳定兴趣；场景自适应混合专家（Mixture-of-Experts, MoE，按上下文条件激活不同专家的机制）与以物品为中心的路由器（item-centric router），根据候选物品上下文动态加权视觉与语义专家；全局抽象记忆（global abstract memory），通过原型聚合（prototype aggregation，对聚类级表示进行聚合）提供跨客户端共享语义先验。四个真实数据集的实验表明，FedDMMR优于集中式和联邦基线，并有效处理用户偏好漂移；其意义在于同时支持个性化、隐私感知知识共享和对偏好漂移的鲁棒性。

关键技术方法：样本队列来自MovieLens-100K&1M与Amazon Clothing & Beauty四个真实世界数据集，采用留一法按时间划分。研究人员以SASRec（Self-Attentive Sequential Recommendation，自注意力序列推荐骨干）为序列骨干；构建客户端动态多模态记忆，将物品ID嵌入、离线预计算视觉/文本嵌入及时间、频率、访问元信息组成记忆条目，设置短期FIFO（First-In-First-Out，先进先出）缓冲和长期新异性门控、合并与效用驱逐；采用场景自适应MoE，以候选物品为中心路由视觉与语义专家，对检索记忆做注意力并门控残差融合；服务器端对客户端K-Means聚类所得解耦视觉/文本原型进行二级聚合，形成只读全局抽象记忆，仅用于稀疏客户端辅助检索；训练使用交叉熵推荐损失和负载均衡正则。

研究结果：
5.2 Performance Comparison (RQ1)：通过四个真实世界数据集上的同协议排序比较，以HR@10（Hit Rate@10，命中率）和NDCG@10（Normalized Discounted Cumulative Gain@10，归一化折损累计增益）评价，FedDMMR在所有数据集上优于全部联邦基线，并与集中式参考模型保持竞争；在Amazon Beauty和Amazon Clothing上提升更明显，说明按候选物品上下文选择性利用多模态证据有效。
5.3 Ablation Study (RQ2)：通过在MovieLens-1M和Amazon Clothing上逐模块移除的消融研究，去掉动态记忆导致最大退化；将MoE路由器替换为均匀平均造成一致下降；MovieLens-1M上去掉语义专家退化更大，Amazon Clothing上去掉视觉专家退化更大；路由器复杂度为每候选O(d)，专家对检索记忆注意力的开销为O(2Kd)，K默认固定为16，因此开销受记忆预算约束；可用top-1专家或更小K折中。
5.4 Analysis of Long-Term Preference Retention (RQ3)：通过将用户历史分为S₁、S₂、S₃三阶段并在后续阶段训练后回到初始S₁测试集重评，FedSASRec的HR@10从0.380降至0.210，时间感知基线约下降19.6%；FedDMMR仅从0.405降至0.370，说明双层级记忆可减轻持续训练中的遗忘并保留长期偏好。
5.5 Cold-Start Analysis (RQ4)：通过在T_u<10和T_u<20的严格稀疏用户设置下比较FedSASRec、无全局记忆的FedDMMR与FedDMMR，FedDMMR在所有数据集和设置下一致更优；去掉全局记忆后明显退化，且在Amazon Beauty和Amazon Clothing更明显，说明全局原型提供可迁移多模态先验并作为本地证据不足时的热启动，但不替代个性化推荐。
5.6 Prototype Privacy Leakage Analysis (RQ5)：通过在Amazon Clothing上开展客户端级成员推断攻击（membership-inference attack，判断候选物品是否属于目标客户端历史），攻击者仅访问服务器可见表示和公开物品嵌入库而不访问原始序列；比较原始物品级嵌入、本地原型和全局原型，原始物品级攻击AUC（Area Under the Curve，曲线下面积）最高，本地原型大幅降低，全局原型进一步降低但仍高于0.5；说明双原型聚合在表示层降低样本级成员推断风险，但不构成形式隐私保证。
5.7 Efficiency Analysis：通过每客户端存储与通信复杂度比较，FedSASRec存储随历史长度线性增长O(T_u·d)，FedGNN还受邻居结构影响O((T_u+E)·d)；FedDMMR以固定容量缓冲实现有界存储O((W+L)·d)，除标准梯度交换外仅上传紧凑聚类原型O(K_p·d)，通信开销接近标准联邦优化且轻于图方法；资源受限时可降低W、L、K，采用半精度或量化记忆，并仅对稀疏客户端激活全局抽象记忆。

讨论部分总结：研究人员指出FedDMMR通过原型级聚合降低原始交互历史直接暴露，但不提供形式隐私保证，未结合差分隐私或安全聚合，共享原型仍可能保留本地交互残余信息；框架依赖离线预计算且冻结的视觉与文本表示，虽降低客户端计算，但受预训练编码器限制或偏差影响，可能难充分适应域偏移或新出现物品特征；主实验采用1个正样本与100个负样本的采样排序协议，可能不完全反映全目录推荐；尚未测量真实设备端到端延迟或能耗，记忆检索和MoE推理可能给资源受限或异构客户端带来额外开销。未来工作包括形式隐私机制及隐私—效用权衡、轻量特征适应与周期表示更新、全排序和更部署导向评估、真实设备剖析与轻量加速。

研究结论部分翻译：本文提出FedDMMR，一种面向联邦动态多模态推荐的新框架。其核心动机是解决联邦推荐中的实际挑战：用户兴趣并非静态，多模态信号并非均匀有用，稀疏本地数据使去中心化隐私约束下的个性化推荐尤其困难；现有联邦推荐主要依赖静态ID表示或纯参数适应，限制了以轻量且隐私感知的方式捕捉演化偏好和利用丰富多模态语义。为此，研究人员设计客户端动态多模态记忆，通过双层级更新机制同时维护近期和稳定偏好证据，使模型通过轻量设备端记忆维护适应偏好漂移，而非仅依赖反复骨干参数更新；引入场景自适应MoE推理模块，根据候选物品上下文有条件纳入视觉与文本证据，以减少模态噪声并提高多模态推荐灵活性；提出基于原型聚合的全局抽象记忆，为稀疏客户端提供共享语义先验，帮助缓解冷启动而不暴露原始本地交互记录。四个真实世界数据集实验验证了框架有效性：FedDMMR在总体推荐性能上持续优于强联邦和集中式基线；进一步分析表明该设计不仅提高准确性，也有利于持续训练下保留长期用户偏好和提升稀疏用户场景推荐质量。这些发现确认，结合动态设备端记忆、自适应多模态推理和原型级联邦知识共享是有前景的推荐方向。总体而言，本工作表明在实践部署约束下结合动态记忆和多模态语义推理可增强联邦推荐；FedDMMR提供了建模演化用户兴趣同时避免直接交换原始交互历史的可行框架。研究人员认为，该方向为构建更适应偏好漂移、在冷启动场景更鲁棒、且更能利用去中心化环境中多模态物品语义的推荐系统提供了有希望的基础。