用于多模态推荐的一致性引导证据去偏

《Neural Networks》：Consistency-Guided Evidential Debiasing for Multimodal Recommendation

　　CEDRec 缓解了跨模态偏差，以实现可靠的多模态推荐。证据偏差网络在融合过程中保留了强大的单模态证据。语义瓶颈网络蒸馏共享语义以实现自适应门控。实验表明，CEDRec 在去偏和竞争性排名精度之间取得了平衡。## 引言多模态推荐系统（MRSs）是现代在线平台的核心信息过滤引擎，例如短视频应用（He, Zhang, Ma, Li, Sun, Ai, Liu, Zhang, 2025a, Lee, Park, Lee, 2025）、电商网站（Giahi, Yao, Kollipara, Zhao, Mirjalili, Xu, Biswas, Korpeoglu, Achan, 2025, Xu, He, Wang, Zhang, 2025a）和社交媒体网络（Lin, Liu, Cao, Zou, Li, Wu, Liu, Yin, Xu, 2025b, Xu, Zhang, Zhou, Song, 2025d）。通过从多种物品模态（如视觉封面和文本标题）中提取语义信号，MRSs 引入了辅助知识来缓解传统协同过滤的数据稀疏和冷启动问题（Lu, Xi, Xing, Wan, Wang, 2026, Pan, Pan, Cai, Chen, 2026）。然而，MRSs 的有效性在很大程度上取决于学习到的多模态表示能否可靠地捕获物品语义。因此，开发鲁棒的表示学习范式对于构建有效且可靠的多模态推荐系统至关重要。早期的多模态推荐系统（He, McAuley, 2016, Liu, Wu, Wang, 2017）通过将物品 ID 嵌入与视觉或文本特征拼接，将多模态信号整合到矩阵分解架构中进行表示学习。此外，为了捕获超越这些早期设计的更高阶用户-物品关系，后续研究（Wei, Wang, Nie, He, Hong, Chua, 2019, Zhang, Zhu, Liu, Wu, Wang, Wang, 2021）引入了图卷积网络（GCNs）。具体而言，这些模型直接将多模态特征嵌入到用户-物品二部图上的消息传递机制中，利用迭代邻域聚合来捕获协同拓扑语义。最近，自监督学习范式被广泛采用以进一步提升多模态表示质量（Shi, Zhang, Zhang, Chen, Yi, Xiao, Hou, Li, 2026, Tao, Liu, Xia, Wang, Yang, Huang, Chua, 2022, Zhou, Zhou, Liu, Zeng, Miao, Wang, You, Jiang, 2023）。具体而言，通过从无标签多模态输入中构建跨模态对比学习或特征重建等辅助任务，这些方法强制语义对齐以捕获不同模态之间的潜在相关性。尽管现有方法展现出良好的性能，但它们普遍忽视了现实数据中的跨模态偏差。具体而言，这些方法依赖于跨模态语义对齐的假设，而在实践中这一假设并非对所有物品都成立。一个模态中的强信号可能得不到另一个模态的支持，但它仍然可以主导学习到的物品表示并影响推荐评分。由于无法获取真值级别的物品级偏差标签，我们基于跨模态不一致性和物品热度构建了一个数据驱动的偏差风险代理，并考察其与用户反馈之间的关联。我们使用该代理识别候选的高风险和低物品，并通过训练集中的交互次数进行匹配以控制物品热度。如图 1(a) 所示，在控制物品热度后，高偏差风险物品在三个数据集上一致表现出更高的三星及以下评分比例，高于匹配的低偏差风险物品。这一结果提供了独立的行为证据，表明估计的偏差风险与较不利的用户反馈相关，并暗示这种关联并非仅由物品热度驱动。然而，有效减少这种偏差涉及两个关键挑战：（1）**多模态去偏中的信号稀释。** 跨模态偏差通常产生于误导性信号集中于单一模态时。在常规的多模态去偏中，直接聚合模态特定信号可以平滑高风险模态与低偏差模态之间的差异，从而稀释来自高风险模态的强偏差证据。如图 1(b) 所示，这种信号稀释会导致整体偏差被低估。因此，去偏模块施加的惩罚不足，无法完全纠正推荐评分，导致最终排名中残留偏差。（2）**多模态去偏中的语义误识别。** 跨模态去偏还面临语义误识别的风险，这可能导致过度去偏。如图 1(c) 所示，高质量物品可能表现出强且一致的多模态信号，自然吸引频繁的用户交互。然而，去偏框架可能无法判断频繁交互是由一致的多模态信号产生还是由单一模态中的误导性信号引起。因此，语义一致的高质量物品可能被错误地识别为有偏差并受到不必要的惩罚，降低其曝光度并降低推荐性能。为了应对这些挑战，本文提出了一种面向多模态推荐的Constancy-guided Evidential Debiasing 框架（CEDRec），即一致性引导的证据去偏框架。具体而言，为了缓解多模态去偏中的信号稀释问题，CEDRec 引入了证据偏差网络（EBN），使用简单的 Dempster-Shafer 公式表示模态特定的欺骗性证据和不确定性。然后结合这些估计值以获得跨模态偏差评分，从而缓解强模态特定信号的稀释。此外，为了防止语义一致的高质量物品被误识别为有偏差，CEDRec 采用了基于变分信息瓶颈原理的语义瓶颈网络（SBN）。具体而言，通过从视觉和文本特征中蒸馏共享语义，SBN 评估模态间的语义一致性并生成动态门控信号以调节去偏惩罚，从而保护自然对齐的物品免受不必要的惩罚。最后，在联合优化过程中，应用梯度投影来动态缓解主要协同推荐任务与语义瓶颈压缩任务之间的冲突。在多个真实数据集上的综合实验验证了 CEDRec 在缓解跨模态偏差的同时保持竞争性推荐性能的有效性。本文的主要贡献可总结如下：- 我们提出了 CEDRec，一个面向多模态推荐的自适应去偏框架，通过减少潜在欺骗性模态特定信号对协同偏好学习的影响来缓解跨模态偏差。- 我们引入了一种证据偏差网络来分别估计模态特定的欺骗性证据和不确定性。使用简单的 Dempster-Shafer 公式将这些估计值跨模态组合，在跨模态不确定性下保留强欺骗性证据并缓解信号稀释。- 我们设计了一种基于变分信息瓶颈原理的语义瓶颈网络，以蒸馏共享语义并动态门控去偏惩罚，减少对语义一致物品的不必要惩罚。- 大量实验表明，CEDRec 在去偏有效性和推荐质量之间取得了良好的平衡。## 章节摘要### 相关工作在本节中，我们回顾了两个方面的相关工作：多模态推荐和推荐系统中的去偏。前者侧重于建模和整合多模态特征，后者解决观察数据中的各种偏差。### 方法论在本节中，我们详细介绍了所提出的 CEDRec 框架，如图 2 所示。具体而言，第 3.1 节公式化了多模态推荐问题并定义了基本符号。第 3.2 节介绍了基础图网络以学习多模态协同表示。第 3.3 节描述了证据偏差网络，通过证据融合量化模态特定的欺骗性偏差。第 3.4 节提出了语义瓶颈网络以蒸馏跨模态### 实验为了全面评估 CEDRec，我们进行了大量实验以回答以下问题：- **RQ1：** CEDRec 与最先进方法的性能表现如何？- **RQ2：** 关键组件和设计选择如何影响 CEDRec？- **RQ3：** CEDRec 对不同超参数设置的敏感度如何？- **RQ4：** CEDRec 的计算效率和资源开销如何？- **RQ5：** CEDRec 在电商之外的多模态推荐场景中的泛化能力如何？### 结论在本工作中，我们提出了 CEDRec，一个解决多模态推荐中信号稀释和语义误识别问题的自适应去偏框架。其证据偏差网络在跨模态融合过程中保留了强模态特定的欺骗性证据，而其语义瓶颈网络根据跨模态语义一致性调整去偏惩罚。此外，PCGrad 缓解了协同偏好学习与语义瓶颈之间的梯度冲突### CRediT 作者贡献声明Lin Pan：写作 – 审阅与编辑，验证，指导。Zhiqiang Pan：指导，项目管理。Honghui Chen：写作 – 原稿撰写，可视化，方法论，形式分析，概念化。### 利益冲突声明作者声明，他们没有已知的竞争经济利益或个人关系可能会影响本文所报道的工作。Lin Pan | Zhiqiang Pan | Honghui Chen