非对称谱滤波与行为引导图卷积的多模态推荐方法

《Electronics》：Asymmetric Spectral Filtering and Behavior-Guided Graph Convolution for Multimodal Recommendation

　　

多模态推荐系统面临着异质模态噪声和粗粒度特征融合的挑战。具体而言，现有的频域方法通常跨模态应用对称滤波，忽略了其不同的谱特性。因此，对称滤波无法同时满足视觉特征的去噪需求和文本特征的语义保留需求，导致次优的多模态表示。同时，当前的融合策略主要在实例层面操作，具有静态的模态权重，缺乏根据用户特定的协同上下文动态调整特征通道的灵活性。为了解决这些问题，本文提出了MFA-GCN（多尺度频率自适应图卷积网络），这是一个结合了非对称谱滤波、多视图图增强和行为引导通道注意力的多模态推荐框架。对于视觉模态，采用集成一维卷积（1D-CNN）和自注意力的多尺度频域模块来抑制高频干扰，同时保留信息结构。对于文本模态，引入轻量级的复域缩放策略来调整谱能量，同时保持语义一致性。此外，构建了辅助的用户-用户（U-U）图和物品-物品（I-I）图，以补充稀疏的用户-物品（U-I）交互并提供更丰富的协同信号。进一步使用了行为引导的通道注意力机制来动态细化多模态表示。在三个公开的亚马逊（Amazon）数据集上的实验表明，MFA-GCN在多个代表性基线模型上持续表现出优越的性能。

### 论文解读：非对称谱滤波与行为引导图卷积的多模态推荐方法

#### 研究背景与问题
传统协同过滤（Collaborative Filtering, CF）方法常受数据稀疏性问题困扰。为缓解此问题，多模态推荐系统通过整合视觉和文本等辅助信息来丰富物品表示。近年来，多模态预训练和跨模态对齐技术的进步进一步提升了语义嵌入的质量。然而，这些信号在为用户偏好建模提供补充线索的同时，也引入了异质噪声和表示冗余。图神经网络（Graph Neural Networks, GNNs）已成为高阶协同建模的主导范式，能有效捕获用户与物品间的复杂连接模式。但在实践中，将异质多模态信号与基于图的协同建模融合需要谨慎处理，因为视觉和文本模态表现出不同的噪声结构和语义密度。现有方法通常通过相同的架构路径处理这些模态，限制了其保留模态特定特征的能力。此外，当前的融合策略主要在实例层面操作，分配静态的模态权重，缺乏根据用户特定偏好调整单个特征通道的足够灵活性。

为了克服空间聚合的局限性，近期研究探索了从谱视角研究推荐。具体而言，图神经网络中的空间邻域聚合可被解释为低通图滤波，它会衰减高频分量，同时将异质模态噪声逐渐混合到更深层的节点表示中。这一见解鼓励了显式的频域操作，将特征分解为谱分量。然而，现有最先进的推荐器普遍采用对称处理范式，对异质模态应用相同的滤波操作。这种设计隐含地假设视觉和文本特征具有相似的谱分布和处理需求。但视觉表示通常包含与局部纹理、背景和成像伪影相关的丰富高频分量，需要有效去噪；而文本嵌入编码了紧凑的语义信息，主要集中于低频区域，因此更容易受到过度平滑的影响。因此，对称滤波无法同时满足视觉特征的去噪需求和文本特征的语义保留需求，导致次优的多模态表示。此外，大多数现有方法侧重于模态层面的表示增强，而忽视了多模态融合过程中用户特定的通道级偏好差异。因此，开发一个同时考虑非对称谱适应和个性化多模态融合的模态感知推荐框架仍然是一个开放的挑战。

#### 研究内容与方法概述
为应对对称谱处理和粗粒度融合的局限性，研究人员提出了MFA-GCN。该框架首先对视觉和文本特征进行模态特定的谱处理，然后通过图神经网络传播净化后的表示。具体而言，一个非对称谱滤波模块在频域处理视觉特征，它集成一维卷积和自注意力以自适应地抑制高频干扰，同时保留宏观语义。对于文本特征，轻量级的复缩放温和地调整谱能量以保持语义一致性。除了谱净化，该框架还构建了辅助的用户-用户图和物品-物品图，以补充基本的用户-物品二分图。这些额外的拓扑结构有助于缓解交互稀疏性并增强协同信号传播。最后，一个行为引导的通道注意力机制利用这些增强的协同表示作为上下文查询，在维度级别动态调整视觉和文本特征，超越了静态的实例级融合，实现了自适应的、针对每个用户的加权。本研究的主要贡献在于提出了一种模态感知的谱推荐框架，该框架将非对称频率滤波与协同引导的自适应融合相结合。

为开展研究，研究人员主要采用了以下关键技术方法：首先，设计了针对视觉和文本模态异质频域特性的非对称谱滤波机制，包括对视觉特征使用结合一维卷积和自注意力的多尺度自适应提取，以及对文本特征使用轻量级复缩放。其次，构建了多维隐式协同图增强模块，基于用户-物品交互矩阵和物品多模态特征相似性，建立了用户-用户和物品-物品辅助图，以补充稀疏的协同信号。最后，引入了行为引导的细粒度通道注意力机制，利用增强的协同特征作为动态查询，在通道级别对净化后的多模态特征进行调制。实验数据来源于三个公开的亚马逊基准数据集（Baby, Sports, Clothing），并遵循MMRec标准化框架进行数据预处理和特征加载（使用VGG16提取视觉特征，Sentence-BERT提取文本特征）。

#### 研究结果
**3.1 问题定义与整体架构**
研究人员定义了典型的多模态推荐场景，包含用户集、物品集、历史交互矩阵以及物品的原始视觉和文本特征。任务定义为学习一个预测映射，整合历史交互数据与多模态物品属性，以估计用户对候选物品的偏好得分。MFA-GCN的整体架构包含三个核心模块：多尺度频域特征提取模块、多维隐式协同图增强模块以及行为引导细粒度通道注意力模块。

**3.2 多尺度频域特征提取模块**
该模块首先通过模态特定的线性变换将原始特征投影到共享的潜在空间，然后通过实离散傅里叶变换（Real Discrete Fourier Transform, RDFT）映射到频域，得到半谱（half-spectrum）。对于视觉特征，采用多尺度自适应频域滤波：利用一维卷积捕获局部微观谱依赖，利用多头自注意力捕获全局上下文一致性，并通过可学习的门控参数动态融合两者，以抑制高频噪声。对于文本特征，仅应用轻量级的、频率特定的复线性缩放策略，以避免过度滤波导致的语义失真。最后，通过逆实快速傅里叶变换（Inverse Real Fast Fourier Transform, IRFFT）将净化后的谱恢复为空间域特征。实验通过可视化原始半谱幅度，证实了视觉和文本模态固有的谱分布差异，验证了非对称处理的必要性。

**3.3 多维隐式协同图增强模块**
除了基本的用户-物品二分图，该模块利用交互矩阵中的共现信息构建用户-用户潜在同质图，并基于净化后的多模态特征余弦相似性构建物品-物品语义相似图。这些图经过K近邻（KNN）算法稀疏化处理。随后，采用LightGCN（轻量图卷积网络）在这些多维拓扑图上执行邻域特征聚合，捕获高阶协同信号。经过L层图卷积传播后，通过对各层嵌入进行均值池化（mean pooling）并融合异构与同构视图的特征，生成最终的协同表示。该表示将作为后续通道注意力模块的关键查询信号。

**3.4 动态偏好建模与跨视图对齐模块**
该模块利用用户的协同表示作为上下文引导信号，与每个模态的特征向量拼接后，输入一个由多层感知机（Multilayer Perceptron, MLP）构建的门控网络，生成与特征维度长度相同的细粒度通道注意力权重向量。通过元素级乘法（哈达玛积）对净化后的多模态特征进行调制，自适应地激活对当前用户预测有益的语义通道。调制后的视觉和文本特征通过均值池化聚合，生成物品的综合多模态表示。最终的用户和物品表示由协同表示与（对物品）多模态表示残差组合而成，偏好预测得分通过两者内积计算。

**3.5 模型预测与优化**
模型采用贝叶斯个性化排序（Bayesian Personalized Ranking, BPR）损失作为主要优化目标，并引入基于InfoNCE（噪声对比估计）损失的物品侧跨视图对比学习作为辅助正则化任务，以对齐协同表示和多模态表示空间。最终联合损失函数结合了BPR损失、对比学习损失和L₂正则化项。

**4. 实验与结果分析**
在三个亚马逊数据集上的实验表明，MFA-GCN在Recall@K和NDCG@K指标上均优于九种代表性基线模型，包括传统协同过滤（BPR, LightGCN）、早期多模态推荐（VBPR, MMGCN, LATTICE）、图增强与自监督多模态推荐（BM3, MGCN, FREEDOM）以及基于谱的多模态推荐（SMORE）。性能提升具有统计显著性（p < 0.05）。消融实验系统评估了各核心模块的贡献：移除对比学习损失或辅助图结构均导致性能显著下降；非对称谱设计优于所有对称或反向配置；行为引导的通道注意力机制优于静态拼接或标准跨模态自注意力融合策略。超参数敏感性分析验证了图卷积层数、对比学习损失权重以及多模态邻居规模等关键设置的合理性。效率分析表明，尽管引入了多尺度频域模块和辅助图结构，MFA-GCN的训练运行时与谱基线SMORE相当。

#### 讨论与结论
**讨论部分总结：**
研究人员通过广泛的实验验证了MFA-GCN框架的有效性。消融研究证实了非对称谱处理、多视图图增强和行为引导融合各自的重要贡献。可视化分析为视觉和文本模态的异质谱特性提供了经验证据，支持了非对称设计的物理合理性。超参数分析揭示了模型性能对不同配置的敏感性，并指导了最优参数选择。尽管在稀疏和噪声数据上表现出优势，研究也指出了当前框架的局限性，例如对离线预训练特征的依赖、内存开销以及输入特征质量的边界依赖性。

**结论部分翻译：**
为解决多模态推荐中的三个关键挑战——对称滤波引起的模态异质性语义失真、忽略个性化偏好的粗粒度融合以及稀疏交互下协同信号不足——本文提出了MFA-GCN，一个集成了非对称谱滤波和行为引导图卷积的统一框架。

虽然图卷积、频域处理和对比学习等单个组件已在先前研究中被探索，但本研究通过有针对性的集成和改进做出了三项关键贡献：
1. 我们提出了一种针对视觉和文本模态固有物理差异的非对称谱滤波机制。与现有对所有模态应用相同操作的对称滤波方法不同，我们的设计使用多尺度一维卷积和自注意力进行视觉噪声去除，同时对文本特征应用轻量级复缩放。这缓解了以往频域推荐模型在噪声抑制和语义保留之间的权衡问题。
2. 我们构建了一个多维隐式协同图架构，联合建模用户-物品交互、用户-用户偏好同质性和物品-物品多模态相似性。通过显式集成这三个拓扑视图，我们有效缓解了数据稀疏性，并为后续多模态融合提供了更密集的协同引导信号。
3. 我们设计了一个行为引导的细粒度通道注意力机制，该机制使用增强的协同特征作为动态门，在通道级别调制多模态特征。这使得模型能够自适应地激活与个体用户偏好相关的特征通道，克服了静态、实例级融合策略的局限性。

在三个标准亚马逊数据集（Baby, Sports, Clothing）上的广泛实验证明了所提方法的有效性。MFA-GCN在所有核心推荐指标（Recall@K和NDCG@K）上 consistently 优于九种最先进的基线模型。所有性能提升在配对t检验下均具有统计显著性（p < 0.05）。此外，尽管引入了多尺度频域模块和辅助图结构，MFA-GCN保持了与频域基线SMORE相当的训练运行时。这证实了非对称设计成功避免了带来过高的计算开销，因为繁重的滤波被限制在视觉分支，而文本分支仅需轻量级缩放。

理论上，本研究通过广泛的消融实验验证了频域多模态推荐中模态特定处理的重要性，并证明了将协同信号作为动态引导进行集成可以提高跨模态特征融合的精度。这些发现为未来频域推荐框架的设计提供了有用的见解。