CA2：上下文自适应与一致性感知的多模态服装搭配兼容性建模

《Information Processing & Management》：CA2: Context-Adaptive and Consistency-Aware Multi-Modal Outfit Compatibility Modeling

　　

摘要理解服装搭配兼容性对于时尚推荐和生成至关重要。尽管现有方法已取得显著成功，但它们存在两个关键局限性：细粒度兼容性建模的适应性有限，以及缺乏整体服装搭配连贯性建模。为解决这一问题，我们提出了CA2（上下文自适应与一致性感知的服装搭配兼容性建模），这是一个同时捕获自适应细粒度兼容性和全局一致性的框架。具体而言，CA2引入了一种上下文感知的细粒度兼容性模块，以特定的服装搭配方式自适应地学习商品的细粒度属性表示，使模型能够在不同服装搭配中对属性进行差异化处理。此外，一个基于全局一致性的兼容性模块通过评估服装搭配整体表示在不同商品排列下的稳定性，为兼容性建模提供互补信号。在两个公开时尚数据集上的大量实验表明，CA2在三个不同任务上显著优于最先进的方法，在AUC、FITB和召回率上分别取得平均1.65%、3.92%和12.88%的提升。

引言多模态兼容性建模旨在基于不同类别商品的多模态内容（例如图像和文本描述）来评估其兼容性，近年来受到了越来越多的研究关注。在现实世界的服装搭配兼容性和设计场景中，准确的服装搭配兼容性建模对于实现服装单品之间的适当协调和满足不同场景特定的匹配关系至关重要。早期的服装搭配兼容性建模方法（Liu等，2012，McAuley等，2015，Zhou等，2022）主要依赖视觉线索来捕获时尚单品之间的兼容性关系。然而，仅凭视觉外观不足以完全表征服装搭配兼容性，因为具有相似视觉模式的单品可能由于风格、场合或功能属性的差异而表现出不同的兼容性关系。因此，考虑到时尚单品中丰富的多模态信息，近期的研究（Su等，2024，Yang等，2019）越来越多地探索多模态兼容性建模。具体而言，视觉图像描述与外观相关的特征，如颜色、图案和形状，而文本描述则提供互补的语义信息，包括风格、场合和功能属性。通过联合建模这些互补模态，多模态方法能够比依赖单一模态的方法更全面地理解时尚兼容性。代表性方法（Berlia，2026，Song等，2018，Yang等，2019）将视觉和文本商品特征投影到共享的潜在空间中，以捕获整体服装搭配兼容性。然而，互补单品（例如上衣、下装和鞋子）之间的兼容性是由多个细粒度属性共同决定的。因此，基于单一潜在空间的这类兼容性建模方法可能受到语义因素纠缠的影响，限制了其捕获细粒度兼容性模式的能力。

为解决这一问题，细粒度多模态兼容性建模方法（Guan等，2022，Zheng等，2021）被提出，通过学习属性特定的语义子空间来从商品表示中解纠缠多种兼容性因素，从而实现细粒度兼容性建模。例如，Su等（2021）采用多个并行网络将多模态商品表示投影到属性特定的子空间中，并引入正交性约束以增强因素级别的兼容性学习。DMAP（Su等，2024）进一步引入属性标签来监督属性感知特征学习，将商品表示解纠缠为多个属性子空间，同时联合建模属性内、属性间和单品级别的兼容性。此外，MAIF（Sun等，2025）考虑了时尚单品之间的高阶属性交互，并采用超图来建模复杂的服装搭配兼容性。

尽管上述方法（Su等，2024，Sun等，2025，Yang等，2019）取得了令人瞩目的成果，但仍有两个关键局限性阻碍了其在现实世界时尚兼容性建模中的表现：

•细粒度属性映射的适应性有限。在现实世界的服装搭配场景中，不同兼容性因素的重要性高度依赖于具体的单品组合和穿着语境。例如，颜色和谐可能在某一套服装搭配中主导衬衫与裙子之间的兼容性，而在另一套搭配中，材质协调可能在包袋与鞋子之间变得更为重要。因此，有效的兼容性建模需要具备根据特定服装搭配语境自适应地识别和强调不同细粒度因素的能力。然而，现有方法通常采用共享的投影机制将商品表示映射到预定义的潜在因素空间中。尽管这些方法能有效捕获属性级别的兼容性，但学到的语义映射通常独立于特定的服装搭配语境。因此，它们无法动态调整不同兼容性因素的重要性和贡献，限制了其建模多样化兼容性模式的能力。

•缺乏整体服装搭配连贯性建模。在实际的服装推荐和设计场景中，用户通常基于整体风格连贯性来评估服装搭配兼容性，而不仅仅是单个商品对之间的兼容性。因此，有效的兼容性建模应考虑到由所有组成单品之间的联合交互所形成的整体协调性。然而，现有方法主要从属性级别对齐的角度来表征服装搭配兼容性，其中整体兼容性是通过聚合多个因素特定的匹配关系来估计的。这种属性级别的聚合可能会忽略多个时尚单品之间的高阶交互，无法充分捕获整体服装搭配连贯性。更全面的兼容性建模方法应考虑整体服装搭配语义在不同组成单品组织方式下的稳定性，因为一套协调良好的服装预期在单品排列变化时仍能保持一致的整体风格表示。

本文的研究目标有两个：（1）自适应地学习针对特定服装搭配语境的商品细粒度属性表示；（2）通过衡量服装搭配整体表示在商品排列下的稳定性来增强全局兼容性评估。为实现这些目标，我们提出了上下文自适应与一致性感知的多模态服装搭配兼容性建模（CA2），这是一个统一框架，同时捕获自适应细粒度兼容性和全局一致性以增强服装搭配兼容性建模。具体而言，我们设计了一个上下文感知的细粒度兼容性模块，通过上下文感知的映射参数学习机制，根据不同服装搭配语境动态学习商品的细粒度属性表示。并行地，我们引入了一个基于全局一致性的兼容性模块，通过相关建模来评估服装搭配整体表示在商品排列下的稳定性，从而评估服装搭配的全局连贯性，为兼容性评估提供互补信号。在两个公开数据集上进行了大量实验，结果表明我们提出的CA2框架优于现有方法。

本文的主要贡献总结如下：

•我们提出了CA2，一个上下文自适应与一致性感知的服装搭配兼容性建模框架，它同时捕获服装搭配特定的细粒度交互和全局连贯性，为服装搭配兼容性提供更全面的评估。作为副产品，我们已将实验代码公开，以惠及其他研究人员。

•我们设计了一个上下文感知的细粒度兼容性模块，通过上下文感知的映射参数学习机制，以服装搭配特定的方式学习商品的细粒度属性表示。这使模型能够在不同服装搭配中对属性进行差异化处理，捕获依赖服装搭配的兼容性模式，从而实现更准确的兼容性评估。

•我们引入了一个基于全局一致性的兼容性模块，通过衡量服装搭配表示在商品排列下的稳定性来评估服装搭配的整体连贯性。该模块为细粒度建模提供互补信号，增强了兼容性预测的鲁棒性和泛化能力。

本文其余部分的组织如下。第2节回顾了多模态服装搭配兼容性和多视角相关性建模的相关工作。第3节介绍了问题形式化和我们提出的CA2框架。第4节详细阐述了数据集、实现、评估指标和实验结果。最后，第6节对本文进行了总结。

节选片段相关工作本节简要介绍多模态服装搭配兼容性建模和多视角相关性建模的相关工作。方法本节首先提出多模态服装搭配兼容性建模的问题形式化，然后详细介绍我们提出的CA2，它联合进行上下文自适应细粒度兼容性建模和基于全局一致性的兼容性建模，如图1所示。实验本节进行了全面的实验以评估我们提出的CA2框架的有效性。我们首先介绍所使用的数据集并提供实现细节。接下来，我们描述评估指标并呈现与最先进方法的对比结果。然后我们进行消融研究以分析不同模块的贡献，并开展超参数敏感性分析。最后，我们展示了CA2在实际应用中的效用。

本文的影响细粒度属性表示和整体连贯性是影响多模态服装搭配兼容性建模性能的关键因素。在本文中，我们提出了CA2模型，并开发了一种同时捕获细粒度兼容性和全局一致性的新技术。

CA2与现有方法的主要区别在于两个关键方面：（1）先前的细粒度兼容性模型（例如Guan等（2022），Su等（2021））采用固定的映射

结论在本工作中，我们介绍了CA2，一个新颖的服装搭配兼容性建模框架，它联合考虑上下文自适应的细粒度交互和全局一致性。上下文感知的细粒度模块使模型能够在不同服装搭配中区分属性表示，捕获服装搭配特定的兼容性模式，而全局一致性模块则利用基于排列的稳定性来评估整体连贯性。通过结合这两种互补视角，CA2

CRediT作者贡献声明刘金欢：方法论，调查研究，经费获取，形式分析，概念化。崔旭：写作——审阅与编辑，可视化，验证，数据整理。谭春燕：写作——初稿，软件，形式分析，数据整理。杜军伟：验证，监督，项目管理。宋雪萌：写作——审阅与编辑，监督，资源，经费获取。任鹏杰：写作——审阅与编辑，监督，项目管理，形式分析。

利益冲突声明作者声明他们没有已知的可能影响本文所报告工作的竞争性经济利益或个人关系。

致谢本工作得到国家自然科学基金（项目编号62522210，62472261，62202253，62376137）、山东省自然科学基金（项目编号ZR2026MS1101，ZR2021MF074）和山东省高校青年创新团队基金（项目编号2024KJH140）的资助。

刘金欢|崔旭|谭春燕|杜军伟|宋雪萌|任鹏杰