具有相关性意识的跨模态注意力网络，用于UGC系统中的时尚搭配建模

《ACM Transactions on Multimedia Computing, Communications, and Applications》：Correlation-aware Cross-modal Attention Network for Fashion Compatibility Modeling in UGC Systems

本文提出基于相关性感知跨模态注意力网络（CACM）的时尚兼容性建模方法，通过整合跨模态协同内容和揭示项内关联性，增强服装多模态表征，采用共注意力机制建模模态一致性及互补性，设计相关性感知信息聚合模块捕捉配饰间上下文关联，在两个真实时尚数据集上验证其优于现有方法。

　　

摘要

得益于社交多媒体与人工智能的持续整合，信息检索（IR）的应用场景正逐渐变得多样化且个性化。目前，用户生成内容（UGC）系统在处理大规模用户与海量媒体内容之间的交互方面具有巨大潜力。作为新兴的多媒体信息检索技术，时尚搭配建模（FCM）旨在预测每套服装的搭配程度，并根据用户查询提供补充性商品推荐。尽管现有研究试图从多模态角度探索FCM任务并取得了令人满意的进展，但它们仍未能充分利用多模态信息之间的交互作用，或忽略了服装内部各商品之间的上下文关联性。在本文中，我们提出了一种基于相关性感知的跨模态注意力网络（Correlation-aware Cross-modal Attention Network）的新型时尚搭配建模方案。为更好地解决这些问题，我们的工作重点在于通过整合跨模态协作内容来增强时尚商品的全面多模态表征，并揭示其上下文相关性。由于时尚商品的多模态信息能够从多个方面提供丰富的语义线索，我们设计了一个基于模态驱动的协作学习模块，通过共注意力机制明确建模各模态之间的一致性和互补性。考虑到每套服装中众多商品之间的复杂关联作为上下文线索，我们还设计了一个相关性感知的信息聚合模块，以自适应地捕捉商品间的重要内在相关性，从而构建出具有内容感知能力的服装表征。在两个真实世界的时尚数据集上进行的实验表明，我们的方法优于现有的最先进技术。