B2-PFR：用于时尚搭配建模的用户-商品特征深度双向学习方法

《Neural Networks》：B2-PFR: Deep Bidirectional Learning of User-Item Body Features for Fashion Compatibility Modeling

　　丁文欣|黄向东|张淑芳•一种新型时尚推荐系统在匹配用户偏好与体型方面超越现有最佳技术。•采用双向学习方法处理从图像中提取的用户身体特征与商品目标身体特征。•用户身体特征能够捕捉整体形态、8项比例数据以及测量结果的稳定性。•首创基于注意力机制从隐性记录中提取商品目标身体特征的方法。•构建了Dress4BodyShape数据集，用于针对不同体型的连衣裙推荐。

引言近年来，时尚电商已成为全球最主要的在线零售领域，预计到2025年其市场价值将超过920亿美元1。这一快速发展促使研究人员致力于开发个性化时尚推荐技术，以提升用户的购物体验（Lin等人，2024年）。最初，有许多推荐方法被提出用于衡量商品之间的适配性（Faroughi, Moradi, Jalili, 2025年；Guan, Wen, Song, Yeh, Chang, Nie, 2021年；Han, Song, Yao, Xu, Nie, 2019年；Song, Feng, Han, Yang, Liu, Nie, 2018年）。贝叶斯个性化排序框架（BPR）（Koren等人，2009年）被广泛应用于各类推荐系统中，用于对隐性反馈数据进行排序。在此基础上，AKD-DBPR（Song等人，2018年）利用人类总结的时尚规则，而PKD-DBPR（Han等人，2019年）则运用概率统计方法来融入时尚知识。同时，许多研究（Guan, Jiao, Song, Wen, Yeh, Chang, 2022年；He, McAuley, 2016年；He, Fan, Wang, Wang, Wang, Pan, Wang, 2025年；Li, Ma, Chu, 2025a年；Li, Wang, He, Chen, Xiao, Chua, 2020年；Sagar, Garg, Kansal, Bhalla, Shah, Yu, 2020年；Song, Han, Li, Chen, Xu, Nie, 2019年）专注于通过整合用户行为数据来实现个性化时尚适配建模（PFCM）。其中，HFGN（Li等人，2020年）和MG-PFCM（Guan等人，2022年）利用图卷积网络（GCN）的多跳邻居建模能力（Kipf和Welling，2017年），来捕捉服装、用户及商品之间的复杂关系。此外，多模态学习与注意力机制也被广泛用于提升特征表示能力以及用户与商品之间的互动建模，在医学诊断（Hassan, Saber, Abd El-Hafeez, Medhat, Shams, 2025a年；Li, Zhou, Xue, Zeng, Zhu, Wang, Yu, Xia, 2025b年）和手语识别（Hassan等人，2025b年）等领域取得了成功应用。最近的研究（Jiang, Wu, Deng, Long, Tang, Li, Liu, Jin, Zhang, Qi, 2024年；Shi, & Yang, Wang, He, He, Xu, & McAuley）则利用大型语言模型（LLMs）（Radford, Kim, Hallacy, Ramesh, Goh, Agarwal, Sastry, Askell, Mishkin, Clark等人，2021年；Sinha, & Gujral）来提升推荐的合理性与灵活性。研究人员还运用扩散模型的去噪与高质量生成功能，应用于推荐系统的各个层面，包括数据工程（Ma等人，2024a年）、模型设计（Malitesta等人，2024年）以及内容展示（Xu等人，2024年）。尽管这些方法表现优异，但它们很少考虑体型差异，因此推荐的物品可能无法完美贴合用户的体型，进而影响穿着舒适度（Zou和Wong，2021年）。虽然有一些开创性研究在PFCM领域探讨了用户体型问题，但现有的表征方法仍存在不足，可分为以下几类：（1）基于人体测量学的方法（Hidayati, Hsu, Chang, Hua, Fu, Cheng, 2018年；Jiang, Guo, 2019年）仅依靠胸围、腰围和臀围等身体尺寸及其数值比例。然而，由于隐私问题，收集如此详细且精确的用户数据十分困难。（2）基于3D模型的方法（Ma, Sun, Ma, Zhang, Ding, Zhang, 2025年；Sattar, Pons-Moll, Fritz, 2019年；Trakulwaranont, Kastner, Satoh, 2022年）利用带皮肤的多人线性模型（SMPL模型）（Choutas, Müller, Huang, Tang, Tzionas, Black, 2022年；Rong, Shiratori, Joo, 2021年；Zhu, Zuo, Wang, Cao, Yang, 2019年）来重建人体形状与姿态，然后提取简洁的体型参数（β∈R10），用以描述女性的柔美程度、身高或肌肉量等整体体型特征。不过，主成分分析方法会使得这些β参数在表示身体比例时出现偏差，而身体比例是PFCM中的关键因素（Bainbridge，2015年）。例如，在推荐定制西装时，准确的腰肩比非常重要。（3）融合型方法（Hsiao, Grauman, 2020年；Ma, Sun, Yang, Zhang, 2024b年；Pang, Zou, Wong, 2024年）结合了上述两种方法，以实现更全面的体型表征。然而，若缺乏人体测量数据，可能会影响用户身体特征的准确性，进而降低方法的性能。除了用户体型之外，每件服装都是为特定体型范围设计的，可能并不适合所有用户。图12(a)中的衬衫就不适合腹部丰满、臀部曲线明显的用户，而图1(b)中的衬衫则适合各种体型的人。同样，图1(c)和(d)中的连衣裙也是为身材普通或偏瘦的用户设计的。遗憾的是，现有的PFCM算法忽视了商品本身所体现的这一重要因素。受这些见解启发，本文提出了B2-PFR，这是一种全新的个性化时尚推荐框架，它同时考虑用户体型与商品目标体型信息，从而更精准地匹配用户偏好，并凸显其独特的体型特点。具体而言，该框架是在通用PFCM框架VTBPR（He和McAuley，2016年）的基础上发展而来的，后者利用成对的物品图片和文字描述来体现用户偏好，并以BPR作为损失约束函数。在此基础上，（1）我们提出了一种基于图像的用户身体表征方法，该方法能够从高精度的3D SMPL模型（由用户的日常照片及已有的测量数据构建）中捕捉整体身体特征，同时还能从这些3D模型的多视角2D投影中提取8项身体比例数据（详见表2）。（2）此外，我们还引入了商品固有的身体信息，以强化用户与商品之间的体型适配性建模。为了实现更精确的表征，我们设计了基于注意力机制的商品目标身体特征模块，该模块能够动态调整历史交互中的身体特征权重，从而准确把握每件商品适合不同体型人群的特点。（3）我们进一步通过基于注意力驱动的交互数据聚合方式优化视觉-文本偏好特征，从而更深入地了解用户的真实偏好。最后需要指出的是，如2.3节所述，目前尚未有涵盖多种体型的公开时尚推荐数据集，这种数据短缺可能会妨碍基于体型认知的PFCM算法的验证。因此，我们在第4节构建了Dress4BodyShape数据集，这是一个专为连衣裙推荐而整理的数据集，其中包含292名体型各异的用户数据（每位用户都提供了胸围、腰围、臀围和身高数据）、2,236件带有图片和文字元数据的连衣裙，以及6,039条用户与连衣裙之间的交互记录。由于连衣裙对体型的敏感度较高，本研究重点关注连衣裙领域。本文的主要贡献如下：•我们提出了B2-PFR，它首次同时整合了用户体型与商品固有的目标体型信息，同时还优化了用户偏好特征。•我们提出了一种新的用户身体表征方法，该方法能够准确呈现整体身体特征、8项关键身体比例数据，而且还能在缺少测量数据的情况下保持稳定性。•我们首创了将隐性的商品目标身体特征纳入个性化适配建模的方法，通过从隐性交互中挖掘用户体型信息，并将其与可学习的注意力权重相结合来实现这一目标。实验结果表明，所提出的B2-PFR具有显著优势：它能够根据用户偏好和体型提供合适的连衣裙推荐，而且在不同的训练规模下都能保持稳定性（在Dress4BodyShape数据集上）；能够在IQON3000数据集上准确理解用户偏好（Song等人，2019年）；还能在2D图像转BMI数据集上实现准确的体型建模（Jin等人，2023年）。

时尚推荐方法起初，有许多推荐算法被提出用于衡量时尚商品的适配性（Faroughi, Moradi, Jalili, 2025年；Guan, Wen, Song, Yeh, Chang, Nie, 2021年；Han, Song, Yao, Xu, Nie, 2019年；Song, Feng, Han, Yang, Liu, Nie, 2018年）。例如，Song等人设计了AKD-DBPR（Song等人，2018年），该算法借鉴了FashionVC数据集中人类总结的时尚规则。Han等人则提出了PKD-DBPR（Han等人，2019年），该算法融入了概率统计知识。这两种方法也都采用了……

所提出的方法本文提出了B2-PFR，这是一种能够根据用户偏好并适配其体型的个性化时尚推荐方案。我们通过实际测试验证了其在服装推荐领域的有效性。如图2所示，B2-PFR框架是在VTBPR框架（He和McAuley，2016年）的基础上发展而来的（浅绿色区域），它由五个核心模块组成。物品多模态特征模块负责从物品图片和文字描述中提取视觉与文本特征。用户偏好特征模块……

用户选择我们从ViBE（Hsiao和Grauman，2020年）以及Model-Agency（Choutas等人，2022年）数据集中选取了用户，相关细节见表1。为涵盖不同体型、姿势和拍摄场景，我们最终选择了292名拥有四项身体测量数据（身高、胸围、腰围和臀围）的用户。

用户与连衣裙的配对构建这292名用户都有自己穿着连衣裙的照片，或者有对应的平铺连衣裙照片。对于前者，我们从两个公开的时尚数据集中手动挑选了与之最为相似的平铺连衣裙……

实验我们在Dress4BodyShape数据集以及两个真实世界数据集（Jin, Huang, Wang, Xiong, Tan, 2023年；Song, Han, Li, Chen, Xu, Nie, 2019年）上进行了大量实验，旨在回答以下问题：•问题1：我们提出的B2-PFR方法是否优于现有的最佳推荐算法？•问题2：所提出的各个模块如何影响B2-PFR的推荐效果？那些关键特征（即fuvt、fubody、fdbody）的实际效果如何？•问题3：在不同训练比例下，B2-PFR的稳定性如何？•问题4：……

伦理考量本研究遵循以人为中心的数据处理伦理准则。对于Dress4BodyShape数据集，所有的用户图片和人体测量数据均来自公共数据集（ViBE（Hsiao和Grauman，2020年）以及Model-Agency（Choutas等人，2022年）），并且仅用于研究目的，严格遵循这些数据集原有的使用许可。此外，我们还在所有用户图片中遮盖了面部特征，以避免直接识别身份。另外，这些经过面部遮盖的处理后的数据还被用来生成3D SMPL模型……

结论与后续工作本文提出了B2-PFR，该框架通过全面考虑用户体型、商品目标体型信息、用户行为数据以及商品的视觉-文本信息，从而提供准确且合理的推荐结果。具体而言，所提出的用户身体特征能够捕捉整体形态和关键比例数据。即便没有人体测量数据，该特征也能发挥良好作用，且在个人推荐和健康管理等领域具有广泛的适用性。我们还提出了隐性的商品目标……

CRediT作者贡献声明丁文欣：撰写——初稿、验证、软件开发、方法设计、形式分析、数据整理、概念构思。黄向东：撰写——审稿与编辑、指导、方法设计、形式分析、概念构思。张淑芳：撰写——审稿与编辑、方法设计、研究实施、概念构思。

利益冲突声明作者声明自己不存在任何可能影响本文研究结果的已知财务利益或个人关系。