通过图像搜索：深入探索有助于美妆产品检索的实用特征

《ACM Transactions on Multimedia Computing, Communications, and Applications》：Search By Image: Deeply Exploring Beneficial Features for Beauty Product Retrieval

图像搜索在电商中面临数据变异和相似图像干扰问题，本研究提出美妆产品检索（BPR）的VM-Net模型，通过多特征变量注意力机制提升检索效果，并构建百万级图像数据集验证其抗干扰能力。

　　

摘要

在电子商务中，通过图像进行搜索虽然很受欢迎，但仍然具有挑战性，这主要是由于以下两个因素的干扰：i) 真实世界拍摄的图像存在数据差异（例如背景、姿势、视角、亮度）；ii) 查询数据集中的相似图像。本文研究了一个具有实际意义的问题，即利用神经网络进行美妆产品检索（Beauty Product Retrieval, BPR）。我们提取了多种类型的图像特征，并提出了一个有趣的问题：这些特征是否有助于 i) 抑制真实世界拍摄图像的数据差异，以及 ii) 区分数据集中外观非常相似但实际上不同的美妆产品，从而提高BPR的能力。为了解决这个问题，我们提出了一种新颖的变量注意力神经网络（Variable-Attention Neural Network，简称VM-Net），用于理解美妆产品图像的多种特征组合。鉴于目前公开发布的BPR训练数据集较少，我们建立了一个新的数据集，其中包含超过一百万张图像，这些图像被分类为20,000多个类别，以提高VM-Net及其他方法的泛化能力和抗干扰能力。我们在Perfect-500K基准数据集上验证了VM-Net及其竞争对手的性能，结果表明VM-Net在$MAP@7$方面明显优于竞争对手。源代码和数据集将在论文发表后公开。