优化多标签图像标注：一种结合CNN和Transformer的深度学习方法

《Scientific Reports》：Optimizing multi-label image annotation: a hybrid CNN-Transformer deep learning approach

　　

摘要

多标签图像标注仍然是一项具有挑战性的任务，原因在于标签分布极不平衡、存在共现的语义概念，以及标注数据中包含罕见或噪声较大的样本。为了解决这些问题，我们提出了ReSwinNet，这是一个结合了CNN和Transformer的混合框架。该框架利用ResNet-50进行细粒度空间特征提取，并通过分层自注意力机制利用Swin Transformer捕捉长距离依赖关系。一种令牌投影机制将多尺度CNN特征直接映射到与Swin Transformer兼容的表示形式中，从而绕过了传统的补丁嵌入方法，保留了传统补丁划分方法所丢弃的细粒度空间上下文。基于频率的标签剪枝策略通过仅保留语义稳定的标签来进一步减少标注噪声和类别不平衡问题，显著提高了训练的收敛性和预测的准确性。我们在两个基准数据集上进行了实验，并设置了多种标签配置，以确保评估的透明性和公平性。在Corel-5K数据集的374个标签全范围内，ReSwinNet的宏观F1分数达到了0.491，超过了10种最先进方法中的7种，并在所有对比模型中取得了最高的召回率。在仅保留65个标签的无泄漏剪枝设置下，ReSwinNet的宏观F1分数为0.701，mAP值为0.742，在相同的实验条件下优于所有对比方法。在IAPRTC-12数据集上，ReSwinNet在保留198个标签的剪枝设置下的宏观F1分数为0.596，mAP值为0.629，相对于最强的基线模型，mAP值提高了14个百分点以上。这些结果证明了结合空间感知的令牌融合和基于频率的标签过滤方法在大规模多标签图像标注中的有效性。