《Neurocomputing》:Superpixel-informed transformer for multi-label image classification
编辑推荐:
多标签图像分类旨在为单张图像分配一组相关的语义标签。然而当前方法常受困于区域证据混淆问题,其中小目标的线索会被主导区域稀释。除视觉模糊性外,解耦建模仍是普遍存在的难点,该方法将视觉特征提取与标签关系学习分离。为解决上述局限,研究人员提出超像素引导Transfo
多标签图像分类旨在为单张图像分配一组相关的语义标签。然而当前方法常受困于区域证据混淆问题,其中小目标的线索会被主导区域稀释。除视觉模糊性外,解耦建模仍是普遍存在的难点,该方法将视觉特征提取与标签关系学习分离。为解决上述局限,研究人员提出超像素引导Transformer(Superpixel-informed Transformer, SPiT),这是一种新型端到端框架。SPiT利用可微分超像素网络,将图像自适应分解为语义连贯的准对象区域。在这些区域之上,基于类别查询的Transformer随后执行统一的证据聚合与标签依赖建模。在PASCAL VOC 2007、MS-COCO 2014和ISIC 2018数据集上的实验结果表明,所提方法具有优越性,在上述三个基准上分别取得了93.06%、81.73%和56.72%的平均精度均值(mean Average Precision, mAP),性能优于现有技术。
该研究发表于《Neurocomputing》,针对多标签图像分类中区域证据混淆与建模解耦两大核心难题展开探索。多标签图像分类(Multi-label Image Classification, MLIC)作为计算机视觉的基础任务,旨在识别单幅图像中的所有语义概念,广泛应用于自动驾驶、医学诊断及基于内容的图像检索等领域。与单标签分类不同,真实场景的图像往往包含多个对象与复杂背景,其核心挑战在于如何从杂乱的视觉输入中为每个潜在标签有效聚合视觉证据,以及如何建模标签间复杂的语义依赖关系。当前方法面临的首要瓶颈是区域证据混淆:主流方法依赖卷积特征图的全局平均池化(Global Average Pooling, GAP)获取全局表征,这种策略会无差别地压缩全部空间信息,导致小尺度或非显著目标的特征被主导对象和背景杂波稀释或掩盖;引入注意力机制虽能聚焦信息区域,但仍偏向最显著的视觉对象,难以在多目标交织或遮挡场景中稳健地为每个类别分配专属视觉证据,其根源在于缺乏基于结构化准对象区域而非扁平像素网格的推理机制。另一关键局限是视觉证据与标签依赖的解耦建模:现有方法多采用两阶段范式,先提取固定视觉特征,再单独使用图卷积网络(Graph Convolutional Network, GCN)或循环神经网络(Recurrent Neural Network, RNN)等模块建模标签相关性,这种分离阻碍了视觉表征学习与语义关系建模的深度协同适应,即使端到端训练,标签依赖模块也多在独立语义空间运行,无法显式引导特征提取器关注解决语义模糊的关键空间区域。为此,研究人员提出超像素引导Transformer(Superpixel-informed Transformer, SPiT)这一统一框架,遵循“分解-聚合”原则协同解决上述问题。
研究人员开展本研究用到的主要关键技术方法包括:1. 提出任务驱动的可微分超像素模块,自适应将输入图像分解为语义连贯的准对象区域以提供结构化视觉证据;2. 构建基于类别查询的编码器-解码器Transformer架构,在分解区域上运行,将视觉证据聚合与标签依赖建模统一于单一端到端框架;3. 设计门控融合机制,自适应融合细粒度区域通路与粗粒度全局通路的预测结果以保障准确性与鲁棒性。实验在PASCAL VOC 2007、MS-COCO 2014和ISIC 2018三个标准基准数据集上开展,实现基于PyTorch框架,所有实验在NVIDIA RTX 4090 GPU上完成。
研究结果部分的主要内容如下:
多标签图像分类相关研究回顾显示,早期深度学习方法多采用二元关联范式,忽略标签间语义依赖;后续工作开始显式建模标签关系,但仍存在区域证据混淆与解耦建模问题。
预备部分定义了多标签图像数据集D={(xi, yi)}i=1n,其中n为训练样本总数,xi∈X?RH×W×3表示高度为H、宽度为W的图像,标签空间Y={l1, l2, …, lm}包含m个不同语义类别,yi=[yi1, yi2, …, yim]?∈{0,1}m为对应真实标注向量,yij=1表示类别lj存在于图像中,否则为0。
实验部分通过综合评估验证SPiT的有效性与鲁棒性,在三个基准数据集上与多种先进方法对比,结果显示SPiT分别取得93.06%(PASCAL VOC 2007)、81.73%(MS-COCO 2014)和56.72%(ISIC 2018)的mAP值,均优于现有技术。
结论部分指出,SPiT通过可微分超像素网络首先将图像自适应分割为语义连贯的准对象区域,再基于这些区域利用类别查询Transformer执行统一的证据聚合与标签依赖建模,结合门控融合机制,有效解决了区域证据混淆与解耦建模问题,为多标签图像分类提供了高效的新范式。
讨论与结论翻译部分强调,该工作提出的SPiT框架通过创新性的“分解-聚合”策略,成功应对了多标签图像分类中的核心挑战。其核心价值在于将结构化区域推理与统一的特征学习和关系建模相结合,实验结果的优越性证明了该方法的有效性。该研究得到国家自然科学基金(Grant No. 62176197)支持,作者Haixiang Li负责初稿撰写、软件实现、方法论设计、调查与概念化;Min Fang负责项目管理、调查与资金获取;Bo Chen负责可视化、资源与数据管理;Xiao Li负责文稿审阅编辑、验证与监督;Guizhi Wang负责可视化、验证与资源工作。研究人员声明不存在已知的可能影响本工作的竞争性财务利益或个人关系。