引言
细粒度图像分析涉及在较宽泛的分类集合中对大量从属类别进行精确识别与检索。具体而言,细粒度分类问题处于通用物体识别(Lowe, 1999, Girshick, 2015)与更具专业性的任务(如人脸识别(Sudha et al., 2011, Paier et al., 2016))之间的中间位置。该领域被公认为计算机视觉中最重要且最具挑战性的方向之一,主要源于两个固有难题。第一个挑战在于类内差异巨大;如图1第一行所示,四张属于北美纹霸鹟(Acadian Flycatcher)物种的图像在姿态、视角和翅膀姿态上表现出显著差异。这种变异性往往超出了自动系统的判别能力,甚至对人类观察者而言也构成了明显挑战。第二个挑战源于视觉上相似的从属类别之间存在细微的类间差异。例如,如图1第一列所示,图像展示了不同鸟类物种,其外观高度相似,使得区分尤为困难——这一任务对人类而言同样具有挑战性(He et al., 2018)。解决这些复杂性对于提升细粒度分类系统的有效性至关重要。
这些从属类别在较宽泛的分类内表现出较高的整体视觉相似性,但在特定的判别区域(如头部或其他局部特征)上存在细微差异。因此,准确定位这些关键区域是实现有效细粒度分类的基础。该领域的最新进展得益于判别性定位技术的应用,从而在分类性能方面取得了显著改善(Zhang et al., 2016a, Simon and Rodner, 2015, He and Peng, 2017)。
后续研究工作致力于解决细粒度识别任务中高度相似且易混淆的类别外观所带来的挑战(T.-Y. Lin et al., 2015, Cai et al., 2017, Yu et al., 2018)。这些方法通常采用单图像输入策略,这限制了模型跨多个实例提取和利用多样判别线索的能力。相比之下,人类感知通常依赖于比较分析——例如,通过直接对比成对图像来识别细粒度物体,从而实现更准确的区分(Bruner, 2017)。这一差异凸显了通过多图像比较和关系推理来改进细粒度视觉分类的潜在途径。
为了模拟人类通过比较相似物体并聚焦细微细节来区分它们的能力,Zhuang等人(2020)提出了一种新颖的方法——注意力成对交互网络,用于细粒度分类。该方法从每对图像中自适应地捕获判别性线索和对比线索,通过成对交互实现准确区分。具体而言,API-Net网络通过比较有效区分两张细粒度图像,类似于人类感知。该网络架构由三个子模型组成:互向量学习、门向量生成和成对交互。首先,将一对细粒度图像作为输入。随后,API-Net学习一个封装了与该图像对相关的混淆线索的互向量。该互向量随后与每张单幅图像的向量进行比较,促使API-Net生成不同的门控,从每张图像的角度强调细微差异。这些门控随后被API-Net用作成对交互的判别性注意力。因此,每张图像都与两个增强的特征向量相关联,这些向量分别源自其自身的门控和另一张图像的门控。
在细粒度应用中,弱监督部件模型的使用也至关重要(Fu et al., 2015a, Fu et al., 2015b, Krizhevsky et al., 2012)。这些方法显著提高了细粒度检测的效率。通常,这些框架由两个组件组成:1) 通过训练正负图像块(Zhang et al., 2016a)或从预训练特征通道中识别来定位部件(Simon and Rodner, 2015),以及2) 通过选择性池化(Xiao et al., 2015)或从特征图密集编码(T.-Y. Lin et al., 2015)来学习细粒度特征。尽管取得了良好结果,但受限于网络的判别能力,部件定位和特征学习的有效性均有所降低。文献(Zheng et al., 2017)引入了MACNN-Net,强调了部件定位与细粒度特征学习之间的相互依赖性,表明二者相互增强。与Zheng et al. (2017) 类似的一些研究出现在Zhang et al., 2016a, Simon and Rodner, 2015, Xiao et al., 2015中,这些研究从卷积通道响应中学习候选部件模型。然而,MACNN-Net提供了两个关键优势:1) 部件的生成是从一组空间相关的卷积通道中学到的,而非缺乏稳健判别能力的独立通道。2) 细粒度特征学习与判别部件的定位通过多注意力卷积神经网络以相互增强的方式进行,从而确保从优化后的特征图中推断出多个代表性部件。
正如我们从细粒度视觉分类任务的先前工作中所见,仅专注于在单张图像中定位特定部件的模型(如MACNN-Net)与从成对图像比较中获益的模型(如API-Net)之间存在巨大差距。一方面,基于部件的方法提取了更具信息量的部件,从而带来更好的视觉分类效果,但它们忽略了成对比较的优势,而成对比较有助于在高混淆度从属类别中发现细微差异和相似之处。另一方面,成对模型可能因仅将整幅图像与其他类别的图像对进行比较而丢失判别性部件,无论是不同标签还是相同标签的情况。似乎通过融合基于部件和基于成对的方法,可以弥合FGVC研究中的这一差距,从而实现更好的分类效果。受此分析启发,我们提出了一种名为多注意力成对交互网络(MAPI-Net)的方法,该方法兼取基于部件和基于成对方法的优势,与各自分离的方法相比表现出更好的结果。
受上述工作的启发并为了克服它们的不足,我们提出了一种新的多注意力成对交互网络(MAPI-Net)。为此,我们的主要贡献如下:
(1)我们构建了一个多部件注意力模块(MA模块),用于解决与部件定位和特征学习相关的挑战,该模块能够在无边界框或部件标注的情况下执行细粒度检测。该结构由卷积、通道聚类和部件注意力分类器组成,接收整幅图像并输出多个部件注意力图。
(2)我们构建了一个成对交互模块(PI模块),该模块采用端到端学习方法结合分数排序正则化,鼓励模型动态优先处理判别性特征,从而生成更具层次感和可区分性的特征空间,增强成对分类性能。
(3)我们通过利用从MA模块中提取的定位部件——而非仅依赖整个全局图像——作为PI模块的输入来集成上述模块。这一设计使网络能够同时执行成对交互并利用高判别性的局部区域,成功地将基于部件的关注与成对比较的优势结合起来,以捕获细粒度应用中的细微类间差异。
本文的其余部分组织如下。第2节描述相关工作。第3节介绍所提出的方法。第4节提供评估与结果,第5节为结论。