《Pattern Recognition Letters》：Rank Correlation Graphs with Mutual Neighborhood Weighting for Graph Convolutional Networks in Image Classification
编辑推荐：
•我们的方法——密度引导相关性图（DGCG），通过秩相关构建GCN输入图。•我们提出DGCG+，通过引入互邻域得分对边进行加权，扩展了DGCG。•秩相关定义拓扑结构；互邻域得分为连接的可靠性赋予权重。•通过二分搜索，以目标图密度为引导自动选择阈值。•与传统基线及近期基线相比，
- •
我们的方法——密度引导相关性图（DGCG），通过秩相关构建GCN输入图。
- •
我们提出DGCG+，通过引入互邻域得分对边进行加权，扩展了DGCG。
- •
秩相关定义拓扑结构；互邻域得分为连接的可靠性赋予权重。
- •
通过二分搜索，以目标图密度为引导自动选择阈值。
- •
与传统基线及近期基线相比，DGCG+取得了具有竞争力或更优的结果。
引言
随着图卷积网络（GCN）的采用，半监督学习取得了显著进展，GCN已被证明在捕获数据的结构关系方面特别有效，适用于广泛的应用场景[1]、[2]。尽管近期出现了图Transformer等替代方案，经典GCN仍出人意料地具有竞争力，在许多设置中经常能达到最先进水平的结果[3]。与此同时，这些模型本质上对图的构建方式非常敏感，使得有效的图建模成为关键因素。
与具有固有关系结构的领域不同，图像数据通常缺乏显式的图表示，这给GCN在计算机视觉中的应用带来了额外的挑战，尽管其受欢迎程度和适用性日益增长[1]。这一困难源于从图像构建图时产生的两个基本挑战：（i）定义拓扑结构，即在缺乏显式关系的情况下哪些节点对应该被连接[4]；以及（ii）定义边权重，因为次优的权重评分会削弱消息传递[5]。
为了计算拓扑结构，一种常见策略是为每张图像构建单独的图，然后匹配所得的图表示[5]、[6]。虽然这种方法能够捕获精细的视觉特征，但会带来巨大的计算开销，尤其是在成对图匹配阶段[4]。至于边加权，大多数现有方法仅依赖从骨干网络提取的特征相似性[7]，在某些情况下还依赖学习得到的评分函数，这会引入相当大的计算开销[1]、[4]。一些方法还依赖于并非总是可用的辅助标注，需要额外的标注工作[8]。
受这些局限性的启发，我们针对图建模和边加权两方面，研究了超越严格成对比较的上下文信息的使用，这些信息例如通过相似性排名和邻域结构来获取[9]、[10]。我们提出了密度引导相关性图（DGCG）[11]，通过基于排名相关性的排名上下文相似性度量来建模图，使边不仅反映逐点相似性，还反映其邻域中编码的信息。DGCG不是针对每个数据集调整相关性阈值，而是通过目标固定图密度来选择阈值。
在本文中，我们将DGCG[11]——原本定义在无权重图上——扩展为加权变体DGCG+，其中每条边被赋予一个由其端点平均互邻域导出的置信度分数。所提出的加权方法通过利用互惠邻域密度[12]来捕获局部邻域的紧密程度，互惠邻域密度最初用于图像检索中的无监督有效性估计。在这种解释下，边权重作为其端点联合有效性的代理：嵌入在强互惠邻域中的节点对被认为是更可靠的，因此被赋予更大的权重。
DGCG+的总体思路是秩相关和互邻域信息作为互补的上下文信号：前者确定哪些节点对应该被连接，定义图的拓扑结构，而后者量化每条连接有多可靠，在消息传递过程中调节其影响力。两种信号均直接从相似性排名中获取，无需额外监督或学习得到的评分函数，这使该构建方法具有广泛的适用性。
主要贡献总结如下，其中条目（iii）至（vii）为本扩展独有：（i）DGCG通过图像间的秩相关定义边，捕获超越成对相似性的上下文信息；（ii）它使用密度系数通过二分搜索自动选择阈值，生成的图比kNN及其他基线更稀疏；（iii）DGCG+通过互邻域得分对边进行加权来扩展DGCG，该得分量化连接的可靠性；（iv）DGCG+在大多数设置中超越DGCG；（v）秩偏重叠（RBO）成为最一致的相关性度量，在评估的设置中提供可靠的默认选择；（vi）无监督的互邻域加权经验表明倾向于同类（同质性）边；以及（vii）即使在缩减的训练规模（3.4%至20%）下，我们的方法也能取得提升。
在全文中，我们明确区分了DGCG——我们在之前会议论文中引入的无权重密度引导拓扑[11]——和DGCG+——本文提出的加权扩展。
章节摘要
所提方法
所提方法按照一系列顺序步骤进行，如图1所示。步骤C和D（分别为黄色和橙色）代表核心贡献，其中D——互邻域加权——是主要扩展。DGCG[11]包含除D以外的所有步骤，而D是由DGCG+引入的。该方法按如下步骤进行：
- label=, atemsep=2pt, parsep=0pt, topsep=2pt
特征提取：预训练的深度神经网络从数据集中的每张图像中提取特征。
- lbbel=, btemsep=2pt, pbrsep=0pt, topsep=2pt
计算排名列表：最相似图像的排名列表
实验协议
我们在四个公开可用的图像数据集上评估了我们的方法：（i）Flowers[21]，包含1,360张图像，涵盖17个花卉类别；（ii）Pets[22]，包含37个宠物类别的7,390张图像，姿态和背景变化较大；（iii）CUB200[23]，包含200个鸟类物种的11,788张图像，用于细粒度识别；（iv）Dogs[24]，包含120个犬种的20,580张图像，类间变化较低。
特征提取使用在ImageNet上训练的三种深度学习模型完成：
实验结果
我们的实验分析组织如下：首先设置DGCG+的主要超参数，然后将其与基线图、原始DGCG以及近期文献进行对比评估，最后在变化的训练规模下进行评估。我们将k=40同时用于相关性计算和互评分，对于图密度，我们采用DGCG[11]中使用的区间[δ_low, δ_high] = [0.03, 0.04]。额外的超参数分析、计算测量、边一致性
结论
在本工作中，我们提出了基于秩相关的图作为半监督图像分类中GCN的输入，结合了两种互补的上下文信号：秩相关决定哪些节点对应被连接，互邻域得分量化每条连接的可靠性。DGCG——我们之前的会议方法——使用秩相关定义图的拓扑结构，阈值通过密度引导的二分搜索选择。DGCG+——本文提出的扩展
CRediT作者贡献声明
Gabriel Maia Brito：写作——审阅与编辑、写作——原稿撰写、可视化、验证、软件、方法论、调查研究、形式化分析、数据整理、概念化。Rafael Mendon?a Duarte：写作——审阅与编辑、验证、软件、调查研究、形式化分析。Lucas Pascotti Valem：写作——审阅与编辑、写作——原稿撰写、监督、资源、项目管理、方法论、调查研究、资金获取、形式化分析。
利益冲突声明
作者声明他们没有已知的竞争性经济利益或个人关系，这些利益或关系可能影响本文所报告的工作。
Gabriel Maia Brito|Rafael Mendon?a Duarte|Lucas Pascotti Valem
