关系表示多样性增强：一种面向场景图生成的轻量级长尾学习方法

《IEEE Transactions on Computational Social Systems》：Relationship representation diversity enhancement for scene graph generation

　　摘要：当前主流的 scenes graph generation (SGG) 方法主要从语义标签的角度来解决长尾问题，例如通过设计无偏的模型架构或采用平衡采样技术。然而，仅关注语义偏差会忽视那些视觉上差异显著但语义相似的图像，从而导致特征表示产生歧义。为了弥合语义特征与多样化视觉内容之间的差距，我们提出了一种轻量级方法，称为关系表示多样性增强（RDE），以促进SGG模型的训练。为了同时兼顾信息丰富的视觉线索和稳健的语义，RDE采用参数化重建方法，将关系表示分解为高斯混合模型的均值和标准差参数。我们将RDE集成到几种典型的SGG方法中，并在Visual Genome数据集上进行训练，验证了RDE的有效性。实验结果表明，RDE在无需任何额外推理成本或模型结构修改的情况下，显著提升了现有方法的性能。