基于反事实特征的 Feature Disentangle 方法用于生成无偏见的场景图

《Displays》：Counterfactual-based feature disentangle method for unbiased scene graph generation

　　卓浩|何俊|于乐军|孙波
北京师范大学人工智能学院，北京，100875，中国

**摘要**
场景图生成（SGG）的核心在于理解物体之间的关系。图像中这种关系的表示涉及物体的内在属性以及物体所处的状态。“物体语义”表示决定了物体标签的识别，“状态”表示对物体间关系推理的影响更大。总之，物体语义特征与关系分类特征在表示上存在融合。在本文中，我们提出了一种特征解耦方法来提高无偏场景图生成的性能。通过分析结构因果模型（SCM）中的不同因果路径，我们提出了一种基于反事实的互信息最小化方法来进行特征解耦。我们利用冯·米塞斯-费希尔（vMF）分布动态构建物体类别中心，并通过一种反事实思维过程最小化物体特征与关系特征之间的互信息，该过程从关系特征中减去物体中心。反事实思维过程被集成到模型训练过程中，确保特征表示符合互信息最小化的约束。所提出的特征解耦方法提高了结构因果模型表示与实际场景图生成模型训练过程的一致性。实验结果表明，使用特征解耦方法后，场景图生成模型可以进一步提高去偏性能。

**引言**
场景图生成（SGG）任务的核心在于识别物体之间的关系。现有的场景图数据集存在严重的长尾问题。这种关系类别的不平衡分布影响了特征表示。由于关系特征的表示依赖于物体的图像基视觉特征，物体的表示进而影响关系表示。关系特征表示对物体特征的依赖性导致关系建模受到物体类别语义的影响。图1展示了物体与关系表示之间的纠缠。该图显示了两种不同类型的关系：“站立在……上”和“吃”。可以看出，对于相同的关系类别，涉及的物体类别可能不同；然而，对于不同的关系类别，相同的物体类别也可能出现。例如，“站立在……上”这一关系描述了不同动物与地面之间的关系，“大象”和“长颈鹿”是图像中具有不同表示的不同动物对象，但它们共享相同的关系“站立在……上”。同样地，在“吃”这一关系中，“长颈鹿”也可能参与其中。这意味着场景图生成模型需要理解不同物体类别之间关系表示的一致性。
不同物体之间的关系表示表明，关系特征并不严格绑定到特定的物体类别。相反，关系反映了图像中物体之间的上下文联系，因此仅基于物体类别来确定关系是不可靠的。为了方便起见，我们将确定物体类别的信息称为物体语义特征，将确定关系的特征称为关系分类特征。由于关系特征的构建依赖于实际场景图生成模型中的物体特征，状态特征在确定关系分类中起着更决定性的作用。确定关系需要考虑图像中物体的类别和状态。物体语义特征与关系分类特征之间的纠缠对模型训练有重大影响。我们可以用因果推理理论来解释这种纠缠的影响。如图2(a)所示，这是场景图生成任务的结构因果模型（SCM）[1]。这里，I表示图像，X表示物体特征，O表示物体标签，Y表示关系标签。在实际模型构建中，X表示用于关系识别的物体对特征[1]。因果路径I→X表示物体检测分支；基于检测到的物体，可以构建物体对特征。因果路径I→Y表示图像中的上下文信息，这影响关系预测；因果路径X→Y表示使用物体对特征来识别关系，反映了物体表示对关系分类的影响，可以视为物体状态信息；因果路径X→O→Y反映了物体类别对关系分类的影响，表明了物体语义对关系分类的作用。场景图生成模型的结构因果模型揭示了模型训练中偏差的潜在原因。利用基于结构因果模型的因果推理方法有助于设计去偏学习策略，通过限制模型沿因果路径增强特征表示，从而提高特征相对于标签语义的不变性，进而增强模型减轻偏差的能力。因此，构建结构因果模型至关重要。
结构因果模型构建的核心在于其与模型训练机制的对齐。然而，图2(a)中显示的现有结构因果模型在关系表示方面仍面临挑战。因果路径X→O→Y和X→Y是两个起点相同X的不同因果路径，揭示了物体语义特征与关系分类特征之间的纠缠。用于路径X→O→Y的物体语义特征可能会影响路径X→Y，反之亦然。特征的纠缠导致结构因果模型与实际模型设计之间的不匹配。物体的长尾分布影响了特征使用的纠缠。现有的场景图生成方法通常通过组合物体特征然后将它们纳入模型训练来构建关系特征。然而，用于物体识别的特征与用于关系分类的特征本质上不同，物体语义的分布因此影响了关系分类。现有的模型训练方法没有考虑这种纠缠，这使得在长尾数据分布下为尾部类别构建稳健的特征表示变得具有挑战性。在本文中，我们提出了一种特征解耦方法，以提高结构因果模型与模型设计之间的一致性，从而提高去偏性能。本文的贡献可以总结如下：（1）我们提出了一种基于特征解耦的去偏场景图生成框架，具体来说，我们设计了通过互信息最小化来解耦物体语义特征与关系分类特征的模型，从而提高去偏性能；（2）我们引入了使用冯·米塞斯-费希尔（vMF）分布动态估计物体类别中心的方法，并结合反事实思维构建了互信息最小化方法，使得整个过程能够集成到模型训练过程中。

**部分内容摘要**
场景图生成是图像理解的重要任务。现有方法主要集中在构建有效的消息传递机制以改善关系特征表示。Zellers等人[2]采用两级LSTM模型来嵌入关系的上下文信息并取得了有效结果。Tang等人[3]构建了树结构以显著建模空间和语义关系。然而，由于数据集的长尾分布……

**方法**
在本节中，我们首先介绍第3.1节提出的特征解耦方法，然后在第3.2节解释我们的反事实思维的结构因果模型视图。

**实验设置与实现**
我们采用广泛使用的Visual Genome数据集[21]及其VG150版本[22]进行实验。我们在三种场景图生成设置上评估了我们的方法：谓词分类（PredCls）、场景图分类（SGCls）和场景图检测（SGDet）。对于评估指标，我们使用平均召回率@K（mR@K）和召回率@K（R@K），其中K分别为20、50和100。我们的实现基于场景图生成框架[23]。我们的方法可以与现有的……

**结论**
为场景图生成任务构建结构因果模型（SCM）表示是有价值的，因为它提供了一种图形化表示工具，建立了任务与因果推理理论之间的联系。这使得可以将因果推理理论应用于模型设计。在本文中，我们提出了一种特征解耦方法来提高场景图生成的去偏性能。通过进一步使SCM表示与实际模型设计对齐，模型可以实现……

**作者贡献声明**
卓浩：方法论、调查、数据整理、写作——原始草稿。
何俊：写作——审阅与编辑、监督。
于乐军：概念化、调查、资金获取。

**未引用的参考文献**
[24]

**利益冲突声明**
作者声明他们与本工作无利益冲突。我们声明我们没有任何与提交的工作相关的商业或关联利益冲突。

**致谢**
本工作得到了中国国家自然科学基金（授权号62177006）、广东省自然科学基金（授权号2025A1515010136）的部分支持，以及广东省本科课程教学与研究办公室建设项目（jx2022303）的支持。此外，本工作还得到了北京师范大学珠海分校跨学科智能超级计算中心的支持。