DCI-OSC：用于识别物体状态变化的双重因果干预方法

《Neurocomputing》：DCI-OSC: A dual causal intervention method for recognizing object state changes

　　

•提出后门干预场景分类器以控制混杂因素
•提出前门因果干预模块以切断虚假关联
•设计三个互补的损失项以提升学习性能
•在三个基准数据集上达到最先进性能

引言
物体状态变化（OSCs）[1]、[2]、[3]、[4]是视频理解领域的重要研究方向，在日常生活的各种场景中均有体现，例如烹饪[5]、装配[6]和工业制造[7]。在这些场景中，物体由于人为操作或自然变化过程，频繁经历显著的状态转换，包括切割水果、将蛋糕从生熟状态烹饪成熟、将金属加工成特定形状等。准确识别和理解这些变化不仅对于揭示人类行为的意图至关重要，也对评估任务完成程度具有重要意义。因此，在机器人操作[8]、增强现实[9]和视频内容分析[10]等领域中，研究OSCs任务迫在眉睫。

然而，数据集偏差仍然是视频OSCs任务中普遍且极具挑战性的问题。现有研究[3]、[11]、[12]、[13]、[14]、[15]通常使用未编辑的视频作为训练数据集，这些数据集往往存在背景场景与因果场景数量之间的不平衡。这种不平衡对学习过程产生重大影响，导致模型捕捉真实因果关联的能力降低。

如图1顶部所示，数据集偏差导致背景场景与因果场景比例失衡。与因果场景相比，背景场景在数据集中通常表现出高频特征。尽管背景场景频繁出现，但它们往往是静态的或视频序列中不经历变化的组成部分，与物体状态变化没有直接关联。相反，因果场景是视频序列中物体状态变化的关键部分，代表了真正的因果关联。不平衡的数据集偏差引入了混杂因素，导致模型依赖背景场景与状态变化之间的虚假相关性，而忽视了真正的因果关联。如图1底部所示，视频序列主要由静态苹果组成，仅有有限数量的因果场景描绘了状态变化，例如"切割苹果"。这种混杂因素导致模型过度依赖背景信息进行预测，从而降低了对因果场景的关注度。结果，模型错误地将背景场景中静态的苹果识别为正在经历状态变化。同时，由于背景场景的影响，在识别"切割苹果"的状态变化时，模型可能错误地学习到"刀"与"苹果"之间的关联，并假定刀的出现意味着苹果正在经历状态变化，从而误判苹果的实际状态。

为了克服这些挑战，一个直观的解决方案是通过目标干预来解耦纠缠的因果效应。现有的OSCs方法主要依赖观察性相关性，容易受到数据集偏差的影响。例如，如图1所示，模型可能由于"苹果"在背景场景中频率较高而将其与状态变化错误关联（通过后门路径的虚假相关），或仅基于"刀"与"切割苹果"的共现而将它们关联起来（通过前门路径的未观测混杂）。受因果层次理论[16]启发，我们认为解决此类偏差需要在两个互补层面进行干预：(1)针对已观测混杂因素的后门干预。因果场景与背景场景之间的不平衡可以通过分层来缓解。通过应用Pearl的后门调整[17]，我们将训练数据划分为因果/背景子群体，使模型能够学习因果关联。(2)针对未观测混杂因素的前门干预。物体级别的虚假相关（例如"刀-苹果"关联）通常源于未测量的中介变量。根据前门准则[18]，我们引入全局词典作为中介，生成反事实场景，强制打破错误的物体-状态依赖关系。虽然后门调整控制了场景级别的偏差，但无法消除物体特定的虚假相关（例如，在因果场景中刀可能仍然被错误地与苹果关联）。相反，前门调整直接干预物体-状态路径，但需要场景分层以避免过度干预。因此，双重机制提供了一个层次化的去偏框架：后门干预"净化"场景表示，而前门干预"清理"物体交互。

尽管因果推断已越来越多地被引入视觉理解中以缓解数据集偏差和虚假相关，但现有方法主要设计用于跨模态表示学习或一般视觉推理，其中混杂因素通常在单一表示或模态层面处理。相比之下，OSCs涉及两种耦合的偏差来源：背景片段与因果片段之间的场景级别不平衡，以及相关无关上下文物体与状态变化之间的物体级别虚假关联。仅解决其中一个偏差是不够的，因为抑制背景混杂并不一定消除错误的物体-状态关联，而在未首先识别因果场景和背景场景的情况下，直接干预物体级别的关系可能不可靠。这促使我们开发一个专门针对OSCs的双重因果干预框架，以互补的方式解决这两种偏差来源。

基于上述问题，我们提出了一种基于因果推断的新型视频OSCs学习方法DCI-OSC。该方法利用双重干预机制来减少混杂因素对预测的干扰。它采用后门干预场景分类器和前门因果干预模块来帮助模型捕捉真实的因果关联。具体而言，后门干预场景分类器旨在通过后门调整对视觉输入进行因果干预，以从视频序列中提取背景场景和因果场景。它有助于减少混杂因素对预测结果的干扰。其次，前门因果干预模块旨在通过从全局词典中随机采样来替换背景场景，从而通过前门调整形成新的干预场景。这一新的干预场景有效地消除了无关物体与状态变化之间的错误关联。使用干预场景作为训练数据使模型能够捕捉物体状态变化的真实因果关联，从而提高了模型状态预测的精度。

最后，我们分别对因果场景、背景场景和干预场景进行预测，并设计了三个损失函数：(1)因果场景损失。用于逼近真实标注，反映视觉输入与预测结果之间的真实因果关联。(2)背景场景损失。用于通过均衡其干扰来削弱背景场景的负面影响。(3)干预场景损失。干预场景切断了背景与物体状态变化之间的错误关联，通过与因果场景损失对齐来引导模型更好地学习真实因果关联。DCI-OSC的总体目标函数是上述三个损失函数的总和。我们的贡献总结如下：
•我们使用因果图对OSCs任务进行建模，并识别出其中固有的数据集偏差问题。据我们所知，我们是第一个这样做的。
•我们提出了一种基于双重因果推断的视频OSCs学习方法DCI-OSC。与当前主流方法不同，DCI-OSC通过双重因果干预消除了混杂因素的负面影响，利用了视觉输入与预测结果之间的真实因果关联。此外，我们设计了三个互补的损失项来增强学习能力。
•在ChangeIt [11]、Changeit（开放世界）[14]和HowToChange [14]上的大量实验表明，DCI-OSC在精度和泛化性方面相比现有主流方法具有显著优势。

论文剩余部分结构如下：第2节介绍相关工作。第3节详细阐述所提出的方法。第4节介绍在ChangeIt、ChangeIt（开放世界）和Howtochange数据集上进行的实验。第5节讨论所提出方法的局限性。第6节对论文进行总结。

片段
物体状态变化
在视频理解领域，物体状态变化[19]的研究以及相应的动作识别[20]已成为一个突出的研究兴趣领域，通过有监督[21]和无监督[22]方法进行了广泛探索。研究人员利用视频中运动和外观的时间变化，对动作检测[23]、分类[24]和定位[25]、[26]进行了深入的研究，试图

所提出的方法
在本节中，我们将首先对OSCs任务进行正式描述，并引入因果图从因果角度进行分析。随后，我们全面描述DCI-OSC的每个模块。DCI-OSC的总体概述如图2所示。最后，我们给出总体目标函数。

实验
在本节中，我们通过充分的实验评估了DCI-OSC的性能。为了验证DCI-OSC及其模块的有效性，我们将其与当前最先进的方法进行比较，并进行消融实验。此外，我们展示了一些定性分析来验证DCI-OSC的因果推理能力。

局限性
尽管DCI-OSC在多个OSCs基准上取得了具有竞争力的性能，但仍存在若干局限性。首先，当前实现假设每个视频的OSCs类别是已知的，并使用类别名称作为分离因果场景和背景场景的语义线索。虽然这种设置与标准OSCs基准一致，但不准确或有歧义的类别线索可能会降低场景分离的可靠性，从而影响后续的因果干预。其次，

结论
在本文中，我们通过因果图分析了物体状态变化（OSCs）任务，发现OSCs任务中由于数据集偏差，背景场景与因果场景的数量存在不平衡。此外，错误的关联经常影响现有模型的性能。为解决这些挑战，我们提出了一种基于因果推断的视频OSCs学习方法DCI-OSC，通过双重干预机制提高了状态预测精度。DCI-OSC减少了

CRediT作者贡献声明
王志超：撰写——原始草稿、可视化、验证、软件、项目管理、方法论、形式化分析、数据整理、概念化。黄述成：撰写——审阅与编辑、资金获取。焦逸凡：撰写——审阅与编辑、可视化、验证。钱胜生：撰写——审阅与编辑、监督、软件。

利益冲突声明
作者声明，他们没有已知的财务利益或个人关系可能对本文所报道的工作产生影响。

王志超于2023年从中国镇江市江苏科技大学获得硕士学位。目前他正在中国天津市天津工业大学攻读博士学位。他的研究方向包括视频理解、因果推断和多模态大语言模型。

王志超 | 黄述成 | 焦逸凡 | 钱胜生