基于扩散的解耦表示学习在存在未观测混杂因素时的工具变量回归应用

《Neurocomputing》：Diffusion-based disentangled representation learning for instrumental variable regression under unobserved confounders

　　何冰宇|孙建斌|崔瑞静
中国国防科技大学系统工程学院，长沙410073

摘要
在存在未观测混杂因素的情况下，如何从观察数据中估计因果效应仍是因果推断领域的核心挑战。尽管工具变量法提供了一种原理性的解决方案，但其成功应用严重依赖于预先指定的有效工具变量，而这一要求在实践中往往难以满足。为克服这一局限，我们提出了DRIV——一种基于扩散模型解耦表示学习的新型工具变量框架。DRIV首次利用扩散模型所具备的稳健解耦表示学习能力，直接从观测协变量中分离出外生变化，从而无需预先识别有效的工具变量候选项。该框架通过统一的交替训练设计，将工具变量生成与反事实预测无缝整合。它采用带噪声注入的扩散编码器，将协变量分解为相互独立的潜在因子：工具变量、混杂因素、调整因素以及噪声。此外，还通过基于信息论准则的正则化损失函数，确保满足工具变量的三个核心有效性条件：相关性、排他性和外生性。在合成数据及半合成基准测试上的实验表明，DRIV在多种下游估计方法中均优于现有方法，尤其在存在显著未观测混杂因素的场景下表现优异。这项工作为在没有传统工具变量的情况下进行可靠的反事实预测提供了一种稳健的数据驱动策略。

引言
反事实预测旨在估计在不同干预措施下的潜在结果，它在医疗保健、经济学和公共政策等领域的重要性不言而喻[1][2]。随着对稳健且可信赖的人工智能需求的增加，这一领域逐渐成为研究热点[3][4]。该任务的核心挑战在于混杂偏差，即当未观测变量同时影响处理分配和结果时，就会导致虚假关联和不一致的估计结果。人们通常假设“不存在未测量的混杂因素”，但这一假设在实践中往往站不住脚，因为许多混杂因素（如社会经济地位、遗传倾向）难以或无法全面测量[5][6]。

工具变量法通过利用外生变化来应对未观测混杂问题，为解决这一问题提供了原理性的框架。一个有效的工具变量必须满足三个核心条件：相关性（与处理变量相关）、排他性（仅通过处理变量影响结果），以及外生性（独立于所有混杂因素）[7]。一旦找到这样的工具变量，即使存在隐藏的混杂因素，也能实现一致的因果估计。近年来，深度学习与工具变量估计相结合，使得处理复杂的非线性关系成为可能，例如深度特征工具变量回归（DFIV）[8]和DeepGMM[9]等方法。这些方法展现了灵活的神经网络架构在模拟工具变量、处理措施和结果之间复杂依赖关系方面的潜力。

然而，这些先进的基于工具变量的方法都有一个共同的前提：它们都需要预先指定有效的工具变量。实际上，寻找这样的工具变量极为困难。仅凭观察数据很难验证工具变量的有效性条件（相关性、排他性、外生性），而且由于存在隐藏的直接效应或与未观测混杂因素的关联，许多候选工具变量很可能无效。可信工具变量的匮乏严重限制了工具变量法的实际应用，使得其在理论上的优势与现实中的效用之间存在巨大差距[10][11]。

为弥补这一差距，研究人员开始探索数据驱动的方法，试图从观测数据中生成有效的工具变量，而非依赖那些难以找到的预先指定候选项。早期的方法，如未加权等位基因评分（UAS）和加权等位基因评分（WAS）[12]，是通过对候选变量进行加权平均来构建工具变量，但当所有候选变量都无效时，这些方法就无法发挥作用。较新的表示学习方法，包括自动工具变量分解（AutoIV）[13]和基于变分自编码器的工具变量方法（VIV）[14]，则尝试利用变分自编码器和对抗训练来学习有效的工具变量表示。尽管这些方法取得了重要进展，但它们仍存在明显局限：往往缺乏同时满足三个工具变量有效性条件的模块化且严格的机制；可能隐含地假设在观测协变量空间中存在有效的工具变量表示；并且通常采用将工具变量生成与反事实预测分开的两阶段流程，从而导致误差传播和目标不一致，进而影响性能。

在本文中，我们提出了DRIV——一种基于扩散模型解耦表示学习的新型工具变量框架，它从根本上重新思考了有效工具变量的构建方式。我们的核心观点是，扩散模型凭借其通过可控噪声注入以及模拟扩散过程逐步结构的损失函数，能够学习到稳健且解耦的表示，因此特别适合从被未观测混杂因素污染的观测数据中分离出外生变化。与以往的研究不同，DRIV将工具变量生成与反事实预测整合到一个统一的、可微分的框架中，并通过交替优化来实现二者结合。我们设计了具有专门模块的理论基础架构，并配套相应的信息论正则化损失函数，以支持每个工具变量有效性条件。通过这种协同设计，生成的工具变量表示既具备统计有效性，又能为后续的估计任务提供最大程度的信息量。我们的主要贡献如下：
• 我们提出了DRIV，这是一种在缺乏有效工具变量候选项的情况下，基于扩散模型的新型框架，用于生成类似工具变量的有效表示。DRIV是首个利用扩散模型的表示学习能力来分离外生变化以用于因果推断的方法。
• 我们提出了一种基于交替训练的统一架构，该架构可同时学习生成有效工具变量并执行反事实预测，从而避免了以往两阶段方法的性能缺陷。
• 我们设计了一个具有理论依据的目标函数，通过专门的模块并结合信息论正则化，确保满足三个有效性条件（相关性、排他性、外生性），从而保证生成的工具变量表示具有统计有效性。
• 通过在合成数据及半合成基准测试上的广泛实验，我们证明DRIV在多种下游估计方法中均优于现有方法，尤其是在存在强烈未观测混杂因素的复杂场景下表现尤为出色。

本文的其余部分结构如下：第2节回顾相关研究；第3节明确问题定义；第4节详细介绍DRIV框架；第5节展示实验结果；第6节总结全文。

相关研究
用于治疗效果估计的解耦表示。在因果表示学习领域，一个基础性的研究方向就是从观测协变量中分离出具有不同因果作用的潜在因子，以此降低混杂偏差并提高估计精度。早期的方法通过最小化处理组和对照组之间的分布差异来学习平衡或重叠的表示，但它们并未从结构上区分协变量内部的差异。

问题表述
从观察数据中估计处理对结果的因果效应时，面临的核心挑战便是混杂偏差。混杂因素是指那些同时对处理和结果具有因果影响的变量，它们会引入虚假关联，掩盖真正的因果关系。我们将混杂因素分为两类：在协变量中被测量的观测混杂因素，以及未被纳入观测数据的未观测混杂因素。传统的解决方法依赖于“可忽略性假设”。

模型概述
如图2所示，所提出的DRIV框架将有效工具变量的学习视为一个集成式的深度表示学习任务，旨在满足三个典型的识别条件。该模型采用基于扩散的变分编码器，对观测协变量进行结构化的、可识别的分解，将其划分为四个在统计上相互解耦的潜在子空间：工具变量表示、混杂因素表示、调整因素表示以及噪声表示。

实验
本节对所提出的DRIV框架在存在未观测混杂因素时的反事实预测能力进行了全面评估。我们的实验分析围绕以下研究问题展开，以系统验证该方法的有效性与稳健性：
• RQ1：DRIV框架能否有效从观测数据中分离出有效的潜在变量，并生成可靠的工具变量？
• RQ2：DRIV的性能如何随不同条件变化？

结论
本文解决了在存在未观测混杂因素的观测数据中生成有效工具变量的核心问题。我们提出了DRIV框架，该框架将基于扩散模型的表示学习与信息论因果正则化相结合，用于学习类似工具变量的表示。其核心创新在于采用一种结构化的解耦策略，通过带有自适应噪声注入的扩散模型编码器，将观测协变量分解为四个相互独立的成分。

CRediT作者贡献声明
何冰宇：撰写——初稿、方法论、数据整理、概念构思。孙建斌：撰写——审阅与编辑、指导。崔瑞静：撰写——审阅与编辑、验证。

利益冲突声明
作者声明不存在任何可能影响本文所述工作的已知财务利益或个人关系。

致谢
本研究部分得到了中国国家自然科学基金的支持，项目编号分别为72471238和72431011。何冰宇于2024年在中国湖南长沙的国防科技大学获得系统工程学士学位，目前在该校攻读管理科学与工程专业的硕士学位。他的研究兴趣集中在因果推断、复杂系统以及系统工程领域。