自平衡神经网络：一种用于估计平均处理效应的新颖方法

《Knowledge-Based Systems》：Self-Balancing Neural Network: A novel method for estimating the average treatment effect

　　

摘要
在观测研究中，混杂变量同时影响处理分配和结果。工具变量也可能影响处理分配，进一步使因果结构复杂化。这些依赖性使得观测环境与完全随机对照试验不同，在后者的处理分配独立于协变量和潜在结果。因此，在不进行协变量调整的情况下，使用处理组之间的均值差异可能会产生有偏的平均处理效应 (ATE) 估计。一种标准方法是纳入估计的倾向得分，但倾向得分模型可能存在设定错误。为了解决这一限制，我们提出了自平衡神经网络 (Sbnet)，它通过平衡网络学习内部伪倾向得分。Sbnet 通过将平衡网络嵌入前馈神经网络中来估计 ATE。这提供了一个单阶段估计量，不需要单独的倾向得分估计或随后的插值调整。我们还开发了一个多伪倾向得分框架，其中使用多样化的平衡网络来提高估计精度。所提出的方法在四种模拟设置和真实数据集上与基准方法进行了比较。实证结果表明，在评估的设置中，Sbnet 取得了竞争性的表现，并且 ATE 偏差低于基准方法。

引言
观测研究已成为因果推断的主要焦点，特别是当伦理或资金约束使得随机对照试验 (RCTs) 不切实际时。尽管 RCTs 仍然是金标准 ([1])，但观测数据促进了临床和营销研究中的广泛应用。

与随机实验不同，观测数据集通常包含混杂，即协变量同时影响处理分配和结果。工具变量也可能影响处理分配，进一步使因果结构复杂化。这违反了处理分配的独立性假设。因此，在随机对照试验假设下导出的标准平均处理效应 (ATE) 估计量在非随机设置中可能会有偏。

倾向得分方法通过在处理和对照组之间平衡观测到的协变量来解决混杂问题，通常通过匹配 (PSM)、逆概率加权 (IPW) 和分层 ([1], [2], [3], [4]) 来实现。倾向得分可以使用常见的分类方法估计，包括逻辑回归和机器学习模型 ([1], [5])。 prior 工作也已使用机器学习模型来捕捉数据中的非线性结构。例如，DragonNet 通过将在因果估计中纳入倾向得分概念来扩展 TARNet ([6], [7])。相关的基于加权的方法还包括重叠加权，它强调共同支撑区域中的单元，当处理组重叠有限时可以提高效率 ([8], [9])。在同质处理效应下，重叠加权估计量和 IPW 估计量重合，而在异质处理效应下，重叠加权针对的是重叠人口而非全人口 ATE。本研究主要侧重于使用单阶段结果回归架构进行全人口 ATE 估计；因此，重叠加权作为相关的基于加权的文献进行讨论，而不是作为所提出的 Sbnet 框架的直接组成部分。

准确的倾向得分估计需要区分混杂变量、预测变量和工具变量 ([10], [11], [12], [13], [14], [15], [16])。在处理前变量中识别这些变量是倾向得分建模中的关键挑战。在实践中，正确的模型设定也很困难，使得倾向得分模型容易受到设定错误和偏差的影响。

双重稳健方法提供了另一种策略，因为它们要求处理模型或结果模型正确设定，但不一定两者都正确 ([17], [18])。当一个辅助模型设定错误时，这一特性可以提高因果推断的准确性。双重稳健原则也已通过双重机器学习 (DML) 估计量集成到机器学习中 ([19], [20], [21])。虽然 DML 有时被描述为速率双重稳健，但其稳健性取决于辅助模型的收敛速率，而不是设定的严格正确性。在实践中，处理模型和结果模型仍可能设定错误，这促使使用交叉拟合来减轻偏差。尽管如此，当辅助模型估计较差时，DML 估计量仍可能表现出有限样本偏差 ([22], [23])。

为了解决这些限制，本研究引入了自平衡神经网络 (Sbnet)，这是一个单阶段框架，联合学习平衡表示和结果模型。与分离辅助估计并依赖交叉拟合的 DML 不同，Sbnet 在训练过程中连续更新其内部平衡机制。这一过程减少了整体损失，并隐式定义了一个伪倾向得分。通过将平衡直接嵌入学习过程中，Sbnet 减少了对设定错误和有限样本偏差的敏感性，而不需要对辅助模型进行严格的收敛假设。因此，Sbnet 提供了一个统一架构，将平衡和结果建模集成到一个自适应系统中。

Sbnet 还不同于其他平衡方法，如校准加权和 CBPS (协变量平衡倾向得分；([24]))。校准加权通过显式矩条件强制协变量平衡，而 CBPS 估计受平衡约束的倾向得分，Sbnet 将平衡直接嵌入结果网络中。平衡输出通过反向传播期间的共享梯度进行更新，隐式定义了一个在整个训练过程中动态演变的伪倾向得分。这种感知结果的设计确保了调整与预测保持对齐，减少了对设定错误的敏感性，并避免了从单独估计的倾向得分传播偏差。

不同于联合优化倾向得分和结果模型的双输出架构，Sbnet 避免了误差传播的风险。在双输出设计中，倾向得分目标引入了一个额外的惩罚项，直接影响结果模型的梯度更新。这种耦合可能会扭曲优化路径：倾向得分模型中的设定错误会惩罚结果结构，导致有偏的处理效应估计。Sbnet 通过将平衡嵌入结果网络本身来解决这个问题，因此调整保持感知结果，并与预测动态对齐，而不是受单独的倾向得分目标约束。

本文的主要贡献总结如下：(1) 我们引入了一种单阶段估计框架，其中平衡网络嵌套在前馈架构内，允许模型在学习平衡表示的同时估计处理效应；以及 (2) 我们制定了一种多伪倾向得分策略，使用多样化的平衡网络来增强稳健性。

本文其余部分组织如下：第 1 节介绍了背景和动机。第 2 节概述了符号和假设。第 3 节详细说明了 Sbnet 架构和方法。第 5 节 模拟，第 6 节 应用展示了模拟研究和真实应用。最后，第 7 节提供了结论。

章节片段
符号、定义和假设
令三元组 {X,T,Y} 分别表示处理前变量、处理和结果，取值在 {X,T,Y} 中。令 n 表示样本量，k 表示处理前变量的维度。特征空间 X 定义在 Rn×k 上；二值处理空间 T 定义为 T∈{0,1}n，结果空间 Y 取值在 Rn 中。

协变量集 X 仅包含处理前变量。排除处理后的变量，因为对受...影响的变量进行条件处理

自平衡神经网络
自平衡神经网络 (Sbnet) 通过集成神经网络架构实现等式 (1) 中定义的结果回归公式。Sbnet 不使用单独的倾向得分模型（该模型容易设定错误），而是使用内部伪倾向得分进行自平衡。在优化过程中，伪倾向得分和结果是联合估计的；此处，伪倾向得分作为结果的预测变量

理论性质
Sbnet 强调伪倾向得分作为内部平衡表示的作用，有助于最小化整体损失函数。由此产生的损失减少为评估估计的 ATE 是否在提出的训练目标下一致提供了基础。这一主张在定理 4.1 中正式化。

为了确立所提出方法下 ATE 的一致性，我们首先提出以下命题。

命题 4.1
令 {a1,a2,…,an} 表示一组非负

模拟
我们进行模拟研究以评估所提出的方法。作为基准，我们考虑了 12 种现有的 ATE 估计方法，并在一系列数据生成设置中将它们与 Sbnet 进行比较。两种基准方法是使用 DoWhy 中的后门调整策略实现的，包括逆倾向加权 (DoWhy IPW) 和倾向得分匹配 (DoWhy PSM)。其余基准方法是 XGBTRegressor、LRSRegressor、MLPTRegressor、Causal Forest DML、Kernel DML。

应用
在本节中，Sbnet 用于在真实数据设置中估计 ATE。我们将 Sbnet 与模拟研究中使用的基准方法一起评估，并比较由此产生的 ATE 估计值。此外，我们通过跟踪训练轮次间连续估计的沃森斯坦距离来检查学习的伪倾向得分的收敛行为。

结论
总之，本文提出了一种用于估计平均处理效应的自平衡神经网络架构。该模型学习内部伪倾向得分表示，促进网络内的协变量平衡。与依赖单独指定的倾向得分模型的方法不同，所提出的方法将平衡机制直接集成到估计程序中，移除了对外部倾向得分模型的需求，用于协变量...

CRediT 作者贡献声明
Atomsa Gemechu Abdisa：写作 – 审查与编辑，写作 – 原创草稿，可视化，验证，软件，方法学，调查，形式分析，数据整理，概念化。Yuqi Qiu：写作 – 审查与编辑，可视化，监督，软件，方法学，资金获取，概念化。Yingchun Zhou：写作 – 审查与编辑，可视化，监督，资源，项目管理，方法学，资金获取，概念化。

利益冲突声明
作者声明，他们没有已知的竞争性财务利益或个人关系，可能出现在影响本论文报告的工作中。

致谢
本研究由中国教育部基础与交叉学科突破计划 (JYB2025XDXM904)、上海市自然科学基金 (24ZR1420400)、国家自然科学基金 (12401347 和 72331005)、上海市科技委员会基础研究项目 (22JC1400800) 以及上海市“科技创新行动计划”计算生物学重点专项 (23JS1400500 和 23JS1400800) 资助。

Atomsa Gemechu Abdisa|Yuqi Qiu|Yingchun Zhou