一种基于互信息的次模优化方法在因果效应估计中的协变量选择中的应用

《Knowledge-Based Systems》：A Mutual Information-Driven Submodular Optimization Approach to Covariate Selection in Causal Effect Estimation

基于互信息的子模态优化方法用于高维因果效应估计，通过量化协变量与结果和处理的互信息，结合子模态函数的递减特性，优化协变量选择以降低ATE估计的方差和偏差。实验表明该方法在真实数据（IHDP）和合成数据上优于Lasso、Causal Forest等基线方法，平均减少ATE绝对偏差6.95%，方差降低32.7%。

　　

张琪|钟浩

广州商学院信息技术与工程学院，中国广州，511363

摘要

在高维因果效应估计中，选择最优的协变量子集对于提高平均处理效应（简称ATE）估计的准确性和稳定性至关重要。传统方法通常依赖于线性假设或启发式方法来确定协变量的重要性，缺乏统一的、理论上有依据的框架。我们提出了一种基于互信息的次模优化方法来进行协变量选择。通过利用信息增益和冗余最小化的次模性质，我们的方法采用了一种自适应标准，该标准在平衡协变量与结果和处理的关联性方面同时考虑了特征多样性。贪婪算法高效地优化了这个标准，选择出能够最大化结合相关性增益和冗余惩罚的目标函数的协变量子集。实验结果表明，我们的方法优于现有的基线方法，包括次模方法和因果推断方法。在实际数据集上，与基线方法相比，我们的方法平均降低了6.95%的ATE绝对偏差；在合成数据集上，平均降低了32.7%的ATE方差。

引言

因果推断利用观测数据来估计处理对结果的影响，这是统计学、机器学习和计量经济学中的一个核心概念[1]。平均处理效应（ATE）是一个关键指标，其估计的准确性和稳定性在很大程度上取决于协变量选择[2]。在高维因果效应估计中，数据集通常包含大量的协变量。不相关或冗余的协变量可能会引入噪声，增加ATE方差，并导致过拟合[3]。因此，选择合适的协变量子集对于控制混杂因素、减少ATE方差以及提高模型的鲁棒性和可解释性至关重要[4]。在高维环境中，高效的协变量子集选择方法对于准确的因果效应估计是必不可少的[5]。 次模函数具有“收益递减”的特性，在特征选择、数据总结和资源分配等优化任务中具有显著优势[6],[7]。在高维因果效应估计中，将协变量选择建模为次模函数最大化问题可以有效平衡相关性和多样性[8]。首先，次模函数量化了信息增益，确保选择与结果和处理高度相关的协变量，从而提高ATE估计的准确性[9]。其次，它们通过最小化协变量之间的冗余来增强多样性并减少估计方差，避免选择高度相关的协变量[10]。此外，次模优化能够通过高效的算法获得接近最优解（具有$(1?1/\mathrm{e<mo>)</mo>}$的近似比），在计算效率和理论保证之间取得平衡，使其适用于高维数据[11]。这里介绍的次模优化框架整合了近期在高维数据分析方面的研究成果。例如，胡等人[12]提出了一个用于时间序列预测的进化模糊系统，利用层次结构来应对高维数据挑战。类似地，顾等人[13]应用了降维技术来改进高维分类，强调减少特征空间复杂性。此外，郭等人[14]提出的COR标准强调了为分布式估计任务选择最佳特征子集的重要性。这些研究与我们在因果推断中的协变量子集选择方法是一致的，都强调了降维和鲁棒优化技术。此外，郭等人[15]还研究了分布式主成分分析中的最优子集选择问题，与我们的优化方法有共鸣。

当前在高维因果效应估计中用于协变量选择的方法包括Lasso[16]、倾向得分[17]、因果森林[3]、LASSO-PS[18]、SIS[19]和DR-learning[20]。这些方法通常依赖于协变量重要性得分（如回归系数、倾向得分或基于树的协变量贡献[5]）来识别与处理和结果都相关的混杂因素。然而，它们存在明显的局限性：Lasso和倾向得分假设线性关系，这无法捕捉非线性依赖性，可能导致ATE估计有偏差[2]。虽然因果森林可以建模非线性关系，但它可能会忽略冗余的协变量，从而导致次优的子集和增加的方差[3]。LASSO-PS也受到相同的线性假设限制，可能会遗漏与结果相关的协变量。SIS关注边际效用，可能会忽略联合效应。DR-learning强调计算复杂性，并依赖于灵活的学习器来处理非线性数据。将协变量选择建模为次模函数最大化问题通过量化非线性相关性（通过互信息）和最小化协变量冗余来解决这些缺点，从而确保选择高度相关且冗余最小的子集，从而减少ATE方差[9],[10]。

本研究做出了三个关键贡献：

• •
  定义了一种新的次模函数，通过互信息量化协变量与结果和处理的相关性，同时通过惩罚项最小化协变量冗余，从而优化ATE估计的准确性；
• •
  将协变量子集选择建模为次模函数最大化问题，利用收益递减特性确保选择高度相关且冗余最小的协变量子集，显著提高估计的鲁棒性；
• •
  采用贪婪算法来解决次模最大化问题，提供一个
  $(1?1/\mathrm{e<mo>)</mo>}$近似解，确保计算效率的同时在高维数据中实现更优的ATE方差降低。

章节片段

因果效应估计

在因果效应估计中，协变量子集的选择对于确保平均处理效应（ATE）估计的准确性和稳定性至关重要。它控制了混杂因素，减少了估计方差，并提高了模型的鲁棒性。在高维环境中，不相关或冗余的协变量可能导致过拟合和方差增加，因此高效的协变量选择对于精确的因果推断至关重要。现有的方法包括：Lasso通过

次模优化方法

估计ATE的端到端工作流程包括五个关键步骤，如图1所示：

在因果推断中，协变量选择对于准确的ATE估计至关重要。在高维数据中，不相关或冗余的协变量可能会引入噪声，增加ATE方差并使模型不稳定。为了解决这个问题，我们提出了一种基于互信息的次模优化方法来进行协变量选择。该方法通过最大化

数据集

实验使用了两个实际数据集来评估因果推断中协变量选择方法的性能：

• •
  IHDP [44]：婴儿健康与发展计划（IHDP）数据集来源于20世纪80年代进行的一项随机对照试验，旨在评估早期教育和医疗干预对低出生体重婴儿认知发展（例如智商分数）的影响。在其半合成形式中，该数据集提供了已知的真实平均处理效应

结论

本研究介绍了MISOM，这是一种基于互信息的次模优化框架，用于因果效应估计中的协变量子集选择。通过将问题建模为次模函数最大化，并采用$(1?1/\mathrm{e<mo>)</mo>}$近似贪婪算法，MISOM有效地选择了与结果和处理高度相关的协变量子集，同时最小化了冗余。在四个合成数据集上的实验表明，MISOM比使用其他方法获得了更低的ATE方差

CRediT作者贡献声明

张琪：撰写——原始草稿，监督，软件开发，方法论，数据整理，概念化。钟浩：撰写——审阅与编辑，可视化，验证，监督，形式分析。

利益冲突声明

作者没有需要披露的相关财务或非财务利益。