ReLU积分概率度量及其应用

《Neural Networks》：ReLU integral probability metric and its applications

　　

**摘要**

我们提出了一种参数化积分概率度量（IPM），用于衡量两个概率测度之间的差异。所提出的IPM利用了基于修正线性单元（ReLU）激活的单节点神经网络的一种特定参数化判别器族。所提出的IPM可以产生具有良好的收敛速率的估计量，并且可以作为使用光滑非参数判别器类的其他IPM的替代方法。我们提出了一种高效的算法用于实际计算，提供了简单的实现方式且需要更少的超参数。此外，我们探讨了其在各种任务中的应用，例如用于因果推断的协变量平衡和公平表示学习。在这些应用中，我们证明了采用所提出IPM的算法提供了强有力的理论保证，且实证实验表明它们取得了与其他方法相当甚至更优的性能。

**引言**

衡量两个概率测度之间的差异在涉及深度神经网络的多种AI应用中发挥着重要作用。一个典型的例子是概率生成建模，其中生成对抗网络（Arjovsky, Chintala, Bottou, 2017; Goodfellow, Pouget-Abadie, Mirza, Xu, Warde-Farley, Ozair, Courville, Bengio, 2014）、矩匹配生成模型（Li et al., 2015）等方法旨在通过减小生成分布与真实数据分布之间的差异来学习深度生成模型。其他例子包括域适应（Long et al., 2018）、公平表示学习（Madras et al., 2018）和因果推断（Kong, Park, Jung, Lee, Kim, 2023; Wong, Chan, 2017）等。

在各种衡量此类差异的度量中，积分概率度量（IPMs）（Müller, 1997）因其概念清晰性和吸引人的理论性质而备受关注。设F为从X到R的有界可测函数f的一个函数类。对于给定的类F，两个给定概率测度P和Q之间的IPM，记为d_F(P,Q)，定义为在X上类F中P与Q之间的最大平均差异：

d_F(P,Q) := sup_{f∈F} |∫ f(dP ? dQ)| = sup_{f∈F} |E_X f(X) ? E_Y f(Y)|，其中X ～ P且Y ～ Q。

F中的函数通常根据应用的不同被称为判别器、批评者或对抗者。

判别器类F的不同选择会产生不同的IPM。例如，最大均值差异（MMD）（Gretton et al., 2012）通过选择再生核希尔伯特空间（RKHS）来定义，而沃瑟斯坦距离（Villani, 2009）则使用1-利普希茨函数集作为其判别器类。赫尔德IPM（Wang et al., 2023）和索博列夫IPM（Mroueh, Li, Sercu, Raj, & Cheng; Wong, Chan, 2017）分别选择赫尔德空间和索博列夫空间作为其判别器类。进而，不同的IPM会以不同的方式影响最终的估计量。较大的判别器类可以识别两个概率测度之间更复杂的差异，因此可以学习到更复杂的模式从而在最终估计量中产生更小的偏差。然而，通常而言，较大的判别器类会导致过拟合，从而产生更高的方差。此外，具有较大判别器类的IPM的数值计算更具挑战性。因此，需要找到一个较小的判别器类，同时能够识别两个概率测度之间的复杂模式。

相比之下，参数化IPM，即具有参数化判别器类的IPM，更加稳定、计算量更轻，且不太容易出现不良局部极小值。Kim et al. (2022a) 考虑了一个参数化判别器类 {sig(θ?z + μ) : μ ∈ R, θ ∈ R^d}，其中sig(·)是Sigmoid函数（即sig(z) = (1 + exp(?z))^{-1}），其对应的IPM称为Sigmoid-IPM（SIPM）。SIPM的一个有趣性质是它在理论上与具有更广泛判别器类（例如所有无穷可微函数集）的IPM等价。Kim et al. (2022a) 和Kong et al. (2023) 从实验上证明，SIPM在公平表示学习和因果推断中能够与现有的非参数IPM很好地竞争。

本文的目的是提出一种新的参数化IPM，称为ReLU-IPM，其中判别器类为 {(θ?z + μ)^+ : μ ∈ [?1,1], θ ∈ S^{d?1}}，其中 (·)^+ = max(·, 0) 表示ReLU激活函数，S^{d?1} 是R^d中的单位球面。我们提供了ReLU-IPM与赫尔德IPM之间一个有趣的理论关系，即ReLU-IPM是赫尔德IPM的上界。此外，我们证明了当赫尔德判别器足够光滑时，ReLU-IPM与赫尔德IPM渐近等价。令人惊讶的是，这些结果表明ReLU-IPM具有与非参数IPM相当的判别能力，尽管其判别器类具有简单的参数形式。

与SIPM相比，ReLU-IPM的一个重要优势在于ReLU-IPM覆盖了比SIPM大得多的IPM类。也就是说，ReLU-IPM作为具有赫尔德判别器的IPM的上界，而SIPM则作为具有无穷可微判别器的IPM的上界（Kim et al., 2022a）。注意，赫尔德光滑函数类远大于无穷可微函数类。详见备注2的额外讨论。

赫尔德IPM的优势在于通过控制赫尔德判别器的光滑性来控制判别器类的大小。相比之下，沃瑟斯坦距离的判别器类包含了所有可微函数，会过大；而MMD的判别器类仅包含非常光滑的函数（例如，使用高斯核的MMD包含无穷可微函数），会过小。然而，赫尔德IPM的计算很困难，因为赫尔德判别器需要由可计算的模型（如深度神经网络）来近似（Wang et al., 2023）。选择合适的深度神经网络（DNN）架构来近似赫尔德判别器会很困难，这使得赫尔德IPM未能得到充分重视。我们的理论结果表明，ReLU-IPM可以作为赫尔德IPM的替代IPM。

为了说明ReLU-IPM的有用性，本文考虑了两个AI应用——因果推断和公平表示学习。对于因果问题，我们在处理组平均处理效应（ATT）的协变量平衡（CB）估计量中使用ReLU-IPM。特别地，当真实输出回归函数足够光滑（赫尔德光滑）时，我们证明了使用ReLU-IPM的ATT的CB估计量（ReLU-CB）可以达到参数化速率。通过分析模拟数据，我们展示了ReLU-CB优于其他竞争方法，包括SIPM。另一方面，公平表示学习（FRL）的目标是训练神经网络产生对预测有用但对敏感属性信息较少的表示（Beutel, Chen, Zhao, & Chi; Madras, Creager, Pitassi, Zemel, 2018; Zemel, Wu, Swersky, Pitassi, Dwork, 2013）。FRL的一种常见方法是最小化由敏感群体间表示分布差异惩罚的交叉熵（Deka, Sutherland, 2023; Kim, Kim, Kong, Ohn, Kim, 2022a）。我们考虑使用ReLU-IPM作为分布差异度量，并证明了训练好的神经网络的公平性可以由ReLU-IPM很好地控制。此外，通过分析几个基准数据集，我们证明了使用ReLU-IPM的公平表示学习算法与学习公平神经网络的各种基线算法相比表现良好。

本文其余部分组织如下：第2节详细回顾了IPM，讨论了其在机器学习背景下的定义、应用和局限性。我们在第3节中引入了所提出的度量ReLU-IPM，并分别在第4节和第5节中展示了其在因果推断和公平表示学习任务中的应用。最后，第6节总结了本文并提出了未来研究方向。

**符号说明**

向量和矩阵用粗体字母表示。设N = {1, 2, …}为自然数集。对于给定的两个序列 {a_n} 和 {b_n}，符号 a_n ? b_n 和 a_n ? b_n 分别表示存在一个正常数c，使得对所有n，有 a_n ≤ c·b_n 和 a_n ≥ c·b_n。当 a_n ? b_n 且 a_n ? b_n 时，我们记为 a_n ≈ b_n。对于 a ∈ R，令 ?a? 和 ?a? 分别表示下取整函数和上取整函数，即将a分别取整到下一个严格更小的整数和更大的整数。我们将 **0** 和 **1** 分别表示对应维度空间中的全零向量和全一向量。对于给定的条件或事件A，I(A) 表示指示函数，其中当A为真时 I(A) = 1，当A为假时 I(A) = 0。

**各节内容概览**

**现有IPM综述**

本节综述了常用的IPM。

**沃瑟斯坦距离** 给定两个分布P和Q，p-沃瑟斯坦距离定义为：

W_p(P, Q) := (inf_{π∈Π(P,Q)} ∫_{X×X} d(x, y)^p dπ(x, y))^{1/p}，

其中d(x, y)是两点x和y之间的距离，Π(P, Q)是所有边际分布为P和Q的联合概率测度（耦合）π(x, y)的集合。根据康托罗维奇-鲁宾斯坦对偶理论（Kantorovich, Rubinshtein, 1958; Villani, 2009），1-沃瑟斯坦距离可以表示为具有特定判别器类的IPM。

**ReLU-IPM：新的参数化IPM**

在本节中，我们提出了一种具有简单但有效的参数化判别器类F的新IPM。F要成为合适的选择，它必须在保持足够的灵活性以捕获比F更广的判别器范围的同时，确保计算效率。

**应用1：使用ReLU-IPM估计因果效应**

从观测数据中估计因果效应已成为AI中的一个重要研究话题（Yao et al., 2021）。大多数AI模型是在被动收集的数据上训练的，但决策往往需要估计在不同行动下结果如何变化。因此，开发使AI模型能够从观测数据中学习因果关系的方法已成为一个重要话题，不仅适用于表格数据，也适用于图像和语言数据（Dhawan, Cotta, Ullrich, Krishnan, …）。

**应用2：使用ReLU-IPM进行公平表示学习**

群体公平是算法公平中的一个基本原则，旨在消除由给定的敏感属性（例如性别、种族等）划分的敏感群体（例如男性与女性、白人与黑人等）之间的偏差。最流行的群体公平标准是人口统计学公平（DP），它关注敏感群体间在决策/结果上的统计差异（Agarwal, Dudík, Wu, 2019; Calders, Kamiran, Pechenizkiy, 2009; Chzhen, Denis, Hebiri, Oneto, …）。

**结论**

在本研究中，我们提出了一种新的参数化IPM，称为ReLU-IPM，并建立了其理想的理论性质。数值实验进一步证明了其在因果效应估计和公平神经网络学习中的有用性。值得注意的是，与赫尔德IPM相比，ReLU-IPM具有几个优势：(i) 具有相似的理论保证，特别是当判别器类足够光滑时；(ii) 实现更简单；(iii) 需要更少的超参数。

未引用图表

缺失引用 图D.6

**CRediT作者贡献声明**

Yuha Park：撰写——审稿与编辑，撰写——原稿撰写，可视化，软件，方法论，资金获取，形式分析。
Kunwoong Kim：撰写——审稿与编辑，撰写——原稿撰写，可视化，软件。
Insung Kong：撰写——审稿与编辑，撰写——原稿撰写，软件，形式分析。
Yongdai Kim：撰写——审稿与编辑，撰写——原稿撰写，监督，项目管理，方法论，资金获取，概念化。

**利益冲突声明**

作者声明他们没有已知的竞争性经济利益或个人关系，这些可能影响本文所报告的工作。

Yuha Park | Kunwoong Kim | Insung Kong | Yongdai Kim