通过最优传输映射实现的多维分布间回归

《Journal of Multivariate Analysis》:Multidimensional distribution-to-distribution regression via optimal transport maps

【字体: 大 中 小 】 时间:2026年05月01日 来源:Journal of Multivariate Analysis 1.7

编辑推荐:

  建阳通|建孙|年生唐 云南大学统计建模与数据分析重点实验室,中国昆明 摘要 近年来,分布到分布的回归模型受到了相当多的关注。现有的关于分布到分布回归模型的研究主要集中在单变量分布上,由于最优运输问题没有解析解以及涉及的复杂理论,将现有方法扩展到多变量设置中颇具挑战性

  建阳通|建孙|年生唐
云南大学统计建模与数据分析重点实验室,中国昆明

摘要
近年来,分布到分布的回归模型受到了相当多的关注。现有的关于分布到分布回归模型的研究主要集中在单变量分布上,由于最优运输问题没有解析解以及涉及的复杂理论,将现有方法扩展到多变量设置中颇具挑战性。我们提出了一种新方法,基于最优运输理论对具有协变量和响应变量的多维分布到分布回归进行推断。所考虑的模型通过最优运输映射将响应变量的条件Fréchet均值与协变量联系起来,该映射是通过最小最大优化训练得到的输入凸神经网络(ICNN)的梯度。我们通过学习最优Kantorovich势来开发回归映射的Fréchet最小二乘(FLS)估计器,并基于经验过程理论研究了FLS估计器的可识别性、一致性和收敛速率。我们还构建了一种案例删除诊断措施来识别有影响力的观测值。模拟研究和一个实际例子被用来说明所提出的方法。

引言
回归分析是描述因变量与多个自变量之间关系的重要工具(Harrell, 2001)。传统的回归模型通常用于推断输入变量的d维向量到输出变量的k维向量的映射。尽管传统回归模型已成功应用于许多现实世界的问题,但输入和输出变量的有限维度限制了它们对更复杂问题的处理能力。例如,在函数数据分析中,可以考虑输入或输出本身是函数的情况(Ferraty和Vieu, 2006)。在这种情况下,经常使用概率分布来构建模型,称为分布到分布的回归模型(Ghodrati和Panaretos, 2022)。

近年来,分布到分布的回归模型得到了广泛研究。例如,Ghodrati和Panaretos(2022)基于最优运输理论研究了输入和输出概率分布定义在紧凑区间上的回归模型。Chen等人(2023)基于Wasserstein度量开发了一类回归模型,其中输入是分布,输出是分布或标量。Okano和Imaizumi(2024)研究了基于Wasserstein度量的输入和输出遵循多变量高斯分布的分布到分布回归模型。上述分布到分布的回归模型主要集中在输入或输出的一维分布或多变量高斯分布上。然而,据我们所知,关于输入和输出遵循一般多维分布的分布到分布回归的研究很少。

在对具有多变量输入和输出的一般分布的分布到分布回归进行推断时存在两个关键挑战。首先是Wasserstein空间的非平坦性,即多变量输入和输出分布的对数映射缺乏等距性质,这表明Chen等人(2023)的转换方法缺乏保持Wasserstein空间几何性质的理论支持。此外,由于Wasserstein空间的平坦性依赖性,将文献中的回归映射的可识别性和一致性扩展到多变量输入和输出分布也相当困难。第二个挑战是与多变量分布相关的最优运输问题没有解析解。

为了解决上述挑战,我们提出了一种新方法来估计多维分布到分布回归的参数,并在某些温和条件下理论研究了参数估计器的性质。特别是,我们提出了一些规则性条件以确保Fréchet均值的唯一性,并建立了多维回归映射的可识别性。此外,我们通过建立Fréchet泛函的凸性和可微性证明了Fréchet最小二乘(FLS)估计器的存在性和唯一性。我们还利用M-估计理论建立了参数估计器的一致性,并根据经验过程理论获得了括号熵的上界以及算法的收敛速率。

为了解决多维最优运输映射的计算问题,可以采用Kantorovich对偶公式来诱导最优运输映射。然而,Kantorovich对偶公式中的约束非常具有挑战性,因为这些约束要求在域中的每个点评估函数,这是难以处理的。基于与Brenier定理的基本联系,我们通过允许搜索限制所有凸函数的集合来减轻这些约束。特别是,我们利用最小最大优化算法来解决由输入凸神经网络(ICNN)表示的凸函数的梯度(Makkuva等人,2020),这实际上就是最优运输映射。

众所周知,有影响力的观测值的存在可能会影响参数估计,因此检测有影响力的观测值是数据分析中的重要任务。识别有影响力观测值的流行方法是Cook(1977)引入的案例删除方法。案例删除诊断已成功应用于各种回归模型。例如,Tang等人(2002)用于非线性繁殖分散模型,Zhu等人(2012)从贝叶斯角度研究缺失数据模型。然而,据我们所知,关于分布到分布回归的案例删除影响分析的研究很少。

本文的主要贡献如下:首先,我们基于Fréchet均值建立了多维最优运输映射的可识别性,并利用经验过程理论建立了FLS估计器的一致性和收敛速率。其次,我们将学习最优运输映射的问题转化为一个最小最大优化问题,其中最优运输映射是由输入凸神经网络表示的凸函数的梯度。第三,我们提出了一种新的训练算法,通过Adam算法来解决最小最大优化问题,这是一种高效的随机优化方法,只需要一阶梯度且内存需求低。第四,我们开发了一种新的案例删除影响诊断方法来识别多维分布到分布回归中的有影响力观测值。

本文的结构如下:第2节介绍了一些关于最优运输和Wasserstein距离的概念。第3节介绍了基于最优运输映射的多维分布到分布回归,并研究了FLS估计器的渐近性质和案例删除影响分析。第4节进行了模拟研究以评估所提出方法的性能。第5节用所提出的方法说明了一个实际例子。第6节给出了简要讨论。定理1和定理2的证明在附录中给出。与第4节和第5节相关的几个图表以及一个实际例子在补充材料中给出。

**最优运输和Wasserstein距离**
为了定义分布到分布的回归模型,我们需要介绍一些与最优运输映射和Wasserstein距离相关的基本概念。设W2(Ω)是具有有限二阶矩的Borel概率测度集合,定义在测度空间Ω?Rd上。设μ和ν是在Ω上定义的两个概率测度。Monge的最优运输问题是以最小的成本将μ下的概率质量传输到ν。根据最优运输理论,优化...

**多维分布到分布回归**
设(μ,ν)是在W2(Ω)×W2(Ω)上定义的一对概率测度,具有联合概率测度P。可以定义一个回归算子Γ:W2(Ω)→W2(Ω),作为以下条件Fréchet泛函的最小化器:
argmin_b∫_W2(Ω)dW2(b,ν)dP(ν|μ)=Γ(μ),
这是μ的函数。假设对于任何μ,给定μ的ν的条件律P(.|μ)的Fréchet均值是唯一的,这可以通过对(μ,ν)对的规则性假设来保证。与标准回归相比,...

**模拟研究**
为了评估所提出方法的有限样本性能,我们对二维分布进行了三项模拟研究。
**实验1**:为了研究所提出估计方法的性能,我们考虑了预测变量的正态分布和线性最优运输映射。在这个实验中,我们假设随机预测变量{μ_i}i=1_N遵循双变量正态分布,即μ_i=N(e_1i,Σ_1),其中e_1i=(f_i,g_i)?,Σ_1=diag(0.1,0.1),并且f_i和g_i遵循...

**一个实际例子**
**实验2**:为了探索所提出方法在学习非线性最优映射方面的性能,我们进行了第二个实验。在这里,我们将μ_i设置为八个独立高斯分量的混合,即μ_i的概率密度形式为f_μi(x)=∑_j=1^8π_jp_ij(x),其中π_j是第j个分量的权重,满足∑_j=1^8π_j=1,{p_ij(x)}_j=1^8是八个双变量正态分布的概率密度,其相应的均值分别为(a_i,0), (?a_i,0), (0,a_i), (0,...)

**讨论**
本文考虑了一个基于最优运输映射的具有协变量和响应变量的多维概率分布的分布到分布回归模型。我们开发了一种新方法,用于对具有多变量输入和输出的一般分布的模型进行统计推断。根据最优运输理论,多维最优运输映射由凸函数的梯度表示。

**致谢**
作者感谢编辑、副编辑和审稿人的深刻评论和建议,这些评论和建议显著改进了文章。这项工作得到了中国国家重点研发计划(项目编号:2022YFA1003701)和中国国家自然科学基金(项目编号:12271472)的支持。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号