基于自动编码器的正则化方法在参数化和逆投影中的应用

《Computers & Graphics》：Autoencoder-based regularization methods for parametric and inverse projections

　　弗雷德里克·L·丹尼格 | 丹妮拉·布伦伯格 | 尼娜·盖尔 | 扬尼克·梅茨
康斯坦茨大学计算机与信息科学系，德国康斯坦茨，78464

**摘要**
神经网络用于创建参数化且可逆的多维数据投影。在这种情况下，参数化投影可以在不需要完全重新计算投影的情况下嵌入之前未见的数据点，而可逆投影则允许在原始空间中重建或生成数据。在本文中，我们研究了使用自编码器（AE）架构来同时学习参数化和逆映射，这些映射不依赖于底层的降维方法。我们引入并比较了三种用于自编码器架构的正则化方法，这些方法旨在学习由投影诱导到的二维空间中的前向映射以及回到原始特征空间的逆映射。为了评估它们的性能，我们对六个不同维度和结构复杂性的数据集进行了系统研究，使用已建立的投影技术t-SNE和UPMAP作为训练目标。我们的评估结合了定量指标和定性评估。结果表明，特别是当使用Kullback–Leibler散度正则化进行训练时，AE可以实现高质量的重建，同时让用户能够控制投影中的平滑程度。与不相关的神经网络相比，AE架构对于分布之外的样本具有更好的生成能力，同时仍提供可比的重建质量和参数化投影精度。这突显了它们在分类器评估和反事实创建等用例中的交互式数据生成潜力。

1. **引言**
降维（DR）方法通常用于创建高维数据的低维投影，以便进行视觉分析[1]。DR方法将高维数据降维为较低的维度（通常为2D或3D），同时尝试保留数据样本之间的关系，即距离和邻域[2]。低维投影是视觉数据分析中的通用工具，例如用于表示模式（如簇）。然而，这些方法的一个缺点是结果可能难以解释，因为关系通常是非线性投影的，这是许多成熟方法的情况。为了解决这个问题，研究人员提出通过布局增强来改善可视化，显示投影点之间的扭曲和梯度[2],[3],[4]。这有助于分析师感知和理解投影中的非线性。然而，大多数技术并没有提供创建这种表示的方法。理想情况下，这些方法应该是参数化和可逆的。(1) 参数化方法使用具有可学习参数的模型来控制高维空间和低维空间之间的映射。这样做允许投影新的数据点（真实和合成的），而无需重新计算所有成对关系。这样更快，并且保持投影的稳定性[5]。(2) 可逆方法从投影空间到原始高维空间有平滑的映射，允许用户从投影的任意位置生成新数据[6]，例如用于交互式反事实生成[7]。然而，如t-SNE[8]和UPMAP[9]这样的DR方法通常不是参数化或可逆的。在本文中，我们报告了通过使用神经网络（NN）和选择适当的正则化方法，我们可以学习投影，有效地使其参数化和可逆。
近年来，神经网络已被用来学习从高维空间到投影空间的映射[10],[11]，以及反之[3]。然而，虽然这些方法可以应用于任意投影，但它们仅单独考虑每个映射方向。我们探索并评估了不同的自编码器（AE）[12]的正则化方法，以通过它们的编码器-解码器架构共同支持参数化映射和逆向映射，延续了我们之前的工作[13]。更具体地说，我们比较了Espadoto等人[3]、Appleby等人[14]和Hinterreiter等人[11]提出的单个前馈NN与标准AE和带有自定义损失函数的变分AE，以在潜在空间中表示投影空间。我们测量了它们参数化投影和逆向投影数据点的能力，并对它们进行了定性比较。此外，我们还对它们对分布外样本的输出进行了视觉评估。为了评估不同正则化方法对逆投影的影响，我们通过定量和视觉评估各自的梯度图来分析投影的平滑度。由于逆投影通常用于创建反事实[7]和一般分类模型的评估，我们还比较了每种方法创建的不同决策图[3]。总的来说，在本文中，我们贡献了以下内容：
(1) 三种基于AE的NN架构，利用不同的正则化方法创建参数化和可逆投影。
(2) 使用t-SNE和UPMAP对六个不同维度的数据集进行定量和定性评估的比较。
(3) 关于各个架构的属性和超参数影响的讨论，以及生成参数化和逆投影的建议。
(4) 我们的分析、结果和源代码可在OSF和GitHub上获取，以便重现。
通过这项工作，我们旨在改进DR方法[15]的解释性和可解释性，同时探索它们作为视觉交互式生成模型的用途。

2. **关于多维投影的相关工作**
首先，我们介绍一些符号。设D={xi}1≤i≤n是一个具有d维和n个样本xi∈Rd的高维数据集。投影方法P将D中的每个项目映射到一个低维表示，即P:D→Rq。一般来说，P(D)={P(xi)|xi∈D}={yi}1≤i≤n，其中P(D)?Rq且q?d（在我们的情况下，q=2）。因此，P(D)可以可视化为一个二维散点图。
多维投影旨在将高维数据映射到一个低维空间，同时保留其最相关的结构，如簇。投影方法已在多项调查中得到了广泛的研究和评估[2],[16],[18]。存在各种类型的投影方法，它们在捕获数据中的关系和结构方面有所不同。它们可以分为线性和非线性方法[18],[19]。此外，它们要么保留全局结构，要么保留局部邻域。像PCA[1]这样的线性投影方法可以非常高效地计算，并保留数据的全局结构。MDS[20]是一个全局非线性投影的例子。有许多非线性方法更重视保留局部邻域结构，而牺牲全局结构的准确性。这些方法包括t-SNE[8]或UPMAP[9]。通常，基于自编码器的方法也属于非线性投影方法，因为它们通过堆叠的神经网络层学习非线性映射[21]。
正则化是必不可少的，因为不受约束的潜在空间可能会变得不连续，导致附近的输入映射到远处的潜在代码，从而降低插值和重建能力。强制平滑性确保小的潜在扰动会导致输出的可预测变化，提高可逆性。常规自编码器的潜在空间是不连续的[22]，因此，这些方法可能产生较难解释的样本和具有高局部梯度的逆投影。在本文中，我们解决了这些问题。

2.1. **参数化投影**
标准的非线性DR方法[8],[9],[20]是非参数的，在投影新数据点时需要完全重新计算。这使得它们对于动态数据集、样本外投影和大规模应用来说不切实际，因为计算成本很高。参数化方法[23]解决了这些限制，例如，通过使用NN来学习到低维空间的映射函数[22],[24]。Van der Maaten使用前馈NN构建了参数化的t-SNE[24]。类似地，参数化的UPMAP[5]使用NN来替代非参数的嵌入步骤。HyperNP[14]扩展了这些想法，它使用NN来近似跨超参数的投影技术（例如t-SNE的困惑度），允许进行交互式探索。ParaDime[11]通过提出特定于参数化DR的语法来简化基于NN的DR方法的创建，从而将NN的使用扩展到t-SNE和UPMAP之外。
Espadoto等人[10]通过训练NN来推断输入域数据点的2D坐标，表明具有足够大小的NN可以有效近似许多现有的非参数方法。这对于大型数据集是可行的，因为批量训练提高了可扩展性，同时支持对未见数据的有效嵌入，并支持额外的损失函数来平衡全局和局部结构的保留。然而，直接在NN中优化投影目标而无需预训练可能会导致较差的局部最小值[24]。然而，Lai等人[25]证明，将Adam优化器[26]与LeakyReLU[27]激活函数结合起来可以缓解这个问题。另一种策略是使用配对训练数据来训练NN，即高维样本及其从用户给定方法获得的2D投影[10]。Reichmann等人[28]使用参数化的样本外扩展来改进大型数据集的投影。在这方面，他们报告说t-SNE和UPMAP投影的质量随着参考集大小的变化而变化最大，这可能是由于它们专注于保留局部邻域而过度拟合。与之前的工作相比，我们通过提出使用带有潜在空间正则化的自编码器来解决过拟合和样本外性能低的问题。

**图1.** 在我们的框架(a)中，编码器网络学习一个参数化投影P，将新数据记录xi映射到2D空间（作为y?i）。解码器学习逆投影P?1，从任何2D点yi生成高维样本x?i。我们的方法可以利用以下损失：Lrecon确保正确重建；Lproj，使y?与投影点对齐；以及Lreg，正则化潜在空间以避免不连续性。我们评估了三种架构：(b) 两个前馈NN，即Projector和Reconstructor（P&R），分别训练以学习数据和投影空间之间的前向和逆向映射，而不进行端到端优化或潜在空间正则化。(c) 自编码器（AE）端到端训练，具有结合重建精度和潜在空间对齐项的联合损失，以匹配目标投影。(d) 变分自编码器（VAE）通过引入随机潜在表示来扩展AE，通过KL散度项强制结构，并使用采样或基于平均的损失将潜在空间与目标投影对齐。

2.2. **逆投影**
逆投影是函数P?1:Rq→Rd，它们是平滑的，并最小化成本∑x∈D‖P?1(P(x))?x‖，其中‖?‖表示L2范数。只有少数投影本质上是可逆的，例如UPMAP[29]。大多数其他投影方法没有显式的逆映射，需要替代方法，例如NN[3]。早期引入的一种逆投影方法引入了一种基于全局插值的技术来生成新数据点[6]。后来，iLAMP[30]在投影技术LAMP[31]的基础上，通过专注于保留局部关系来解决逆投影。Amorim等人[32]后来通过使用径向基函数核进行插值来改进这一点。Blumberg等人[33]通过利用数据点之间的几何关系来反演MDS投影。最近，深度学习被用于创建逆投影。Espadoto等人[3]提出的前馈NN学习从投影空间到高维空间的映射。然而，这样的网络只能端到端地学习参数化或逆投影，而不能两者兼得。
逆向能力在从低维表示自动和交互式生成高维数据样本的各种应用中非常有价值。例如，用户可以通过从任何2D位置生成高维数据来交互式探索投影空间。这种功能适用于合成数据处理[3]、探索投影伪迹[2]和创建反事实解释[7]。此外，需要可逆方法来创建决策图[34],[35]，以便可以视觉检查分类模型的决策边界。这样，2D图的每个像素通过逆投影转换为高维表示，由训练模型分类，然后根据分配的类别标签着色。相同颜色的区域显示决策区域，不同颜色的相邻像素揭示分类器的决策边界。比较使用不同逆投影生成的决策图还可以视觉评估它们的重建能力。
除了对逆投影（如决策图）的视觉评估外，还可以通过均方误差（MSE）或二元交叉熵（BCE）来定量测量质量，以比较原始数据样本和重建数据样本之间的差异。为了评估样本外能力，可以使用梯度图技术[3]。它通过测量低维空间中的变化率（或距离）与逆投影通过重建样本所暗示的变化率来确定逆投影的梯度。**降维中的自动编码器（Autoencoders in Dimensionality Reduction）**

自动编码器（AEs）是一类专为无监督学习高效数据表示而设计的神经网络（NNs）[12]。在降维（DR）领域，自动编码器已经得到了广泛的应用[22]。然而，标准的自动编码器会学习一种优化用于数据压缩和特征提取的潜在空间表示。因此，人们提出了修改过的损失函数来对自动编码器的潜在空间施加结构。例如，SSNP [36]和ShaRP [37]将来自聚类的伪标签整合到它们的损失函数中。这些方法不允许反转任意用户定义的投影。在本文中，我们通过提出能够逼近选定预定义投影的自动编码器来解决这一限制。

**3. 为多维投影训练自动编码器**

我们评估了三种神经网络架构，以学习参数化的投影和重建（见图1）。首先，投影器与重构器（Projector and Reconstructor，简称P&R）由两个独立训练的前馈网络组成，它们分别学习正向和反向映射，但不进行端到端优化或潜在空间规范化。其次，自动编码器（AE）以端到端的方式同时学习投影和重建，结合重建精度和投影损失以匹配目标投影。第三，变分自动编码器（Variational Autoencoder，简称VAE）通过引入Kullback–Leibler散度对潜在空间进行概率规范化，并通过采样或基于均值的监督将潜在分布与目标投影对齐。

所有方法都包含一个重建损失项Lrecon。这种损失的常见选择是均方误差（MSE），其正式定义为：
$$
MSE(x, x^\hat) = \frac{1}{d} \sum_{i=1}^{d} \|x_i - x^\hat_i\|^2,
$$
其中$d$是数据维度。当数据值在区间[0,1]内时，通常使用二元交叉熵（BCE）作为另一种损失函数，这适用于表2中的图像数据集。BCE的正式定义为：
$$
BCE(x, x^\hat) = -\frac{1}{d} \sum_{j=1}^{d} [x_i, j \log(x^\hat_j) + (1 - x_i, j) \log(1 - x^\hat_j)]
$$
当使用BCE作为重建损失时，解码器输出层应用sigmoid激活函数以确保输出值位于[0,1]区间内。

**3.1 投影器与重构器（Projector and Reconstructor, P&R）**

我们训练了两种标准的前馈神经网络（见图1(b)），结合了Appleby等人的方法[14]（称为P）和Espadoto等人的方法[3]（称为P?1）。严格来说，这种结构不是自动编码器（AE），因为它不是端到端训练的。然而，这个设置为我们实验提供了一个基准，用于在没有隐式或显式规范化的情况下比较投影和重建的质量。我们训练一个投影器网络来学习参数化投影P，通过其损失函数实现新数据的添加：
$$
Lproj(y, y^\hat) = MSE(y, y^\hat)
$$
在所有情况下，我们使用均方误差MSE(P(x), y^\hat)作为投影损失。另外，我们独立训练一个重构器网络来学习通过损失函数Lrecon(x, x^\hat) = MSE(P?1(y), x^\hat)反转投影空间，或者根据数据集使用二元交叉熵BCE(x, x^\hat)作为重建损失的公式。在训练过程中，P和P?1单独学习，分别对数据集进行投影和重建，即P(x) = y和P?1(y) = x。神经网络架构可以根据数据类型进行调整，例如对图像使用卷积层，对向量数据使用全连接层。

**3.2 自动编码器（Autoencoder, AE）**

单独训练网络可能会导致投影和重建的伪影，包括噪声放大和错误结构。这些伪影在分布外样本中很常见[13]；我们提出使用自动编码器（见图1(c)）来解决这个问题。

我们训练自动编码器来共同创建参数化投影P和逆投影P?1。自动编码器由编码器和解码器组成。编码器Enc: R^d → R^q学习从高维输入空间到低维潜在空间Y?={y?_i}（i=1}^n的映射，其中y?_i=Enc(xi)∈R^q。相比之下，解码器Dec: R^q → R^d旨在将这些潜在表示映射回原始输入空间x?_i=Dec(yi)∈R^d。标准自动编码器旨在学习压缩后的潜在编码yi，同时尽可能准确地重建输入xi。在训练过程中，我们将输入xi通过编码器和解码器，得到重建结果x?_i，然后计算重建损失Lrecon(xi, x?_i)。这个误差通过自动编码器反向传播，其参数随之更新。

在自动编码器中，编码器和解码器作为一个整体神经网络进行端到端训练。编码器学习数据点的投影，而解码器学习逆投影。为了对潜在空间施加结构，我们定义损失函数为：
$$
LAE(x, x^\hat, y, y^\hat) = Lrecon(x, x^\hat) + \omega \cdot Lproj(y, y^\hat),
$$
其中Lrecon(x, x?)表示重建损失。与P&R类似，我们对Lrecon(x, x?)使用MSE(x, x?)或BCE(x, x?)，对Lproj(y, y?)使用MSE(y, y?)。为了使自动编码器学习给定的投影，我们通过添加组件ω?Lproj(y, y?)来修改其损失函数，强制其潜在空间符合MSE(y, y?)。投影损失和重建损失之间的权衡参数ω∈R^+决定了潜在空间与投影的符合程度，即平衡了投影和重建质量。我们将在第4.2节讨论ω的选择。

**3.3 变分自动编码器（Variational Autoencoder, VAE）**

变分自动编码器（VAEs）[38]通过引入概率潜在空间扩展了标准自动编码器。编码器不是将输入映射到固定的潜在表示，而是生成一个分布的参数，从这个分布中采样潜在变量。然后解码器根据这些样本来重建输入。训练通过结合Kullback–Leibler散度（DKL）来平衡重建质量和潜在空间规范化，DKL是近似后验概率分布和先验概率分布之间差异的度量。我们使用现代的深度自动编码器训练方法，包括小批量和基于随机梯度下降的优化器[26]。我们使用标准的损失函数，如MSE、BCE和Kullback–Leibler散度。

与直接预测潜在变量y?不同，VAE的编码器预测正态分布的参数μ和σ^2（见图1(d)）。在训练过程中，y?是从二维正态分布中采样的，即y?～N(μ, σ^2)，其中y?∈R^q且σ^2∈R^+q。VAE仍然是端到端训练的，使用重参数化技巧进行反向传播[38]。因此，我们不直接采样y?～N(μ, σ^2)，而是将样本表示为网络输出和固定噪声变量y?=μ+σ⊙?的确定性函数，其中?～N(0, I)。我们结合了用于VAE的证据下界损失（ELBO），包括重建项Lrecon和KL散度正则化Lreg，而Lproj是标准ELBO之外的附加监督项。总体损失定义为：
$$
LVAE(x, x^\hat, y, y?, μ, σ^2) = Lrecon(x, x?) + α \cdot Lproj(y, μ, σ^2) + β \cdot Lreg(μ, σ^2)
$$
重建损失Lrecon的定义与P&R和AE变体类似。对于VAEs，我们探索了两种替代的潜在损失公式Lproj。第一种是基于样本的损失Lproj(y?)，它在参考投影y和随机样本y?～N(μ, σ^2)之间计算，其正式定义为：
$$
Lproj(y?)(y, μ, σ^2) = \frac{1}{2} \sum_{i=1}^{n} \|P^{-1}(y^*) - P^{-1}(y_i)\|^2
$$
其中y?～N(μ, σ^2)。

所有与此配置相关的结果都使用缩写VAE-y?报告。第二种变体是基于均值的损失Lproj(μ)，它在y和潜在分布的均值μ之间计算，其定义为：
$$
Lproj(μ)(y, μ) = \frac{1}{2} \sum_{i=1}^{n} \|x_i - μ\|^2
$$
这种配置的结果使用缩写VAE-μ表示。注意，在训练过程中，我们从对角高斯后验分布中采样，这是VAE的典型特征。Kullback–Leibler散度（DKL）是概率分布之间的不相似度度量；其最小化通常用于避免潜在空间的不连续性[38]。

为了规范表示投影的潜在空间，我们在Lreg中使用DKL，其正式定义为：
$$
Lreg(μ, σ^2) = DKL(N(μ, σ^2) || N(0, 1)
$$
我们遵循β-VAE [39]的框架，该框架增加了额外的β参数来平衡对先验正态分布的符合性和重建质量。我们将在第4.2节讨论权衡规范参数α和β的选择。类似于Chen等人的研究[40]，我们使用μ作为y?来创建参数化投影，即仅用于推理，因为它是正态分布的均值和模式。

**4. 超参数分析**

接下来，我们进行超参数分析，以确定所有神经网络架构的有用设置，包括激活函数的选择以及AE的ω值，以及VAE-y?和VAE-μ的α和β值。

**4.1 激活函数的选择**

在神经网络中选择激活函数是一个关键的设计决策，其合理性取决于多个因素，包括数据集属性和计算效率[46]。我们测试了六种常见的激活函数（见表1）。
表1. 神经网络中常用的激活函数。对于每个函数，我们提供了形式化定义，其中x表示输入信号。
| 名称 | 公式 | 范围 |
|------------------|---------------------------------------------------------|------------------------------------------------------------|
| ReLU | max(0, x) | [0, ∞] |
| LeakyReLU | max(0, x) + 0.01 · min(0, x) | (?∞, ∞) |
| Tanh | tanh(x) | (?1, 1) |
| HardTanh | max(?1, min(1, x)) | [?1, 1] |
| Sigmoid | 1 / (1 + exp(?x)) | (0, 1) |
| SiLU | x · (1 / (1 + e^?x)) | (?∞, ∞) |

激活函数对逆投影的属性有很大影响（见图2）。然而，这在现有工作中尚未系统地探讨过。我们使用MNIST数据集（见表2）并采用t-SNE进行投影，展示了各种激活函数对逆投影梯度的影响。

为了评估和可视化激活函数选择的效果，我们使用梯度图。对于每个像素p，我们计算P?1的伪导数，该伪导数测量p的相邻像素沿水平和垂直方向的逆投影之间的欧几里得距离：
$$
G(p) = \frac{1}{2} \sum_{i=1}^{n} \|P^{-1}(p^{left}) - P^{-1}(p^{right})\|^2 + \|P^{-1}(p^{up}) - P^{-1}(p^{down})\|^2
$$
由于相邻像素之间的距离是固定的，G(p)可以近似表示P?1在像素p处的梯度。这使得在整个投影上都有意义的可视化和局部梯度的比较，尽管在高维空间中相应的距离可能有很大变化。同时，我们还报告了投影损失Lproj和重建损失Lrecon。颜色刻度是统一的，以显示不同的属性，即平滑度、高局部梯度以及梯度的急剧变化。

使用的模型是一个P&R模型，具有全连接编码器-解码器网络，输入维度为784。编码器由一系列宽度递减的线性层组成（784→256→128→64→32→id2）。所有箭头表示跟随指定激活函数的线性变换，除非标注为id，表示恒等映射。尽管连续的线性层在功能上等同于单一的仿射变换，但在倒数第二层省略激活函数可以改善低维瓶颈附近的梯度流动。最后一层输出一个二维的潜在表示。解码器的宽度逐渐增加（2→id32→64→128→256→784），也在所有隐藏层中使用指定的激活函数，并在输出层不使用激活函数（因为重建使用MSE），从而得到重建的输入。使用较少的神经元和没有规范化使这些模式更加明显。总的来说，所有激活函数都能以合理的精度重建项目，这从整体的低且可比较的重建损失中可以看出。Sigmoid激活函数产生的平均和最大梯度最低，高值主要出现在簇之间的间隙和投影的稀疏区域（见图2(e)）。相比之下，所有其他激活函数都产生了从投影中心发出的更明显的星形高梯度模式。然而，它们主要在梯度增加的突然性上有所不同。HardTanh的平均梯度相对较低，但在所有激活函数中具有最高的最大值（见图2(d)）。这些表现为非常细、尖锐且直线的高梯度线条。Tanh的梯度模式类似，但在线条之间的过渡更平滑（见图2(c)）。无论选择哪种激活函数，某些区域始终显示出高梯度，例如投影的左上角和右上角，以及投影的中心。同样，最左边的簇对所有激活函数来说都具有低梯度。

由于Sigmoid激活函数显示出最低的梯度并且过渡平滑，我们在后续评估中使用了它。由于Sigmoid激活函数需要在每个神经元处计算指数和除法，其每层的计算成本随激活函数数量的增加而线性增加，因此比分段线性函数（如ReLU）更昂贵。然而，ReLU在产生高平均梯度方面表现较好（见图2(a)。

**下载：** 下载高分辨率图像（2MB）
**下载：** 下载全尺寸图像
图2. 激活函数对t-SNE下MNIST逆投影梯度的影响。我们还报告了投影损失Lproj和重建损失Lrecon（较低的值更好）。刻度是统一的，以突出显示平滑度和梯度行为的差异。图像使用了P&R模型四分之一的神经元，并且没有规范化，以强调这些效应。

**4.2 权衡规范化参数分析**

对于AE和VAE，权衡规范化参数ω和α分别平衡了重建和投影（或潜在）的符合性。AE中的较高ω值和VAE中的较高α值迫使潜在空间更紧密地对齐目标投影。变化ω对AE和α以及β对VAE的投影影响分别显示在图3和图5中。我们进行了参数扫描，并确定对于我们的实验，ω=10可以实现测试数据的重构和投影损失较低。对于更低的ω值，投影会失去结构并偏离真实投影。当ω=0时，模型的行为类似于标准自编码器，这意味着潜在表示没有动力去匹配参考投影。选择较低的ω可能会导致参数投影质量的下降（见图3(c)）。通常，选择过高的ω也会导致逆投影质量的下降。因此，我们建议从较低的ω开始参数扫描，并逐步增加ω，直到逆投影质量下降。VAE中的额外Kullback–Leibler散度权衡参数β控制潜在空间（或投影）的规范化，较大的β会促使每个学习到的潜在分布更接近标准正态先验。通过惩罚以μ为中心的正态分布的小标准差，β将迫使解码器从远离相关投影点的坐标重建数据点。然而，过度增加β会导致所有数据的潜在均值趋于零。因此，需要仔细选择β。我们采样了各种组合（见图5），发现α=10.0和β=1.0可以在测试数据上实现一般良好的重建和投影误差质量。随着β从0.1增加到100，它鼓励更强的向先验分布的规范化。对于非常大的β，投影比例会被改变（见图5中的β=10），在很大程度上保持整体结构的同时增加投影误差。对于更大的α，潜在空间中的簇变得更加紧凑和分离得更清晰。在这里，没有一种方法在误差范围相似的情况下明显优于其他方法。然而，没有使用DKL正则化的神经网络（即P&R和AE）的投影误差往往更低，这表明由于它们比VAE具有更简单的损失函数，因此能够更紧密地匹配目标投影。逆投影的平均MSE（见表3的第二部分）显示了这些方法从2D点创建高维数据点的能力。P&R总体上实现了最高的重建质量，因为它专门针对逆映射进行了训练，没有保持一致前向投影的额外约束。然而，基于自编码器的架构的误差仍然与P&R接近，表明所有逆向方法都具有相当高的重建保真度。在训练过程中，标准AE在所有数据集上的训练时间效率最高（见表3的最后两部分），尽管这可能会以较低的（逆）投影质量为代价。训练时间通常会随着数据集的 intrinsic dimensionality 和大小而增加。平滑的梯度是可取的，因为它们可以促进局部稳定性，并确保投影空间中相邻的点对应于相似的重建结果。相比之下，极陡的梯度表明对小扰动非常敏感，这可能会降低逆投影的鲁棒性和可解释性。平均梯度（见图6左下角）测量了从高维逆点移动到2D投影中相邻像素时的平均变化率。平均梯度通常会随着数据集的 intrinsic dimensionality 而增加。在不同方法之间，平均梯度幅度的差异很小，P&R在更高维的数据集中显示出略微更高的平均梯度。最大梯度（见图6右下角）与平均梯度的关系可以首次指示高梯度的出现情况，最大梯度与平均梯度之间的较大差距表明存在具有陡峭过渡的区域。在HAR（t-SNE）、KMNIST（UMAP）和COIL-20（t-SNE）中，P&R的差异最为明显。在基于AE的方法中，VAE-μ通常在最大梯度和平均梯度之间的差异较小，表明过渡更加平滑。

可信度和连续性：我们通过取二的幂次平均值来计算聚合的可信度（见方程（10）和连续性（见方程（11）），这样可以平衡地覆盖邻域尺度，同时避免对密集采样小值的冗余和偏见。在所有数据集和投影方法中，观察到的可信度值始终很高，并且P&R、AE和基于VAE的模型之间的差异很小。这表明所有架构在保持局部邻域关系方面具有相似的能力，没有一种模型会系统性地降低投影质量。在大多数情况下，P&R和AE架构的性能与VAE对应的架构相当，这表明显式的概率正则化并不是维持可信投影的严格必要条件。尽管如此，基于VAE的模型，特别是VAE-y?和VAE-μ，在几个数据集（例如MNIST和KMNIST）上实现了略高的平均可信度，这可以归因于潜在先验的正则化效应，它鼓励了规则化和更有结构的嵌入。然而，这些提升仍在报告的标准偏差范围内。总体而言，结果表明，选择P&R、AE和VAE架构对可信度的影响有限，模型设计的差异主要影响其他方面，如逆映射的稳定性和平滑性，而不是通过T(k)测量的投影准确性。表3还报告了跨数据集、投影和模型变体的聚合连续性C(k)。总体而言，P&R、AE和基于VAE的方法之间的差异很小，表明所有模型都能够保持邻域连续性。从模型的角度来看，P&R和AE变体在所有数据集中的表现相似，这表明明确耦合投影和重建不会对连续性产生负面影响。基于VAE的模型实现的连续性值与确定性对应模型相当，在某些情况下甚至略高。特别是VAE-y?和VAE-μ在结构更复杂的数据集（例如KMNIST和COIL-20）上表现略优于P&R和AE，这可能归因于潜在分布的正则化效应。VAE-y?和VAE-μ之间的差异可以忽略不计，表明从潜在空间采样不会显著影响邻域保持。总的来说，这些结果表明，结合概率潜在表示并不会降低连续性。

一般来说，大多数测量中观察到的差异幅度较小，不足以区分不同的逆投影模型，这促使我们在下一节中进行补充的定性分析。

下载：下载高分辨率图像（258KB）
下载：下载全尺寸图像
图8. MNIST上的重建结果。所有模型生成的重建结果在视觉上相似，表明不同方法之间的重建质量相当。

下载：下载高分辨率图像（741KB）
下载：下载全尺寸图像
图9. 我们使用我们模型的不同逆投影与UMAP内置的逆函数[29]重建了MNIST和Fashion-MNIST数据集的图像。每个逆样本的位置显示在左侧的投影中。VAE-μ生成的图像最为连贯和多样化，尤其是在类别之间的区域，优于其他方法。

5.3. 定性比较
接下来，我们通过梯度和决策图定性地评估和比较参数化投影的质量以及逆投影的平滑性。此外，我们还从视觉上比较了它们的图像重建和生成能力。

投影质量：我们使用所提出模型的学习得到的参数化投影对测试集中的所有样本进行了投影。例如，使用标准AE的UMAP对MNIST进行投影的结果显示在图3中（ω=10），使用VAE的UMAP对KMNIST进行投影的结果显示在图5中（α=10和β=1.0）。我们最终评估的所有参数化投影都展示了所学习到的基础投影的通用模式。这些观察结果证实了关于低参数化投影误差的定量评估。

梯度图：由于许多点y?∈R2?P(D)没有真实值，我们使用梯度图[3]来评估这些点的逆投影。这使我们能够可视化高维空间中的变化率，并定量评估逆投影的局部稳定性。图6显示了不同数据集和神经网络架构的梯度图。总体而言，所有架构在梯度图中都显示出可识别的相似结构。例如，COIL-20（t-SNE）显示出星形结构，即从中心辐射出的高梯度线，而Fashion-MNIST（t-SNE）在分隔投影簇的空区域中有高梯度（见虚线包围的区域）。特别是在三种AE架构中，模式大体一致。所有方法在低维Blobs数据集的UMAP投影中最为困难，其中梯度幅度最高。这反映了从简单但结构稀疏的嵌入进行重建时的不稳定性，导致模型需要在远离投影样本的地方进行大量重建。这也是唯一一个P&R的梯度模式与基于AE的方法显著不同的数据集。此外，P&R在HAR（t-SNE）和KMNIST（UMAP）中也产生了最强且最突然出现的高梯度（见虚线包围的区域），表明逆映射的平滑性较差。另外，P&R在COIL-20（t-SNE）中显示出相对狭窄的高梯度条带。相比之下，VAE-μ通常产生更平滑的梯度分布，平均和最大梯度幅度较低，表明在高维空间中的映射更加稳定和连续。

决策图：我们使用决策图[3]将投影空间划分为一个独特分类的区域。仅出于可视化目的，我们在测试样本上训练了一个逻辑回归分类器，并用它来分类2D图中每个像素的重建样本。结果分类被可视化为不同的区域，使我们能够直观评估逆投影的稳定性差异。图7中显示的逆投影决策图与梯度图的模式相匹配。通常，梯度图和决策图之间的强烈对应表明更平滑的逆投影会产生更稳定和连贯的分类区域，其中VAE-μ提供了最不碎片化且语义上最忠实的决策区域，特别是在投影的稀疏区域。更具体地说，高梯度幅度的区域通常对应于决策图中的错误分类区域或分类不确定性区域，例如Blobs（UMAP）和HAR（t-SNE）（见虚线包围的区域）。这种效应在P&R在HAR（t-SNE）中尤为明显，显示出尖峰和细线延伸到与不同类别相关的区域。同样在MNIST（UMAP）中，除了VAE-μ之外，所有模型的决策图都有不连续的块。

图像重建和生成：对于图像数据集，我们还可以直接检查模型生成的样本以定性评估它们的逆投影性能。具体来说，我们比较了测试集中数据记录的逆投影结果，以直接将重建结果与真实记录进行比较。MNIST的结果可以在图8中观察到，所有其他数据集的结果可以在补充材料中找到。与表3中的低平均重建误差一致，所有方法都产生了视觉上相似且准确的重建结果，与真实图像非常匹配。总的来说，重建结果显示出高保真度，生成的形象大多与目标样本属于相同的类别。然而，我们观察到细节的丢失和模糊度的增加与原始图像相比。

为了定性检查所有投影区域的图像生成能力，包括分布外的点，我们从投影空间中均匀间隔的5 × 5网格中采样了25个点进行重建。这使我们能够直观检查每种方法如何在已知数据区域之间插值，以及它如何处理投影空间中的稀疏或未表示的区域。图9显示了MNIST和Fashion-MNIST数据集的UMAP投影的结果。

对于MNIST，所提出的架构生成的图像质量相当，重构的数字大多合乎逻辑。它们都优于直接的UMAP逆投影，后者产生的数字更加模糊，尤其是在簇之间的区域。与UMAP逆投影相比，我们的架构生成的数字与投影中最近的簇相匹配。

Fashion-MNIST的结果揭示了所提出方法之间更清晰的区分。总体而言，VAE-μ产生的重建结果最为连贯和可解释。这在类别之间的区域尤为明显，因为数据生成最具挑战性。在这里，VAE-μ生成的中间样本较为合理（例如，反戴鞋和高跟鞋）。相比之下，P&R基线和UMAP的直接逆投影经常产生混合类别的图像，即多个类别的特征重叠（例如，裤子和鞋子）。这表明类别之间的区域不稳定。在基于AE的方法中，标准AE的表现最差，生成的样本变化性最低。例如，Fashion-MNIST最后一行中的许多生成样本看起来相似，最后一个样本包含来自多个类别的混合特征，类似于P&R和UMAP的直接逆投影。VAE-y?和VAE-μ产生的混合类别图像较少，外观通常更清晰，并且具有更强的分布外重建能力，即使在嵌入的稀疏区域也能生成有意义的图像。然而，两种模型之间的差异可以忽略不计。总体而言，VAE-μ始终优于其AE对应方法和基线P&R方法。

6. 讨论和未来工作
P&R的结果表明，当准确性是主要目标时，前馈神经网络通常提供了最高的参数化投影学习准确性。在这种情况下，P&R在生成逆投影方面也略微优于AE和VAE（见第5.2节）。为了确保公平比较，AE和VAE的架构与P&R保持一致，除了它们的瓶颈结构。总体而言，研究结果表明，使用AE联合训练投影P及其逆P?1 tend to 产生更平滑的逆投影（见第5.3节），从而减少梯度，进而减轻生成数据项时的突变。在测试的方法中，VAE获得了最平滑的结果，其特征是平均梯度低且高梯度幅度的区域较少（见图6）。这些特性也体现在最连贯的决策区域中，这些区域与底层标签紧密对齐（见图7）。这表明包含DLK正则化项有助于平滑处理，使得异常分布下的重建质量更高，尤其是在多个类别之间的区域。尽管如此，这种平滑效果伴随着投影和逆投影精度的轻微下降（见图4子标题中报告的损失值）。重要的是，这种权衡的程度可以通过VAE的超参数α和β来控制。

我们提出以下建议：在投影精度至关重要的应用中，通常标准的前馈神经网络（如P&R）就足够了，并且能够产生最准确的结果。然而，对于涉及逆投影的任务，我们建议训练VAE。它们通过Kullback–Leibler散度正则化项实现了潜在空间的优化。α控制投影监督的强度，而β控制潜在空间正则化与重建精度之间的权衡。可以通过对多个β值进行参数扫描来有效调整这种正则化的强度。我们不建议使用标准的AE，因为在这种情况下它们没有比前馈神经网络提供显著的优势。

此外，对于VAE，我们建议在均值向量μ上进行投影训练，而不是在采样输出y?上进行训练。虽然这两种变体之间的定量差异可以忽略不计（见表3），但在μ上进行训练可以避免将采样噪声引入投影损失中，从而提供更稳定的训练信号。在某些情况下，由于正则化作用，投影重新缩放（见图5中β=100的情况）可能是可以接受的。然而，在这种情况下，应使用Procrustes分析[54]来评估与真实投影的相似性。

未来工作：到目前为止，我们仅将自动编码器（AE）和变分自动编码器（VAE）与离散网络（P&R）进行了比较。然而，我们没有将它们与非基于神经网络的逆投影方法进行比较（见第2节）。此外，我们计划直接在训练过程中优化投影损失函数，例如t-SNE损失函数，而不是依赖于预先计算的投影。鉴于我们使用了常见的基准数据集以及80/10/10的训练-验证-测试划分，我们旨在进一步评估每种方法的稳定性。在我们的方法中，VAE中的DLK项作为潜在空间的隐式正则化；然而，通过在潜在空间的雅可比矩阵上应用L2正则化等显式正则化也可以获得类似的效果。虽然我们的网络拓扑结构是根据先前的研究调整的，但我们打算进行消融实验来量化所提出架构中的性能下降。此外，未来的工作可以探索其他NN架构，如生成对抗网络（GANs）[55]、[56]或可逆神经网络[57]。最后，我们计划通过考虑类别注释来扩展我们的方法以支持有监督的降维[58]。

7. 结论

我们评估了三种不同的基于AE的正则化方法，用于生成参数化和可逆的多维数据投影。我们对t-SNE和UMAP的定性和定量结果显示了测试模型在投影和重建能力上的差异。总体而言，我们观察到用于数据投影和重建的前馈神经网络通常在精度方面优于基于自动编码器的方法。尽管如此，AE仍然可以实现相当的性能，并且通常产生更平滑的参数化和逆投影。特别是配备了联合损失函数和Kullback–Leibler正则化的VAE，在生成平滑逆投影和出色的异常分布性能方面展现出最大的潜力。它们灵活的参数化允许在重建精度和投影平滑度之间进行精细的、特定于案例的权衡。

CRediT作者贡献声明：
Frederik L. Dennig：撰写——原始草案、可视化、软件、方法论、形式分析、数据整理、概念化。
Daniela Blumberg：撰写——原始草案、方法论、概念化。
Nina Geyer：撰写——审阅与编辑、可视化、软件。
Yannick Metz：撰写——审阅与编辑、概念化。