“ Ill-Posedness”概念源自深度学习领域：一种称为“自适应进化潜在优化”（Adaptive Evolutionary Latent Optimization）的方法，该方法被应用于波动性的预测与分析

《Knowledge-Based Systems》：Ill-Posedness evolved in the deep: Adaptive Evolutionary Latent Optimization, an application to recovering volatility

　　摘要
优化高维潜在空间是一个具有挑战性的任务，尤其是对于那些具有非线性且隐式关系的病态逆问题。我们提出了自适应进化潜在优化（AdELO）方法，它结合了进化算法、生成模型和目标模型，以迭代地改进潜在表示。AdELO在优化潜在向量和微调模型之间切换，从而高效地导航潜在空间。使用β-变分自编码器（beta-VAE）进行潜在表示，并利用物理信息神经网络（PINN）来强制遵循物理定律，我们将AdELO应用于从期权价格中恢复局部波动率表面——这是金融数学中一个众所周知的病态问题。通过用高斯径向基函数（RBF）对波动率表面进行参数化，并施加平滑性先验以进行正则化，我们将候选表面与市场价格进行了校准。在合成期权价格数据集上，AdELO在相同数量的适应度评估次数下，比测试的固定潜在空间优化基线获得了更低的PINN基校准损失。鲁棒性实验表明，性能会因波动率区间和数据扰动而有所不同。在选定的真实期权链上，该方法在某些情况下能够产生准确的样本内拟合，但并不能在所有日期和区间内一致地推广。这些发现支持AdELO作为一个有前途的自适应潜在空间校准框架，同时也指出了与计算可比性、独立评估和真实市场鲁棒性相关的局限性。该框架为波动率表面校准方法做出了贡献，并为复杂的、高维问题提出了一种广泛适用的自适应潜在空间优化方法。

引言
优化复杂的高维潜在空间是许多科学和工程领域中的一个关键挑战，特别是在金融、分子设计和结构化数据建模中。传统的优化方法往往难以高效地导航这些复杂的潜在空间，尤其是当输入参数与期望输出之间的关系高度非线性且定义不明确时。为了解决这些问题，我们提出了自适应进化潜在优化（AdELO），这是一个将生成模型与进化算法（EAs）相结合的新型通用框架，用于迭代改进潜在空间表示，并在复杂问题领域实现优化解决方案。AdELO在潜在向量的进化优化和生成模型的微调之间切换，为传统方法失效的场景提供了有效的解决方案。我们通过将其应用于恢复波动率表面来展示AdELO的有效性，为该框架在金融建模等领域解决复杂优化任务的能力提供了有力的例证。

潜在空间优化（LSO）已成为一种广泛采用的通过利用生成模型来高效优化复杂高维空间的方法。首先由[1]引入了这一概念，他们通过在分子结构上训练变分自编码器（VAE），并使用潜在空间进行基于梯度的化学性质优化，展示了连续潜在表示在高效探索中的力量。基于此，[3]提出了一种加权重新训练方法，在优化过程中动态更新潜在空间，显著提高了采样效率。其他值得注意的方法，如[4]的方法，使用贝叶斯优化技术将LSO扩展到结构化输入空间。相比之下，[5]应用粒子群优化来导航潜在空间以优化分子性质。[6]通过在优化过程中加入约束来解决LSO期间生成无效输出的问题，从而提高了生成结构的有效性。最近，[7]引入了一个多目标LSO框架，通过帕累托效率加权迭代改进潜在空间，以增强生成模型在同时优化多个分子性质方面的性能。这些贡献共同表明了LSO在解决各种领域复杂优化问题中的有效性。

局部波动率表面最初由[8]提出，提供了一个框架，将市场价格观察到的波动率微笑与现货价格和时间的确定性函数相结合，保持了模型的完整性。然而，使用Dupire公式从观察到的期权价格中恢复局部波动率的实际实现因其不稳定性而受到关注，因为它涉及离散数据的分导，这使得它在数值上很敏感，如[9]所强调的。为了解决这些问题，[9]引入了一种使用随机优化和遗传算法的概率方法来校准局部波动率表面，提出了一种稳健的方法来减轻逆问题的病态性质。受此启发，[10]应用遗传算法来优化用于表示局部波动率表面的B样条参数，实现了精确的校准，但需要额外的技术，如非均匀离散化和De Boor插值，以确保收敛。其他方法，如[11]，使用径向基函数（RBF）来插值波动率表面，显示出它们在平滑散乱数据和构建局部波动率表面方面的有效性。最近，[12]提出使用VAE结合随机微分方程（SDE）来生成无套利的隐含波动率表面，将机器学习与传统金融模型相结合。此外，[13]应用物理信息神经网络（PINN），利用它们通过解决Dupire方程来估计期权价格和局部波动率表面，展示了神经网络在这一领域的适应性（见[14]）。由于AdELO使用进化算法（EA）作为其优化引擎，我们简要介绍了相关的EA文献。基于种群的元启发式算法，特别是遗传算法、进化策略，尤其是协方差矩阵适应进化策略（CMA-ES），是已建立的无导数优化器，适用于非凸和黑盒目标，并已广泛研究和调查[15]、[16]、[17]、[18]、[19]、[20]。在定量金融领域，EA已被应用于模型校准和波动率恢复，最直接的是在[9]和[10]的遗传算法方法中，这些方法直接在（高维）参数空间中进化波动率表面参数。AdELO通过在学习到的低维潜在流形内进化一个种群，并在进化周期之间协调整体和目标模型，从而改进了搜索的条件（第4节）。

自适应进化潜在优化（AdELO）是一种新颖的通用算法，它将生成模型（如VAE）与进化算法相结合，用于优化复杂问题领域的高维潜在空间。该过程首先在结构化的先验数据集D上预训练一个潜在解码器gθ、编码器q?和目标模型hψ，从而学习编码复杂数据的潜在空间。在每个优化周期中，使用EA从先验分布p(z)中采样潜在向量种群，执行变异、交叉和选择机制来优化给定的目标。进化后的潜在向量被解码回输入空间，并通过目标模型（如PINN）进行评估。每次进化一代后，根据解码的最终种群对模型进行微调，以更好地捕捉底层数据关系。这种潜在空间探索和模型改进的交替循环在多个周期中重复进行，最终收敛到最优解。AdELO特别适用于解决像分子设计和波动率表面建模这样的复杂优化挑战，其中复杂的输入-输出关系需要先进的优化策略。AdELO的详细工作流程在算法1和图1中概述。本文的主要贡献总结如下：
• 我们介绍了AdELO，这是一个通用框架，它将学习到的潜在空间上的进化搜索与生成（解码器）和目标（评估器）模型的周期性微调相结合，使搜索分布和模型在优化周期中共同适应。
• 我们将AdELO用于局部波动率表面校准，集成了在RBF表面系数上的结构化先验β-VAE、作为目标模型的Dupire-PDE PINN以及用于正则化的高斯平滑性先验。
• 我们为平滑半范数矩阵推导出了一种通用的Gauss–Laguerre求积方案，并为选择平滑性控制器提出了基于边际似然的标准。
• 我们通过Hessian条件数和Lipschitz常数来描述潜在优化景观，并使用这种分析来选择潜在维度。
• 我们发布了每个报告实验的完全可复现实现，包括固定的随机种子。

与现有潜在空间优化的关系。AdELO与现有的潜在空间优化（LSO）方法相关，但有所不同。基于梯度的LSO [1]、加权重新训练 [3] 和结构化或贝叶斯LSO [4]、[6] 在固定的预训练潜在空间内进行优化，或仅重新训练生成模型。相比之下，AdELO (i) 使用的进化搜索步骤不需要校准目标的梯度，尽管整个框架使用可微的神经模型和基于梯度的微调；(ii) 在每个周期的最终种群上微调生成模型和目标（PINN）模型，从而使潜在几何形状本身向有希望的区域重塑。我们将AdELO与潜在空间贝叶斯优化 [21] 和替代辅助进化优化 [22] 在概念上进行定位；这次修订中添加的经验比较集中在随机搜索、标准遗传算法CMA-ES [18] 和基于梯度的潜在优化上。

概述
第2节设置了问题和实验数据：它生成了SABR/Black–Scholes期权数据集，介绍了波动率表面的RBF参数化，并推导出了高斯平滑性先验及其控制器。第3节描述了两个学习到的模型，即结构化先验β-VAE和Dupire PINN。第4节介绍了AdELO方法论，包括潜在景观分析、进化操作符和自适应微调周期，并报告了实验结果。第5节总结了工作并展望了未来的工作。

实验数据集：使用SABR和Black–Scholes模型生成
本节描述了使用SABR模型（见[23]）生成隐含波动率以及使用Black–Scholes模型进行期权定价的过程。数据集包括N对到期时间Ti和执行价格Ki及其对应的看涨期权价格。SABR模型描述了资产价格的随机行为及其波动性。在SABR模型下的前瞻价格F(t)和波动性α(t)为：
dF(t) = α(t)F(t)βdW1(t)，
dα(t) = να(t)dW2(t)。

β-VAE用于降维表面参数
我们提出了由[25]引入的β-变分自编码器（β-VAE），将表面参数ω∈RN编码到较低维度的潜在空间z∈Rk中，其中k?N。β-VAE在对波动率表面参数结构进行捕获之前，首先在具有高斯平滑性的样本上进行训练。目标是将ω的协方差结构纳入潜在先验中，从而保持波动率表面的基本平滑性和空间结构。β-VAE通过自适应进化潜在优化进行优化，用于波动率表面。

本节将方法论与实验分开。第4.1–4.3节描述了方法论：潜在到表面的解码和适应度定义、潜在景观分析以及进化操作符。其余小节报告了实验设置和结果：使用预训练模型的优化和自适应微调周期。

结论与未来工作
在这项工作中，我们介绍了自适应进化潜在优化（AdELO），这是一个结合生成模型和进化算法的新框架，用于优化复杂问题领域的高维潜在空间。AdELO在波动率表面校准这一具有挑战性的任务中表现出了令人鼓舞的性能。通过利用生成模型和进化策略的优势，AdELO改进了...

CRediT作者贡献声明
Hamid Arian：撰写——审阅与编辑、监督、方法论、概念化。
Daniel Norouzi Mobarekeh：撰写——原始草稿、可视化、验证、软件、方法论、正式分析。

利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文所述的工作。