全局最小方差组合优化|神经网络|协方差清洗|旋转不变性|端到端学习|大维度投资组合

《The Journal of Finance and Data Science》：End-to-end large portfolio optimization for variance minimization with neural networks through covariance cleaning

　　

研究人员开发了一种旋转不变（rotation-invariant）神经网络，通过联合学习如何对历史收益进行滞后变换（lag-transform）与边际波动率（marginal volatilities）估计，以及如何对大维度股票协方差矩阵的特征值进行正则化，从而给出全局最小方差（Global Minimum-Variance, GMV）组合。该显式数学映射使各模块作用具备清晰可解释性，故模型不能被视作纯黑箱。该架构镜像了GMV解的分析形式且对维度无偏好，因此单一模型可在数百只股票面板上校准，并在不重新训练的情况下应用于一千只美国股票，这种横截面跳跃表明其具备稳健泛化能力。损失函数为未来短期已实现最小方差，并在真实收益上端到端优化。在2000年1月至2024年12月的样本外测试中，该估计器相比包括前沿非线性收缩（NonLinear Shrinkage, NLS）在内的最优竞争方法，系统性地给出了更低的已实现波动率、更小的最大回撤与更高的夏普比率，且尽管模型以短期训练为目标，这些优势在短长期评估窗口中均持续存在。此外，虽模型端到端训练以产生无约束最小方差组合，研究人员显示其学到的协方差表示可用于带多头约束（long-only constraints）的通用优化器中，相对竞争估计器的性能优势几乎无损失。在高度现实的交易框架——建模集合竞价市价单、经验滑点、交易所费用与杠杆融资费用——下优势依旧，且在剧烈市场压力期间保持稳定。

研究背景方面，自Markowitz提出现代投资组合理论（Modern Portfolio Theory, MPT）以来，组合优化依赖历史收益与协方差矩阵估计。大维度下样本协方差矩阵病态且含估计误差，随机矩阵理论（Random Matrix Theory, RMT）指出其谱中大量特征值属噪声块（Marchenko–Pastur分布），经典收缩方法如线性收缩（Linear Shrinkage, LS）、非线性收缩（NLS）及Quadratic-Inverse Shrinkage（QIS）以Frobenius范数最小化均值平方误差（Mean Squared Error, MSE）为准则，但该准则与组合已实现方差并不等价；且金融收益具非平稳性、厚尾（尾部指数近4）、条件异方差，使热力学极限假设失效。现有机器学习组合研究多在小宇宙、幸存者偏差或零滑点假设下开展，缺乏可扩展至千级资产且带现实摩擦的端到端方案。为此，研究人员开展一项维度无关、端到端可微的GMV神经网络研究，发表于《The Journal of Finance and Data Science》，旨在以组合风险本身为信号直接学习协方差表示，克服静态滤波与Frobenius基准限制。

关键技术方法上，研究人员采用2000–2024年美国大中盘股全宇宙（含退市与幸存者完整面板），构建三段式可微模块：可学习滞后变换网络对原始收益矩阵做软截断加权；双向长短期记忆网络（bidirectional LSTM）对样本相关系数矩阵有序特征值序列做置换等变（permutation-equivariant）谱修正，输出依赖宽高比q_in=n/Δt_in的非线性收缩函数而保留经验特征向量；前馈网络估逆边际波动率。三模块联合以样本外短期已实现组合方差为负向损失优化，GMV权重由清洗后逆协方差闭式给出，并在带多头约束的二次规划（Quadratic Programming, QP）中复用所学协方差。

研究结果部分，引言指出有限样本误差使GMV样本外方差膨胀因子为1+q_in/(1?q_in)，非平稳性限制Δt_in延长，故需谱正则而非单纯加窗。数学背景小节将GMV权重视为风险模态Σ=UΖU^?的叠加w∝∑c_ku_k/ζ_k，c_k=u_k^?1，表明块内小特征值方向受采样噪声主导；并论证Oracle Estimator（OE）不可达，NLS之f^?以Frobenius距离为目标而非组合方差。神经网络架构小节确认相关性去噪模块以库仑气体类比强制特征值间局部排斥对称，滞后模块控时域影响，边际波动模块供尺度校准。样本外实证小节显示：在数百至约1000资产跨截面迁移下，该模型相较QIS、NLS、聚类滤波（hierarchical clustering filters）、平均Oracle（Average Oracle, AO）与DCC-GARCH，系统性降低已实现波动率、最大回撤，提升夏普比率；优势在短期训练目标下延展至长持期，且在集合竞价、滑点、手续费、杠杆融资成本下仍存，危机期稳定；所学协方差接入long-only QP几乎不损优势。

讨论与结论翻译总结：研究人员结论为，端到端以已实现方差直接训练的旋转不变神经网络，能够在大维度非平稳股权数据中联合优化滞后变换、边际波动缩放与特征值正则化，其显式映射保留模块可解释性而非纯黑箱；模型维度无关性使数百股校准可零重训泛化至千股，表明所学谱修正捕获了超越具体资产标签的旋转对称先验；以组合风险为损失的范式绕开了Frobenius距离与真实优化目标错位这一根本局限，从而在现实摩擦与压力机制下持续优于以MSE最优的NLS/QIS基线。该研究为机器学习组合优化提供了可扩展、可审计且交易级可部署的协方差估计路径。