通过Fencher-Young损失理解可微模型中的非凸优化问题:理论及其在深度学习中的应用
《Neurocomputing》:Understanding non-convex optimization in differentiable models via fenchel–young loss: Theory and applications to deep learning
【字体:
大
中
小
】
时间:2026年05月08日
来源:Neurocomputing 6.5
编辑推荐:
**论文摘要**
本文基于Fenchel–Young损失函数,为可微分模型的非凸优化问题建立了一个理论框架。尽管该框架在形式上适用于所有可微分模型,但我们主要使用深度神经网络(DNN)作为案例研究,以阐释广泛采用的优化技术的有效性。首先,我们从理论上证明了Fenchel–Yo
**论文摘要**
本文基于Fenchel–Young损失函数,为可微分模型的非凸优化问题建立了一个理论框架。尽管该框架在形式上适用于所有可微分模型,但我们主要使用深度神经网络(DNN)作为案例研究,以阐释广泛采用的优化技术的有效性。首先,我们从理论上证明了Fenchel–Young损失函数是机器学习任务的自然选择,从而确保了本研究结论的广泛适用性。其次,我们展示了对于使用Fenchel–Young损失进行优化的可微分模型,可以通过调节两个核心因素(局部梯度范数和结构误差)来有效最小化非凸经验风险。随机梯度下降(SGD)在降低局部梯度范数方面表现出更强大的能力。同时,常见的深度学习技术(如跳跃连接、过参数化和随机初始化)在减轻结构误差方面起着关键作用。这些发现为理解DNN的优化机制提供了新的见解。最后,通过广泛的实验验证进一步证实了这些见解,为我们的理论分析提供了实证支持。
**引言**
在深度学习中,一阶优化方法(如梯度下降(GD)、随机梯度下降(SGD)和高级随机方差减少算法[1]被广泛用于解决模型训练中固有的非凸和非Lipschitz光滑优化问题[2]。在传统的优化理论框架下,这些算法通常预期会收敛到一个静止点,该点可能是局部最小值、局部最大值或鞍点[3]。此外,许多形式极其简单的非凸问题已被证明是NP难的,例如标准二次规划(StQP)或共轭性测试(与之等价)。这些发现打破了非凸问题通常可以找到全局最优解的观念[4]。然而,深度学习实践中的实证证据表明情况有所不同。大量实验结果显示,一阶优化方法能够高效地找到深度学习中遇到的高度复杂非凸优化问题的近似全局最优解[5]。即使违反理论假设(如强凸性或Lipschitz光滑性),这些方法在寻找近似全局最优解方面的显著有效性仍然难以用传统优化理论解释。这种差异凸显了理论预期与实际观察之间的差距,激发了进一步研究驱动一阶方法在深度学习优化中成功机制的兴趣。
**过参数化的作用**
一个越来越受到关注的有前景的方向是过参数化的作用,现代神经网络的参数数量远远超过训练样本的数量。目前的研究表明,过参数化在训练深度神经网络(DNN)中起着关键作用[6][7]。鉴于文献中已经知道无限宽度下的DNN等同于高斯过程[8],研究无限宽度DNN已成为一种有前途的方法。关于无限宽度DNN的研究引入了两个重要的理论框架:神经切线核(NTK)[9][10]和平均场方法[11]。这些框架为DNN的训练动态和收敛性质提供了基本见解。然而,最近的研究[12][13][14]表明,NTK理论是否能够广泛且准确地捕捉实际环境中有限宽度DNN的训练动态仍是一个未解之谜。此外,对于有限宽度DNN,论文[15]系统地回顾了相关研究,并得出结论:在传统的理论优化框架下,过参数化的潜在机制仍然不完全清楚。
在提出的解释中,一个广泛讨论的假设涉及优化算法在训练DNN时通常具有的隐式正则化。人们认为,随机优化算法的固有随机性执行了隐式正则化,将参数引导向平坦最小值,从而影响模型的泛化能力和拟合性能。这一观点表明,随机方法通过避免尖锐最小值来帮助找到具有良好泛化能力的解,因为尖锐最小值被认为具有较差的泛化性能[16]。然而,这一理论仍面临理论挑战。具体来说,已经指出可以通过不改变模型输出的方式操纵平坦性[17]。这意味着将平坦最小值作为良好泛化和拟合能力的指标可能并不像最初认为的那样简单。
鉴于这些限制,理解机器学习中的非凸优化机制仍然是一个开放且活跃的研究领域。关于Fenchel–Young损失的研究[18]表明,许多在实际深度学习应用中广泛使用的损失函数(如CrossEntropy损失、均方误差(MSE)损失、感知器损失和Hinge损失)可以通过选择适当的生成函数,统一为Fenchel–Young损失的一般形式。这种表述为分析不同类别损失函数的优化动态提供了一个原理性的框架。因此,通过Fenchel–Young损失的视角研究机器学习优化不仅增强了与实际应用的一致性,还促进了复杂优化行为的更连贯理论分析。通过采用这种广义视角,我们旨在更深入地了解尽管深度学习目标具有内在的非凸性且缺乏传统正则性条件,一阶优化方法为何在实践中仍然具有实证效果。
**本文的主要贡献**
- 本文提出了监督学习中损失函数的两个必要条件:严格凸性和最优期望。这些条件对于确保优化过程产生有意义且稳健的解决方案至关重要。在这些条件下,本文证明任何满足这两个条件的损失函数都等同于Fenchel–Young损失。这种等价性意味着这样的损失函数可以表示为,其中是适当的生成函数。因此,本研究得出的结论不仅在实际场景中具有广泛的应用性,还具有很强的理论普遍性,并且普遍适用于可微分模型。
- 在使用Fenchel–Young损失时,我们证明了对于可微分模型,经验风险最小化问题等同于同时最小化局部梯度范数和结构误差。这两个组成部分共同构成了经验风险的上界和下界。与传统优化机制不同,这一发现表明可以从控制优化目标的上界和下界的角度来一般性地理解非凸优化机制。在通用框架的基础上,我们证明了SGD能够有效最小化一般可微分模型的局部梯度范数,并强调了梯度相关因子是影响收敛性的关键因素。
- 在将通用界限应用于DNN时,我们证明了架构技术(如跳跃连接、过参数化和随机参数初始化)可以直接或间接地帮助控制结构误差。通过展示这些特定于DNN的技术如何影响结构误差,本研究为它们在深度学习优化中的作用提供了专门的见解。
- 我们通过实验研究验证了本文得出的主要理论结论。结果一致地证实了我们的理论界限、局部梯度范数动态和结构误差属性的正确性,证明了所提出框架的有效性和普适性。
**论文的核心定理及其逻辑关系**
图1展示了本文的核心定理及其逻辑关系。定理4.1证明,如果损失函数满足严格凸性和最优期望的条件,则该损失函数等同于Fenchel–Young损失。由于Fenchel–Young损失代表了实际应用中许多广泛使用的损失函数的通用形式,并且由于其理论普遍性,本文采用Fenchel–Young损失作为分析机器学习模型(特别是DNN)的基础。定理5.1确立了使用Fenchel–Young损失时,经验风险最小化问题等同于同时最小化局部梯度范数和结构误差。定理5.3证明了SGD或小批量SGD可以有效地降低局部梯度范数。此外,命题5.1和定理5.4表明,在与实际场景一致的合理假设下,跳跃连接、dropout、随机参数初始化和过参数化等技术都有助于减少结构误差。这导致了本文的中心结论:虽然一般可微分模型的非凸优化从根本上是通过控制损失函数的上界和下界来实现的,但深度学习的实证成功可以具体归因于DNN架构和训练技术(如SGD、跳跃连接和过参数化)在最小化局部梯度范数和结构误差方面的高效性。
**需要注意的是,本文开发的理论框架在很大程度上是模型不可知的:推导主要依赖于Fenchel–Young损失的性质以及模型输出对参数的可微性,因此适用于一般可微分模型。然而,我们将实证验证集中在DNN上,因为它们代表了现代机器学习中最突出和最具挑战性的非凸优化实例。为了具体化我们的通用理论框架,我们特别研究了它与关键DNN架构选择(如跳跃连接和过参数化)的互动。**
**本文的其余部分组织如下:**
第2节简要回顾了相关工作。第3节介绍了本文中使用的基本概念和对象。第4节和第5节提出了本文的主要贡献。第6节展示了实验设置和结果。第7节总结了我们的关键贡献。后续章节中的定理依赖于附录B中详细的引理。所有证明可以在附录C中找到。
**相关研究**
在本节中,我们重点回顾了与本文贡献密切相关的关键研究方向,即隐式正则化、过参数化和基于Fenchel–Young损失的学习方法。关于基于梯度的优化算法和Kurdyka-?ojasiewicz(K?)理论的补充讨论,我们建议感兴趣的读者参考附录A。
**初步介绍**
本节介绍了本文中使用的基本符号、定义和理论背景。我们首先介绍基本数学符号,然后详细讨论了Fenchel–Young损失及其性质。最后,我们介绍了支撑我们分析的基本学习设置。
**Fenchel–Young损失的普遍性**
如表1所示,许多在机器学习中常用的损失函数可以通过选择适当的生成函数,表示为Fenchel–Young损失的形式。在本节中,我们进一步证明了Fenchel–Young损失的理论普遍性,表明任何满足两个自然条件(严格凸性和最优期望)的损失函数都等同于Fenchel–Young损失。这种等价性确保了我们基于Fenchel–Young损失的分析具有普遍性。
**优化框架及其在DNN中的具体应用**
在本节中,我们对在Fenchel–Young损失下的非凸优化进行了全面分析。我们首先为一般可微分模型建立了理论基础(5.1问题表述、5.2经验风险界限、5.3局部梯度范数最小化)。具体来说,我们引入了关键概念(如局部梯度范数和结构误差),并用这些量来限定经验风险(5.1问题表述、5.2经验风险界限)。
**实证验证**
本节通过一系列有针对性的实验,对本文的核心理论贡献进行了实证验证。我们对DNN架构进行了通用理论框架的初步验证,这些架构是研究非凸优化动态的一个特别具有挑战性但具有代表性的测试平台。
**结论**
在本文中,我们基于Fenchel–Young损失建立了一个通用理论框架,证明了对于一般可微分模型,通过同时减少局部梯度范数和结构误差可以解决经验风险最小化问题。我们证明,虽然SGD能有效减少一般可微分模型的局部梯度范数,但特定于DNN的技术(如过参数化、跳跃连接和随机参数初始化)在减少结构误差方面特别有效。
**代码可用性**
如果论文被接受,我们将发布源代码。
**作者贡献声明**
- **Binchuan Qi**:负责撰写——原始草稿、可视化、验证、软件、资源、方法论、调查、形式分析、数据整理、概念化。
- **Wei Gong**:负责撰写——审阅与编辑。
- **Li Li**:负责资金获取。
**利益冲突声明**
作者声明没有已知的竞争财务利益或个人关系可能影响本文报告的工作。
Binchuan Qi(2080068@tongji.edu.cn)自2020年以来一直在同济大学攻读人工智能博士学位。他于2009年在南京航空航天大学完成电子信息技术学士学位后,于2012年从中国科学院大学获得了信号与信息处理专业的硕士学位。他的研究兴趣集中在深度学习的理论与应用方面。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号