《深度学习数学》特刊第二部分的特邀社论 [来自特邀编辑]

《IEEE Signal Processing Letters》：Guest Editorial for Part 2 of the Special Issue on the Mathematics of Deep Learning [From the Guest Editors]

　　

深度学习是机器学习和信号处理领域中的一个研究方向，已有近40年的发展历史。在过去的10年里，它在语音转文本、图像识别、图像生成以及语言生成等任务上的进展十分显著。这一飞速的发展得益于各种创新的工程技术和算法突破。起初，试图找出能够解释这些卓越性能提升的基本原理的理论发展远远落后于工程技术的进步。而最近，深度学习的数学理论才开始迎头赶上。

本特刊的第一部分探讨了信号处理与深度学习之间的联系，分析了经典思想如何在现代神经网络的架构和理论中找到新的应用。无论是投稿数量还是读者反馈都表明，这一领域是数学研究的重要阵地。第二部分延续了这一主题，但所收录的文章则深入到那些深度学习的数学基础尚不完善、存在争议或刚刚开始形成的领域。

本特刊第二部分中的文章大多聚焦于近年来深度学习取得重大进展过程中的实际问题，比如训练过程中的决策、网络中的隐含偏差以及不同的架构选择。这些文章旨在探究是否可以利用信号处理工具来从数学层面理解深度学习中的实用经验法则。此外，还有文章针对深度学习作为机器学习模型时所面临的特定挑战，如对齐问题和自监督学习。最后，整期特刊还贯穿了凸优化和非凸优化的诸多主题。

这里收录的文章进一步探讨了深度学习那些数学基础尚不完善、存在争议或刚刚开始形成的领域。

第一篇文章是Balestriero和LeCun所写的《谱图理论：自监督学习的数学基础》，[A1]。该文为自监督学习构建了一个统一的数学框架，将多种自监督学习方法视为对数据图的估计，进而学习在该图上平滑的表示形式。它还将现代自监督学习的目标与狄利克雷能量最小化、理想的监督目标以及经典的谱嵌入方法（如拉普拉斯特征映射和t分布随机邻域嵌入）联系起来，从而有助于解释实际应用中的成功案例与局限性。接下来的三篇文章则从不同数学角度探讨了深度神经网络中的训练动态和隐含偏差问题。Pethik等人所写的《任意规模下神经网络的训练》[A2]，研究了如何在不同规模的模型中高效调整学习超参数，这一机制在大型工业应用中起着关键作用。另一篇文章是Min等人所写的《深度学习中梯度下降的收敛性、隐含偏差及稳定性边界》，[A3]，探讨了另一个“现代”优化问题：在大步长情况下梯度下降算法的分析，此时传统优化理论中的局部下降保证被振荡行为和不稳定现象所取代。有趣的是，在由神经网络训练定义的非凸目标类别中，这类不稳定状态反而能带来更快的实际收敛速度。Balzano等人所写的《大型模型训练与适配中的低秩结构概述》[A4]，为深度学习中的低秩结构研究提供了入门指导。文章区分了训练过程中出现的低秩结构，比如由于遮蔽训练或“dropout”效应产生的低秩激活，以及人为设计的低秩结构，比如用于微调的低秩适配。

接下来的文章是Li等人所写的《利用人类反馈对齐大型语言模型：数学基础与算法设计》，[A5]。该文介绍了用于将大型语言模型与人类的意图、偏好和价值观对齐的数学基础和算法框架。文中讨论了常见的对齐技术，如监督微调、带人类反馈的强化学习以及直接偏好优化，这些技术已迅速成为当前前沿模型中的重要工具。Zeger和Pilanci在文章《揭示深度学习中隐藏的凸性：一种稀疏信号处理视角》[A6]中，建立了稀疏信号处理、凸规划与深度学习之间的联系。他们指出，对于某些类型的ReLU神经网络，看似非凸的训练问题可以转化为与Lasso和组Lasso模型相关的凸优化问题。这使他们能够为解决方案提供几何解释，分析与凸程序求解相关的多面体面、超平面和多面体。Tian和So在文章《计算非光滑分析：现代应用与最新发展》[A7]中探讨了非光滑优化领域的最新进展。该文重点介绍了用于分析非光滑和非凸优化问题的数学和计算工具，而这些正是许多现代学习系统的核心特征。结合本特刊的主题，这篇文章从现代优化视角审视深度学习，强调了那些超越传统信号处理和机器学习中常用光滑理论的方法。

本特刊的最后一篇文章全面总结了用于序列建模的深度学习架构。“序列建模架构：基础”一文由Afzal等人撰写[A8]，重点介绍了核心的数学原理，回顾了从循环神经网络到变换器以及现代状态空间模型等常见序列模型的发展历程，并提出了通用线性序列混合器这一统一框架，以阐明不同架构之间的关系。

我们感谢本特刊第二部分的所有作者，他们在多轮评审过程中坚持不懈，每一次评审都提升了手稿的质量和可读性。这些手稿的审稿人也付出了极大努力，给出了许多宝贵的建设性意见，我们对此深表感激。同时，我们也要感谢Rebecca Wollman，她始终给予我们无尽的耐心和支持。最后，我们要感谢主编Tülay Adali以及特刊领域编辑Selin Aviyente，他们为推动这一关于信号处理与机器学习交叉领域的重要研究特刊付出了巨大努力，确保《IEEE信号处理杂志》继续保持其作为最佳信号处理教程类期刊的优异声誉。

附录：相关文章

1. R. Balestriero和Y. LeCun，“谱图理论：自监督学习的数学基础”，《IEEE信号处理杂志》，第43卷，第3期，第8–20页，2026年5月，doi: 10.1109/MSP.2026.3659059。

2. T. Pethick、K. Antonakopoulos、T. S. Silveti-Falls、L. C. Vankadara和V. Cevher，“任意规模下神经网络的训练：概述”，《IEEE信号处理杂志》，第43卷，第3期，第21–36页，2026年5月，doi: 10.1109/MSP.2026.3667310。

3. H. Min、L. E. MacDonald和R. Vidal，“深度学习中梯度下降的收敛性、隐含偏差及稳定性边界：近期进展综述”，《IEEE信号处理杂志》，第43卷，第3期，第37–51页，2026年5月，doi: 10.1109/MSP.2026.3665010。

4. L. Balzano等人，“大型模型训练与适配中的低秩结构概述：从隐性低维性到高效训练与微调”，《IEEE信号处理杂志》，第43卷，第3期，第52–70页，2026年5月，doi: 10.1109/MSP.2026.3666749。

5. C. Li等人，“利用人类反馈对齐大型语言模型：数学基础与算法设计”，《IEEE信号处理杂志》，第43卷，第3期，第71–85页，2026年5月，doi: 10.1109/MSP.2026.3666824。

6. E. Zeger和M. Pilanci，“揭示深度学习中隐藏的凸性：一种稀疏信号处理视角”，《IEEE信号处理杂志》，第43卷，第3期，第86–101页，2026年5月，doi: 10.1109/MSP.2026.3677783。

7. L. Tian和A. M.-C. So，“计算非光滑分析：现代应用与最新发展”，《IEEE信号处理杂志》，第43卷，第3期，第102–114页，2026年5月，doi: 10.1109/MSP.2026.3662660。

8. A. Afzal等人，“序列建模架构：基础”，《IEEE信号处理杂志》，第43卷，第3期，第115–129页，2026年5月，doi: 10.1109/MSP.2026.3682808。