一种用于约束二次规划的自适应投影事件驱动神经动力学求解器

《Neurocomputing》：An event-driven neurodynamic solver with adaptive projection for constrained quadratic programming

　　摘要
神经动力学优化为求解带约束的数学规划问题提供了一种新的计算范式，其在并行和事件驱动架构上具有高效实现的潜力。本文提出了一种针对带等式约束的盒约束二次规划问题的新型神经动力学求解器，该求解器结合了连续梯度动力学（类似于膜电位积分）与离散约束投影事件（类似于神经脉冲）。这种混合动力系统不仅具备可证明的收敛特性，还能实现与神经形态计算原理相兼容的基于活动状态的计算。我们的主要贡献包括：（1）一种自动调优机制，可直接根据问题的利普希茨常数确定梯度步长，从而无需手动选择参数；（2）一种自适应投影公式，可在单步内计算出精确的边界修正值，从而加快收敛速度；（3）稀疏执行机制，仅在约束被违反时才触发投影事件；（4）一种经过编译、适用于高级综合的求解器循环实现方式，为FPGA部署奠定了坚实基础。我们以支持向量机对偶问题作为典型应用来验证该求解器。在标准基准测试中，该求解器的分类准确率可达99.3%，与scikit-learn的优化实现结果相差不到0.1%，且支持所有标准核函数（线性、RBF、多项式）。即使在20%的标签噪声情况下，该求解器仍能保持较高精度，性能下降幅度低于4%。该算法的事件驱动特性以及其对简单操作（矩阵-向量乘法、比较、限幅）的依赖，使其具有天然的并行性，有望在神经形态及专用架构上实现高效运行。

引言
神经动力学优化作为一种通过连续时间神经动力学来求解带约束数学规划问题的强大方法，已逐渐崭露头角[1][2]。与迭代数值算法不同，神经动力学方法利用了递归神经网络天然的能量最小化特性，因此具备固有的并行性，并且有望在硬件上实现高效运行[3][4][5][6]。投影神经网络[7][8][9][10]能够全局收敛到带约束的优化解，而归零神经网络则为时变问题提供了稳健的框架[11][12][13][14][15]。重要的是，这些神经求解器的动态行为与漏积分-激发（LIF）神经元模型直接对应，这为在那些能在能效方面实现数量级提升的平台上实现神经形态硬件应用提供了具体路径[16][17]。

二次规划是一类基础性的优化问题，在机器学习[18]、控制系统[17]以及信号处理领域都有广泛的应用。带等式约束的盒约束二次规划问题常见于支持向量机（SVM）的对偶形式[19][20]、投资组合优化[21]以及模型预测控制中。SVM的对偶形式涉及一个核矩阵，其中为训练样本的数量，这意味着直接求解方法需要 的内存空间和 的时间复杂度。虽然分解方法[22][23]以及随机方法[24]也能提供替代方案，但它们要么牺牲并行性，要么无法保证精确性。而神经动力学求解器[25]则提供了一种极具吸引力的替代方案：它们本身具有并行性，易于实现硬件加速，而且正如我们所展示的，通过自动调优参数，它们也能达到相当高的精度。

本文提出了一种基于事件驱动的带约束二次规划神经动力学求解器，它将神经优化理论与实际的硬件实现相结合。我们构建了一个混合动力系统，该系统将连续梯度下降与离散约束投影相结合，其中的每一项操作都直接对应于神经电路的基本单元。关键在于，我们的求解器动态行为在数学上等同于一个由耦合的LIF神经元构成的网络：对偶变量对应于膜电位，核矩阵体现为突触权重，而约束投影则对应于由脉冲触发的修正。这种对应关系不仅具有理论上的优雅性，还为在神经形态平台上实现具体应用提供了可行路径。

我们的贡献涵盖算法创新、实证验证以及硬件可行性方面：
• 自动调优的神经动力学求解器：我们可直接根据问题的利普希茨常数确定梯度步长，并自适应地计算出精确的投影幅度，从而无需针对不同的核函数和数据集手动调整参数。
• 高精度性能：通过全面的基准测试，我们在五个涵盖医学诊断、模式识别以及合成基准的数据集上，实现了99.3%的分类准确率，这一结果与scikit-learn优化后的SVC实现结果仅相差0.1%，并且该求解器在20%的标签噪声条件下仍能保持良好性能，精度下降幅度低于4%。
• 基于活动状态的计算：该算法采用稀疏执行方式，仅在约束被违反时才触发投影事件，且随着收敛进程的推进，触发频率会逐渐降低。这一特性非常适合用于事件驱动型硬件。
• 硬件实现路径：我们明确了求解器动态行为与LIF神经元电路之间的对应关系，说明了各个算法组件如何映射到神经形态系统的基本元件（如交叉阵列、比较器、电压饱和电路），从而为高效硬件实现提供了具体方案。
• 经过编译、适合综合实现的版本：我们将求解器循环实现为一个经过编译的C语言内核，其内存布局和控制流程均适用于高级综合工具将其转换为FPGA数据路径上的实现。我们还分析了该内核的实际运行性能以及其与参考求解器的数值一致性，为硬件部署奠定了基础。

本文的重要意义在于证明了经典优化算法可以重新表述为神经动力学系统，这样既不会牺牲精度，又能获得硬件兼容性。图1展示了整个框架结构。第2节回顾相关研究，第3节介绍二次规划的建模方式，第4节描述求解器及其与硬件的对应关系，第5节呈现实验结果，第6节探讨相关意义，第7节总结全文。

相关研究
神经动力学优化、脉冲神经网络以及凸规划之间的交叉研究为本工作提供了理论基础。表1展示了我们的贡献在这一研究领域中的位置。

问题建模
我们将支持向量机的训练问题转化为其对偶形式，并说明如何将其映射为适合神经网络优化的标准带约束二次规划问题。

受SNN启发的求解器
为了解决方程(6)中定义的带约束二次规划问题，我们开发了一种结合了连续梯度动力学与离散投影事件的神经动力学求解器。这种混合系统不仅能收敛到最优解，还便于实现高效的并行处理和硬件部署。在本文中，我们始终使用“事件驱动”这一术语来指代算法中的条件投影机制：在每次迭代中，算法都会先判断是否存在约束违反情况，只有当满足该条件时才会触发投影步骤。

实验结果
我们通过一系列全面的实验来评估该神经动力学求解器的性能，这些实验涵盖了验证、分类准确率、超参数敏感性、核函数比较、基线对比以及鲁棒性分析等方面。求解器循环是通过经过编译的C语言代码来实现积分和投影动态行为的（见第5.6节）；而参考解则是通过CVXPY库计算得到的。

讨论
实验结果表明，神经动力学优化不仅在实际机器学习任务中表现出良好的性能，同时还具备适合高效硬件实现的计算特性。在此，我们进一步探讨了更广泛的含义，指出了现有局限性，并提出了未来的研究方向。

结论
本文提出了一种用于支持向量机训练的事件驱动型神经求解器，证明了神经优化方法在实际机器学习应用中的可行性。通过将SVM的对偶问题转化为带约束二次规划问题，并构建出与神经网络类似的动态模型，我们开发出了一种兼具凸优化理论严谨性与高效实现特性的算法。

算法贡献
CRediT作者贡献声明
Ameer Hamza Khan：撰写——初稿、可视化、验证、软件实现、方法设计、研究实施。Xinwei Cao：撰写——审稿与编辑、指导监督、资源协调、项目管理、概念构思。Shuai Li：撰写——审稿与编辑、指导监督、项目管理、方法设计、形式化分析、概念构思。

利益冲突声明
作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。Ameer Hamza Khan是IEEE高级会员，现任中国浙江台州学院教授，他的研究领域涉及机器人技术、人工智能以及智慧城市技术，研究内容涵盖自主导航、软体及关节式机器人，以及面向城市和工业环境的人工智能安全系统。他曾于2022年至2025年担任香港理工大学智慧城市研究院的研究助理教授。

Ameer Hamza Khan | Xinwei Cao | Shuai Li
中国浙江台州学院人工智能学院