《Swarm and Evolutionary Computation》：ChiSao: A fully GPU-resident optimizer for cataloguing the modes of multimodal black-box functions
编辑推荐：
贝叶斯推理和科学计算经常需要对一个多模态黑盒目标函数的所有模态（modes）进行编录，而不仅仅是找到其全局最优解。经典的多模态和生态位（niching）方法将其搜索策略保留在主机（host）上，最多只能并行化一代，并且每代都需要付出O(d2)的协方差更新或O(
贝叶斯推理和科学计算经常需要对一个多模态黑盒目标函数的所有模态（modes）进行编录，而不仅仅是找到其全局最优解。经典的多模态和生态位（niching）方法将其搜索策略保留在主机（host）上，最多只能并行化一代，并且每代都需要付出O(d2)的协方差更新或O(N2)的成对距离计算成本。研究人员提出ChiSao，一种模因（memetic）多模态优化器，其整个搜索策略驻留在设备（device）上：初始化、批量L-BFGS收敛、去重、重新初始化、平滑化和抗收敛（anti-convergence）均在GPU上运行，无需昂贵的主机往返通信。据研究人员所知，这是首个完全GPU驻留的多模态优化器。GPU吞吐量而非维度成为限制因素：与基线方法的O(d2)到O(d3)相比，每次评估的成本保持在O(d)，在相同硬件上实现了整整一个多项式数量级的降低。在单个NVIDIA RTX 3080上，ChiSao在大约二十秒内解决了d=512的问题，而重启CMA-ES需要超过四分钟，并且能够恢复d=2048的移位最优解（shifted optima），这是主机驻留基线方法无法进入的领域。在单全局最优恢复方面，一个模因公平的、经L-BFGS抛光（polished）的重启CMA-ES在同等预算下与ChiSao匹配，而专门的生态位方法在旋转组合（rotated-composition）景观上领先。然而，恢复质量并非本研究的核心主张；贡献在于设备驻留机制本身，在该机制中，编录覆盖率随高维度的GPU规模种群扩展，再加上一个恒定因子成本的片上配置组合（configuration portfolio）。研究人员在42个西蒙弗雷泽大学（Simon Fraser University, SFU）测试函数、CEC’2013生态位套件、一个多维Ackley基准和一个带噪声的景观上描绘了其适用范围和局限性。ChiSao已作为开源软件发布。
研究背景与问题
在科学计算、概率推断和机器学习等领域，常需对一个仅能通过黑箱评估访问的目标函数进行多模态优化，即寻找其所有显著的最大值（模态）。下游任务如贝叶斯模型平均、多点启动优化和混合模型拟合等，都依赖于对完整模态结构的认知。现有方法主要分为两类：一是序列方法，如盆地跳跃和模拟退火，它们一次只探索一条轨迹，本质上是串行的；二是种群方法，如CMA-ES和粒子群优化，它们虽维护一组候选解，但倾向于将整个种群收敛至单一盆地，从而丢失模态多样性。这些方法均未针对现代GPU架构设计，后者拥有数千个算术单元，可在不同数据上同时执行相同指令。因此，GPU的大规模并行优势未被充分利用。
研究内容与结论
为解决上述问题，研究人员提出了ChiSao，一个完全GPU驻留的模因多模态优化器。其核心创新在于将整个搜索策略部署在GPU设备上，消除了昂贵的CPU-GPU主机往返通信，使得GPU吞吐量而非问题维度成为性能瓶颈。实验表明，在单张NVIDIA RTX 3080显卡上，ChiSao解决d=512维问题仅需约20秒，而传统重启CMA-ES需要超过4分钟；它还能成功恢复d=2048维的移位最优解，这是传统主机驻留方法无法触及的维度。尽管在单全局最优恢复任务上，经过L-BFGS抛光的重启CMA-ES在同等评估预算下能与ChiSao匹敌，且专门生态位方法在旋转组合函数上表现更优，但ChiSao的核心贡献不在于此，而在于其开创性的设备驻留范式。这一范式使得在高维空间中，编录覆盖率能够随GPU规模的种群线性扩展，并通过运行一个恒定成本的策略组合来自适应地调整搜索行为。研究在42个SFU函数、CEC’2013生态位套件、多维Ackley基准和含噪景观上验证了其性能和局限。
关键技术方法
研究人员采用了几项关键技术方法以实现全GPU驻留的多模态优化：
- 1.
冻结与探索非对称性（Freeze-and-Explore Asymmetry）：达到真正峰值的样本被“冻结”，不再探索；而其余种群继续移动和探索。当系统经历额外收敛周期后，冻结样本可被“释放”。
- 2.
批量L-BFGS收敛（Batched L-BFGS Convergence）：利用GPU并行计算能力，同时对大量候选解执行L-BFGS局部优化，使其快速收敛至邻近峰值。
- 3.
有意抗收敛阶段（Deliberate Anti-Convergence Phase）：在每个批量L-BFGS阶段之后，未冻结样本会执行基于动量的梯度下降步骤，这是一种定向运动，旨在将样本带出当前谷底，跨越山谷进入新的盆地。
- 4.
随机平滑化（Stochastic Smoothing / HLC Phase）：未冻结样本在一个高斯平滑化的函数估计上进行上升。平滑化会抹去小于尺度σ的纹理，暴露出全局盆地的几何结构。
- 5.
两种重新初始化策略（Two Reseeding Strategies）：当许多样本未冻结时使用“Repulse Monkey”策略，当大部分样本冻结时使用“Golden Rooster”策略，以维持种群的多样性和探索能力。
- 6.
片上策略组合（On-Device Strategy Portfolio）：同时运行多个不同结构配置的策略（例如，开启或关闭抗收敛），并将它们的发现合并，以恒定因子成本实现自适应策略选择。
研究结果
1. 引言
研究人员指出，多模态优化是科学计算中的常见问题，现有方法未能有效利用现代GPU的并行架构。ChiSao通过三种结构性创新来解决此问题：冻结与探索非对称性、有意抗收敛阶段和随机平滑化。
2. 相关工作
与ChiSao最接近的GPU原生框架（如EvoX和QDax）仅在单次迭代内并行化，并将搜索策略保留在主机上。其他完全张量化框架虽推动了设备驻留的方向，但未针对黑箱多模态恢复。专用生态位方法可以编录模态，但它们是CPU算法，其O(N2)内存或O(d3)协方差更新成本限制了其在更高维度上的应用。
3. 材料与方法
研究人员详细介绍了ChiSao的六相振荡循环：初始化、批量L-BFGS收敛、峰值检测与冻结、去重、重新初始化（包括Repulse Monkey和Golden Rooster）、抗收敛和随机平滑化。理论分析表明，由于所有操作都在设备上完成，其每次评估的计算复杂度为O(Nd)，远低于传统方法的O(d2)至O(d3)。
4. 实验结果
- •
SFU基准测试：在42个SFU函数上，ChiSao成功编录了多个模态。与重启CMA-ES相比，在单全局最优恢复上两者性能相近，但ChiSao在更高维度上展现出明显的时间优势。
- •
高维恢复：在d=512时，ChiSao耗时约20秒，而重启CMA-ES需要超过4分钟。ChiSao能够恢复d=2048的移位最优解，而基线方法在此维度上无法运行。
- •
阶段消融实验：通过分别关闭抗收敛和平滑化阶段，研究人员发现这两个阶段对于不同的函数族至关重要。例如，抗收敛对Levy函数有效，而对Schwefel函数则可能失效，这证明了片上策略组合的必要性。
5. 讨论
研究人员讨论了ChiSao的优势（全GPU驻留带来的速度提升和高维处理能力）和局限性。在单全局最优恢复精度上，它并不总是优于经过公平比较的传统方法。其真正的价值在于提供了前所未有的速度和扩展性，使得在以前不可行的高维空间中进行全面的模态编录成为可能。
总结与结论
研究人员提出并验证了ChiSao，这是第一个完全GPU驻留的多模态优化器。其核心贡献是一个全新的架构设计决策：将整个搜索策略置于设备之上。这一设计带来了两个直接后果：首先，它打破了传统优化器中由维度驱动的计算瓶颈，使GPU吞吐量成为新的限制因素，从而在相同硬件上将计算复杂度降低了整整一个多项式数量级；其次，它使得在高维空间中利用GPU规模的种群进行模态编录成为可能，并允许以恒定成本运行一个策略组合来适应不同的函数特征。ChiSao已在多个标准基准上进行了测试，并作为开源软件发布，为贝叶斯推理和科学计算等领域提供了一个强大的新工具。
