编辑推荐:
研究人员提出一种框架,通过将其自然概念化为操作序列(表示为记号)来引导算法发现。这些计算记号通过语法进行链合,从而形成日益复杂的程序。研究人员采用由强化学习(RL)引导的集成蒙特卡洛树搜索(MCTS),探索记号链合,并借助字节对编码(BPE)驱动新记号的创建。
研究人员提出一种框架,通过将其自然概念化为操作序列(表示为记号)来引导算法发现。这些计算记号通过语法进行链合,从而形成日益复杂的程序。研究人员采用由强化学习(RL)引导的集成蒙特卡洛树搜索(MCTS),探索记号链合,并借助字节对编码(BPE)驱动新记号的创建。该方法重新发现、改进并生成了新算法,这些算法在强非确定性多项式时间困难(strongly NP-hard)组合优化问题以及基础量子计算方法(如Grover算法和量子近似优化算法)上显著优于现有方法。该框架在计算层面而非代码生成层面运行,所生成的算法可以针对具体问题实例而非仅仅问题类别进行定制。
算法发现是人类最具创造性的活动之一。半个多世纪以来,从程序发现和归纳推理理论,到数值求解器的自动代码生成,再到矩阵乘法加速的系统代数搜索,相关尝试不断推进,但大多局限于特定问题。近年来,基于大语言模型(LLM)的代码生成范式如AlphaEvolve,将大模型作为编码智能体,并结合进化策略迭代精炼代码段,但这类方法通常针对整个问题类别输出单一算法并统一应用,容易忽略不同实例间结构信息的差异。为克服这一局限,研究人员在发表于《SCIENCE ADVANCES》的论文中提出计算语言处理(computational language processing, CLP)框架,将算法概念化为由计算原语(primitive)按语法链合而成的记号(token)序列,在计算层面而非代码生成层面进行实例自适应的算法发现。该研究旨在回答一个核心问题:能否用一种统一、可扩展的方法,自动发现不仅适用于问题类别、还能针对个别实例结构进行定制的算法?作者在经典组合优化与量子计算两个领域验证了CLP的有效性。
CLP的核心技术方法包括:(1)将算法表示为计算记号序列,并通过精确语法约束链合方式;(2)使用集成蒙特卡洛树搜索(MCTS)与强化学习(RL)相结合的方法,通过策略网络和价值网络引导搜索,节点保存计算状态集成,并以玻尔兹曼加权平均作为网络输入特征;(3)提出算法字节对编码(algorithmic byte-pair encoding, A-BPE),从RL回放语料中合并高频记号序列,自动扩展高阶记号词汇表。在QAP实验中,初始基元包括梯度步、复制、取反、线性求和分配(LSA)和简单控制流等;评测数据来自复合QAP(CQAP)、Palubeckis QAP(PQAP)和QAPLIB标准库。在量子搜索实验中,基元为Hadamard门、Oracle、Pauli-X门和多控Z门;在QAOA实验中,策略与价值网络在1000个实例上训练,并在未见过的图上测试。
### QAP结果
QAP是强NP-hard组合优化问题,旅行商问题和图匹配问题均可归约为其特例。以现有成熟算法作为计算记号时,CLP学会链合这些策略,在保持目标函数评估次数相同的条件下,对n≤80的CQAP实例100%达到全局最优,对n≤80的PQAP实例最优性差距不超过1%,并在全部390个PQAP和CQAP测试实例上优于或持平所有对照方法。在未见过的QAPLIB实例上,CLP表现出良好泛化能力,解决了64%的实例至最优,并在100%的QAPLIB实例上优于或持平所有对照方法。从最小基元集出发时,经过3轮A-BPE和网络重训,CLP重新发现了k-OPT和Frank-Wolfe(FW)等高阶记号,并学会对FW执行随机重启,使得规模为40的CQAP实例最优率超过90%,优于标准FW实现。当聚焦步长优化时,CLP发现了一种此前未知的循环步长调度,明显优于SciPy软件包中实现的标准步长调度。
### 量子搜索问题结果
量子搜索问题是在无结构集合中通过Oracle查询找出唯一标记元素。CLP将量子搜索算法发现表述为:寻找一个最大化目标态测量概率且最小化电路深度的量子门序列。研究人员发现的门序列与标准Grover算法数学等价,但电路深度近乎减半,层数减少π/(2√N)?1,门数减少(π/(2√N)?1)logN。由于量子错误随电路深度和量子比特数的增加而指数增长,这一优化带来了鲁棒性的指数级提升。其关键改进在于从|1?
?n而非|0?
?n出发,从而可以直接用H
?n→MCZ→H
?n实现扩散算子,省去了每次迭代中的X门。
### QAOA结果
CLP还被应用于量子近似优化算法(quantum approximate optimization algorithm, QAOA),面向p正则图上的MAX-CUT问题生成混合哈密顿量线路,目标是在给定电路深度下获得更优的最小化代价。研究人员用1000个实例训练策略和价值网络,然后在未见图上测试;与NVIDIA量子计算库CUDA-Q中实现的ADAPT-QAOA相比,CLP获得了35%的改进。
### 讨论与结论
讨论部分指出,CLP通过两个领域、三个代表性算法发现任务展示了通用性:它能够组合和精炼计算原语,恢复已知算法,并生成匹配或超越现有基线的实例自适应变体。虽然当前结果集中于组合优化和量子计算,但底层方法有望扩展到其他自动化算法设计领域。目前CLP仍依赖手工设计的计算原语,因此自然下一步是自动化原语的生成;同时,将CLP扩展到更大规模问题需要缓解强化学习组件的计算成本。总体结论是:CLP在计算层面实现了算法发现,使算法能够针对具体问题实例而非仅仅问题类别进行定制,为自动化算法发现提供了新的范式,并可能延伸到系统工程和数学发现等领域。