《Expert Systems with Applications》：AlphaZeroBlock: A Deep Reinforcement Learning and Monte Carlo Tree Search Approach for Intelligent 3D Track Block Assembly
编辑推荐：
自动轨道构建块规划中，提出结合AlphaZero框架、蒙特卡洛树搜索（MCTS）与深度强化学习的AlphaZeroBlock算法，通过隐式微分存储技术实现三维轨道特征与构建块的唯一映射，有效解决复杂三维结构构建效率低、精度差的问题，并成功部署于KUKA机器人验证。
刘振|邓宏伟|王永灿|岳长正|谢涛|张杰峰|吴超|周佳丽|周哲远
浙江工业大学数学科学学院，中国浙江杭州，310023
摘要
由于轨道构建块的种类繁多且相互连接性很强，基于传统物理引擎或机器学习的方法往往难以生成高效且连接良好的轨道构建块规划方案。因此，如何高效准确地提供构建方案成为一个具有挑战性的问题。本研究提出了AlphaZeroBlock智能轨道生成方法，该方法结合了深度强化学习与蒙特卡洛树搜索（Monte Carlo Tree Search）。将棋盘游戏原理应用于轨道构建块构建过程中，提高了轨道生成的效率。我们提出了一种新颖的轨道编码算法，采用隐式微分方法存储轨道方向特征，实现了轨道特征与块类型之间的一一对应关系。通过修改游戏规则，该方法已成功应用于二维和三维空间。大量实验结果表明，AlphaZeroBlock在轨道生成过程中优化了搜索空间，加快了训练收敛速度，并提高了轨道构建块的完整性和连接性。
引言
自动轨道构建块技术广泛应用于教育、工业设计和机器人领域，近年来受到了越来越多的关注（Huang等人，2025年；Paneva、David和Müller，2025年；Walsman等人，2022年；Zhong、Jiang、Yu和Ma，2025年）。随着人工智能（AI）技术的进步，轨道构建块的智能自动化构建逐渐成为研究热点（Chou和Huang，2018年；Kim、Chung、Lee、Cho和Park，2020年；Wan、Zhou、Chen和Dong，2024年）。当前轨道构建块构建的核心问题在于如何在有限的空间范围内准确捕捉轨道构建块的空间结构信息，同时提高构建效率和准确性，并获得完整可靠的构建方案（Kozaki、Tedenuma和Maekawa，2016年；Wang、Zhang、Mao、Cheng和Wu，2022年）。现有方法大致可分为基于语义理解、深度强化学习和物理引擎的方法，这些方法均利用深度学习、强化学习和虚拟仿真平台来优化构建过程（Chen和Liu，2025年；Chen等人，2024年；Jeffri和Rambli，2020年；Lee、Kim、Ryoo、Kang和Lee，2024年；Li、Mo、Shao、Sung和Gibas，2020年；Liu、Deng、Wang和Liu，2024年）。例如，基于语义理解的CLIPORT代理通过序列预测有效解决了模块构建中的语义推理问题。然而，它在复制复杂块的三维结构时面临困难（Kang、Kim、Shim、Lee和Zhang，2025年；Shridhar、Manuelli和Fox，2021年）。'块对块构建'方法通过深度强化学习优化了构建过程，但在处理如轨道构建块这样的复杂结构时成功率较低（Chung等人，2021年）。'物理感知动作掩码'方法提高了构建效率，但在大规模块构建时无法满足复杂构建要求（Ghasemipour等人，2022年；Liu、Chen、Zhao和Liu，2025年）。尽管Unity3D等物理引擎支持在虚拟环境中模拟块构建过程，但由于块的空间状态复杂，这种方法会消耗大量计算资源（Sharma、Bodempudi、Arrolla和Upadhyay，2019年；Wang、Zhou、Zhou和Li，2020年）。
为了解决这些挑战，本文提出了AlphaZeroBlock算法（Bengio、Lodi和Prouvost，2021年；Silver等人，2018年），该算法结合了AlphaZero框架、蒙特卡洛树搜索（Browne等人，2012年；Coulom，2007年）和深度强化学习（Mazyavkina、Sviridov、Ivanov和Burnaev，2021年；Wang等人，2024年）。结合一种新颖的轨道构建块编码算法，该系统在轨道构建块构建任务中表现出更高的效率和准确性。AlphaZeroBlock在搜索阶段生成了大量自我对弈数据（Tian等人，2019年），使得移动选择更加精确。这一优势有效克服了现有语义理解方法的不足，后者在重构复杂轨道块结构时面临挑战且轨道精度较低。在策略价值网络（PV-Net，Silver等人，2017年）的评估和指导下，AlphaZeroBlock可以模拟并输出最优的轨道连接布局。通过修改规则，它实现了从单层轨道到多层轨道的多层构建。这一优势有效解决了'逐块构建'方法在处理跨层轨道扩展时的局限性。新颖的轨道构建块编码算法利用隐式微分存储技术将关键特征存储在简化参数中，建立了编码、轨道特征和轨道构建块之间的唯一对应关系（Gao、Liu、Wang和Oh，2019年；Mescheder、Oechsle、Niemeyer、Nowozin和Geiger，2019年；Shannon，1948年；Zhou、Feng、Wu和Wu，2021年）。这种方法有效解决了'物理感知动作掩码'方法在处理大规模轨道构建场景中的复杂组合问题时的局限性。通过将AlphaZeroBlock与块编码算法结合，该方法根据不同平面上的轨道配置逆向工程块类型和位置，从轨道构建中推导出块构建方案，展现了其在块构建中的实用性和优越性。
为了评估该方法在现实世界应用中的实用性，我们成功将其部署在KUKA机器人臂上。如图1所示，通过实际的轨道构建块构建任务，KUKA机器人利用该方法的轨道规划和决策能力，相对准确地完成了轨道构建块的自动构建。该方法通过深度强化学习、MCTS和新型轨道构建块编码优化了轨道构建顺序和精度，使机器人能够放置每个轨道构建块，并在组装的轨道中实现较高的连接性。这一过程充分展示了该方法在复杂轨道构建中的潜力，其实现和结果将在后续章节中详细讨论。本研究的主要贡献如下：
•提出了一种新颖的3D轨道构建块编码算法，有效解决了轨道特征提取问题。
•介绍了AlphaZeroBlock算法和一组块构建规则，实现了多层轨道的高效准确生成。
•提出了一种从二维轨道扩展到三维空间轨道的方法。
•基于多层轨道的组合，提出了一种新的块构建方案生成方法。
本文的结构如下：第1章是引言，简要介绍了研究的背景、动机和主要贡献。第2章回顾和讨论了现有的轨道构建块方法、深度强化学习和蒙特卡洛树搜索（MCTS）的应用，同时分析了现有方法的局限性。第3章介绍了轨道构建块的组成和改进的MCTS算法。第4章详细阐述了AlphaZeroBlock算法的架构和核心组件，随后通过示例说明了新型轨道构建块编码算法。第5章介绍了实验设计和方法论，包括设置、数据分析和与纯MCTS和MuZero MCTS方法的比较实验。通过改进现有规则，我们试图扩展轨道空间并分析其在实际应用中的优势和局限性。最后，第6章总结了主要发现并提出了未来研究的潜在方向。
相关研究
相关工作
本章将首先回顾与蒙特卡洛树搜索（Browne等人，2012年）和深度强化学习（DRL）（Wang等人，2024年）相关的研究进展，然后讨论其他与轨道生成密切相关的方法（Jin、Xu，2025a；Jin、Xu，2025b；Jin、Xu，2025d；Jin、Xu，2025f；Jin、Xu和Zhang，2025；Xu和Zhang，2023c），如图神经网络（GNN）（Zhang、Xu和Zhang，2023年）、高斯过程回归（GPR）（Jin、Xu，2024a；Jin、Xu，2024b；Jin、Xu，2025c）等。
初步研究
在本章中，我们首先介绍了轨道构建块中的常见轨道类型及其相互转换和组合。随后，我们介绍了13种标准轨道构建块类型，并将每种轨道类型转换为适当的数据格式，概述了本研究的游戏规则。在UCT算法的基础上，我们引入了PUCT算法，该算法提供了更高的搜索效率和准确性，从而更好地优化了搜索过程。
方法论
在介绍游戏规则、块轨道类型和轨道数据类型之后，本章将首先解释AlphaZeroBlock算法的工作原理。通过PV-NET模块处理自对弈比赛生成的大量数据，它指导自对弈模块生成更准确的轨道组合。随后，我们介绍了轨道编码算法，并通过示例展示了其如何应对多种块类型等挑战。
实验
为了验证AlphaZeroBlock算法的优越性并评估其改进的实际影响，本研究设计并进行了一系列消融实验，以评估模型在不同条件下的收敛率和构建性能。我们提出了关键指标，如策略熵和KL散度（Policy Entropy & KL Divergence）、准确率和F1分数（Accuracy & F1 Score）以及相对均方根误差（RRMSE）（Jin和Xu，2025e；Xu和Zhang，2023a；Xu和Zhang，2023b）。
结论
本研究提出了一个集成的轨道构建框架，结合了三维轨道构建块编码、深度强化学习和蒙特卡洛树搜索。引入了一种新颖的轨道构建块编码方案，通过隐式微分存储和旋转规范化确保了轨道特征和块类型的唯一性。我们还提出了一种基于自我对弈的轨道生成算法，通过转换三维块类型简化了搜索空间。
CRediT作者贡献声明
刘振：概念化、方法论、调查、形式分析及撰写——原始草稿准备。
邓宏伟：方法论、软件、调查、形式分析、撰写——原始草稿准备和验证。
王勇：软件、调查、形式分析、资源和可视化。
岳昌：验证、可视化和数据整理。
谢涛：概念化、资金获取、资源、监督和撰写——审阅和编辑。
张杰：数据整理、方法论。
ORCID信息
周佳丽 - 0009-0009-6848-9264
周哲远 - 0000-0002-0365-6166
吴超 - 0009-0009-1167-045X
邓宏伟 - 0009-0002-8237-3195
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文所述的工作。
