一种用于双桩承台自主配筋设计的物理信息多智能体深度强化学习方法

《Engineering Applications of Artificial Intelligence》：A physics-informed multi-agent deep reinforcement learning method for autonomous reinforcement design of double-pile caps

　　

摘要

承台是桥梁基础中的关键承重构件，直接影响结构的安全性与经济性。然而，目前双桩承台的配筋设计仍依赖工程经验和人工校核，效率低下。针对这一局限，本研究提出了一种物理信息驱动的多智能体强化学习方法，称为Rein-MARL，用于实现配筋设计的智能化。Rein-MARL融合了物理引导的强化学习环境与知识驱动的奖励函数。通过将钢筋的协同设计过程分解为多个子任务，采用多智能体系统（MAS）独立设计不同的构件。实际工程案例验证表明，人工智能（AI）生成的配筋方案同时满足规范安全性和经济性要求。与工程师设计的方案相比，Rein-MARL在承载力方面的平均相对误差为9.8%，在钢材用量方面的平均相对误差为3.6%。值得注意的是，Rein-MARL将设计时间缩短至人工过程所需时间的仅0.5%，表明在配筋自动化方面取得了实质性提升，并为未来桥梁系统的智能设计提供了理论基础。

引言

钢筋混凝土（RC）在过去一个世纪中被广泛应用于世界各地的建筑和民用基础设施中。在钢筋混凝土结构中，钢筋主要承担拉应力，直接决定混凝土构件的强度、使用寿命、耐久性和成本（Trejo等, 2016; Koumousis和Arenis, 1998; Barcley和Kowalsky, 2020）。根据《混凝土结构设计规范》（GB 50010-2010）（GB 50010-2010, 2024），配筋设计必须满足承载力和抗震要求，同时还须符合与可施工性相关的准则。由于几何形状不规则且配筋布置规则复杂，结构工程师需要花费大量时间调整配筋组合和布置方案。该过程通常采用人工或半自动方式进行，耗时且容易出错（Eleftheriadis等, 2018）。因此，提高钢筋混凝土结构中配筋设计的效率和准确性已成为一个关键的研究挑战。

在桥梁工程中，承台在荷载传递和整体稳定性方面发挥着关键作用（Zhang等, 2026a; Basha等, 2023）。在各种配置形式中，双桩承台因其结构简单且抗震性能优良而被广泛应用于中小跨径桥梁。此类结构的配筋体系包括主筋、次筋和箍筋。其数量和布置由一系列因素决定，包括承台几何尺寸、荷载和混凝土等级。在实践中，工程师通过假设初始条件并反复调整方案，直至满足所有规范要求。因此，传统的人工设计过程既耗时又费力。迫切需要一种智能设计方法来克服这些局限。

近年来，研究人员探索了各种智能算法以实现结构自动设计和优化。优化算法、启发式方法和数字化设计框架已成为一个突出的研究趋势，包括遗传算法（GA）、进化算法、多目标优化方法、邻域域优化技术和路径规划方法等（Mangal和Cheng, 2018; Liu等, 2020, 2021; Weerakoon等, 2015; Xu等, 2022; Boonstra等, 2020; Brown和Mueller, 2016; Mueller和Ochsendorf, 2015）。然而，对于配筋布置问题，高维设计空间以及多个相互冲突的目标往往阻碍这些传统优化算法的收敛。此外，优化过程中需要进行反复的结构校核，限制了其设计效率。

深度强化学习（DRL）的最新进展（Arulkumaran等, 2017; Mnih等, 2013）通过实现对设计策略的自主学习，已经深刻改变了智能结构设计领域。深度Q网络（DQN）（Mnih等, 2015）、近端策略优化（PPO）（Schulman等, 2017）、深度确定性策略梯度（DDPG）（Lillicrap等, 2015）和软演员-评论家算法（SAC）（Haarnoja等, 2018）是目前主流的DRL模型。Jeong等（Jeong和Jo, 2021）采用DDPG实现了钢筋混凝土梁的自动化设计。Wan等（2026）利用DQN进行预制混凝土构件的钢筋路径规划。Lin等（2024）采用PPO设计钢-混凝土组合梁。Hayashi等（Hayashi和Ohsaki, 2022）将基于图的表现形式与DRL结合以优化钢框架的截面。Fu等（2024）提出了一种物理信息驱动的PPO框架用于钢框架结构设计。Kupwiwat等（2024）基于DDPG实现了多目标桁架优化。Rochefort-Beaudoin等（2025）采用PPO进行结构拓扑优化。Pan等（2026）将SAC应用于预应力地下结构的多目标智能设计。Zhang等（2026b）提出了一种力学耦合的DRL方法用于基坑支护结构设计。Shen等（2026）开发了一种代理模型辅助的DRL设计方法，用于横向预应力捆扎地下管道结构。Choi等（2025）提出了一种基于DRL的柔性超材料单元结构优化方法。Luo等（2025）采用PPO进行住宅楼层平面功能分区布局。Kim等（2025）利用PPO优化BIM图纸元素的布置。Zhang等（2024）采用DDPG生成建筑平面空间配置。Pan等（Shi等, 2026）提出了一种基于DRL的绿色建筑设计优化框架。Shi等（Pan等, 2024）将机器学习（ML）与DRL结合，开发了一个自主城市地块设计框架。与传统优化或启发式方法不同，DRL能够动态适应不断演变的环境并调整策略，使其适用于涉及离散构件选择、多步决策和约束平衡的结构设计问题。

除了基于强化学习（RL）的优化研究外，自适应动态规划（ADP）近年来也得到了迅速发展。例如，Qin等（2026a, 2026b, 2026c, 2026d）研究了非线性系统的最优安全控制和跟踪。桥梁承台中钢筋的协同设计是一个离散工程优化问题，因此更适合使用RL建模。因此，两种方法在研究目标、问题建模和技术路径方面有所不同。RL（Sutton等, 1999）是一种机器学习范式，智能体通过与环境交互来学习最优策略，以最大化累积奖励，这与监督学习和无监督学习（Minsky, 1961）不同。通过更新价值或策略函数，智能体自主获得最优决策能力。与深度学习（DL）（LeCun等, 2015）不同，RL中的训练数据是通过交互在线生成的，而非来自预定义的数据集，提供了更大的灵活性。

然而，传统的RL方法缺乏有效的机制来逼近价值或策略函数，使其难以在高维或连续状态空间下保持令人满意的表现。DRL将DL整合到RL框架中，利用深度神经网络（DNNs）（Krizhevsky等, 2017）学习环境的特征表示并逼近价值或策略函数。这一机制显著增强了处理复杂输入和提取显著特征的能力。RL通过试错和策略更新寻求最优解，这一过程与工程设计中迭代工作流程密切相关。然而，配筋设计是一个高度耦合的多目标优化问题，必须同时满足多个工程约束。结构状态和设计动作通常由高维连续变量表示，这大大增加了模型训练和策略搜索的难度。不同类型钢筋之间的协同决策进一步加剧了复杂性。

在典型的RL框架中，决策过程由单个智能体完成，这对于涉及多种钢筋的协同设计任务而言是不够的。多智能体强化学习（MARL）（Lowe等, 2017; Gronauer和Diepold, 2022）是RL的一种强大扩展，其中由多个智能体组成的多智能体系统（MAS）协同学习和决策。不同的智能体可以在同一环境中学习，实现多个主体之间的协同和动态交互关系。MARL适用于高维、分布式和结构化决策问题。同时，为了提高训练稳定性、样本效率和决策的物理合理性，研究人员开始将物理知识或控制方程纳入MARL框架。Fu等（2026）提出了一种物理信息驱动的FrameMARL方法用于钢框架结构设计。Shi等（2025）引入了一种对称性信息驱动的MARL方法用于自主无人机（UAV）控制。Feng等（2024）采用物理信息驱动的RL实现多智能体避障。与常规方法相比，物理信息驱动的RL或MARL可以有效减少低效探索并增强复杂任务中的泛化能力。

现有的基于DL和RL的智能设计研究主要集中在建筑结构、地下结构和结构拓扑优化方面，而桥梁工程方面的研究相对有限。与优化截面尺寸的框架结构设计问题不同，桥梁承台的配筋设计不仅涉及选择钢筋直径，更重要的是确定需要布置的钢筋数量。承台配筋设计是一个典型的离散、多变量和高度耦合的优化问题。因此，本研究提出了Rein-MARL，一个物理信息驱动的多智能体强化学习框架。该方法重构了状态空间、动作空间、物理信息驱动的强化学习环境、奖励函数、钢筋数据库和多智能体协同策略。多个智能体负责选择和布置不同的配筋钢筋，在共享的结构环境中交互。此外，该方法在每次环境更新后通过有限元（FE）分析自动评估结构安全性，建立了物理信息与设计策略之间的映射。本研究的主要贡献总结如下：

• 为双桩承台配筋布置建模了一个MARL框架，实现了从经验驱动到数据驱动设计的范式转变，并显著提升了结构设计效率。

• 将传统的配筋设计问题重新表述为多智能体协同决策过程，其中每个智能体负责选择特定配筋组件的钢筋直径和间距，而一个全局评论家（Critic）协调优化过程。通过纳入桥梁设计规范和经验，针对承台配筋设计任务专门重构了状态空间、动作空间和多智能体协作机制。

• 开发了一个专门的物理引导的强化学习环境。该环境集成了不同几何尺寸、桩径和桩距的承台模型生成，以及自动化有限元建模和分析。此外，设计了一个知识驱动的多阶段奖励函数来引导学习过程。

• 在设计院提供的实际工程案例上的测试证明了所提模型的鲁棒性和实际可行性。

本文其余部分组织如下：第2节详细介绍双桩承台的配筋情况。第3节阐述MARL的原理。第4节概述Rein-MARL的建模与实现。第5节提供实验设置。第6节研究多个因素对模型性能的影响。第7节进行案例研究。最后，第8节总结全文。

章节片段

双桩承台的配筋布置

双桩承台结构的配筋示例如图1所示。配筋配置包括纵向筋、横向筋、加强筋、横向水平箍筋、纵向水平箍筋、支撑筋、横向构造筋和纵向构造筋。纵向筋（N1-2）沿桥梁横向布置在承台的顶部和底部，设计直径为d1毫米。顶部

MARL

RL是一个由智能体、环境及其交互（包括状态、动作和奖励）组成的机器学习范式。智能体是核心组件，负责感知状态、学习策略和执行动作。环境是智能体交互的外部系统。状态（$s_t$）包含当前时间步t的环境信息，为智能体的决策提供依据。动作（$a_t$）是

Rein-MARL

在MARL的基础上，本研究提出了Rein-MARL以实现双桩承台的智能配筋设计。该框架利用MAS将设计问题从单智能体多决策任务转化为多智能体单决策任务，从而有效降低了单个智能体的计算复杂度。

如第2节所述，双桩承台涉及七种类型的钢筋。不同配筋的设计过程可以划分为独立的

PPO的架构

MAS由一个全局评论家（Critic）网络和多个执行者（Actor）网络组成，网络架构汇总于表3中。执行者和评论家均采用一维卷积层处理输入特征，随后通过全连接层融合各种特征表示。

设计条件

环境需要在每个回合初始化一个结构案例。为与工程实践保持一致，采用了表4中列出的参数范围。

抗拉强度为的钢筋

Rein-MARL的性能评估

图6展示了多智能体系统（MAS）的奖励曲线。均值和标准差由多次使用不同随机种子的独立训练运行得出。对于每个回合，计算所有独立运行中奖励的均值和标准差，并据此绘制相应的奖励曲线和误差范围。因此，报告的标准差反映了所提出方法在不同随机条件下的训练稳定性和一致性。

案例研究

上述研究从不同角度评估了模型的性能差异。本节将通过案例研究进一步验证Rein-MARL的可行性。选取广州设计院提供的双桩承台配筋图纸作为测试案例。每张图纸均由专业结构工程师按照设计规范设计，并已应用于实际桥梁项目中。

100个代表性结构尺寸和外荷载

结论

为实现双桩承台的配筋自动布置，本研究将结构设计原理与多智能体强化学习（MARL）相结合，开发了一种智能设计方法，称为Rein-MARL。该框架将多根钢筋的协同设计过程建模为MARL任务，从而将复杂问题解耦为若干简单的子任务。最后，案例研究表明，人工智能生成的方案既可行又优越，所提出的方法显著提升了

CRediT作者贡献声明

梁兆凡：撰写——初稿、可视化、软件、方法论、调查、形式化分析。贾伯禹：撰写——审阅与编辑、监督、资金获取。林宇君：验证、调查、数据整理。于晓林：撰写——审阅与编辑、监督、项目管理、概念化。

利益冲突声明

作者声明，他们不存在已知的可能影响本文所报告工作的竞争性经济利益或个人关系。

致谢

本研究由广东省自然科学基金资助，项目编号：2022A1515011703、2022A1515011023、2026A1515011035。

梁兆凡|贾伯禹|林宇君|于晓林
华南理工大学土木与交通学院，广州，510641，中国