基于深度强化学习的空间网格结构悬吊天花板系统设计优化方法

《ADVANCED ENGINEERING INFORMATICS》：Deep reinforcement learning-based design optimization method for suspended ceiling systems of space grid structures

针对大型公共建筑悬挂天花板系统设计效率低、材料浪费严重等问题，提出基于深度强化学习的CeilRL优化框架，通过模拟工程师决策过程，整合结构分析与多目标优化，实现设计效率提升和材料成本降低，验证其在空间网格结构中的可行性。

　　

江丽|高玉清|王伟|连珍|傅博超

同济大学土木工程灾害减控国家重点实验室，上海，200092，中国

摘要

随着对大型公共建筑（如航站楼、剧院和会议中心）需求的增加，作为这些结构关键组成部分的悬吊天花板系统（SCS）面临着一系列挑战，包括过度依赖工程经验、设计效率低下以及材料浪费。为了解决这些问题，本文提出了一种基于深度强化学习的优化框架CeilRL，并在空间网格结构的SCS上对其进行了验证。CeilRL将设计过程视为一个强化学习任务，整合了有限元分析、规范验证和材料消耗评估。该框架中的智能体模拟结构工程师与环境的互动，学习领域知识并迭代优化设计策略，以实现组件级别的优化。此外，通过对比研究对智能体的网络架构、动作空间和奖励函数进行了定制和系统评估。实验结果表明，CeilRL生成的设计方案具有合理的冗余性，同时显著降低了材料成本，并在设计效率上优于手动设计和传统优化算法。所提出的框架具有扩展到其他结构系统的强大潜力。

引言

近年来，尽管民用建筑建设的整体增长率有所放缓[1]，但由于全球化加速和对公共服务需求的增加，大型公共建筑项目（如航站楼、剧院和会议中心）的数量显著增加。例如，全球机场建设项目数量从2018年中的约427个增加到2025年6月的1031个，七年间增长了141%[2][3]。根据Global Market Insights的报告，2023年全球音乐厅和剧院市场规模达到了1726亿美元，并预计从2024年到2032年将以5%的速率稳定增长[4]。作为大型公共建筑中的关键结构系统，悬吊天花板系统（SCS）在维持建筑的功能性和美观性方面发挥着重要作用[5]（见图1）。 SCS通过指定的悬挂组件将天花板面板悬挂在主体结构下方，在结构层和天花板层之间形成了隐蔽的间隙空间。当这些层之间的垂直偏移较大时，通常需要反向支撑层或钢框架传递层来满足结构安全和施工要求。因此，SCS在结构上非常复杂，其配置根据主体结构形式（如空间网格或桁架结构）而有所不同。随着建筑形式的日益多样化，SCS在几何形状、连接方式和材料类型上也表现出显著差异，这对组件设计带来了挑战。这些挑战包括缺乏统一的设计标准、过度依赖工程师的经验和建模能力，导致设计质量不稳定、效率低下和材料浪费。为了应对新建和改造大型公共建筑的需求，开发一种高效且普遍适用的设计方法对于解决这些问题至关重要。 SCS的组件设计本质上是一个多目标结构优化问题，需要在安全性、成本效益和可建造性之间取得平衡。一旦定义了设计变量、约束条件和目标函数，就可以使用优化算法来确定最优的组件截面。然而，由于变量之间的复杂耦合，设计效率和全局优化仍然存在挑战。早在20世纪80年代，基于知识的专家系统就被引入用于结构设计，并取得了相对稳健的结果[6]。随后，一系列启发式算法（如遗传算法[7][8]、粒子群优化[PSO][9][10]和模拟退火[SA][11][12]）被广泛应用于类似任务。这些方法通过模拟进化或群体智能过程来探索设计空间，并通过惩罚函数结合规范要求和成本等约束条件来提高设计质量。然而，它们往往收敛速度慢且对参数设置敏感，这对实际工程应用带来了挑战。 人工智能（AI）的快速发展正在改变各个领域的传统范式。作为AI的一个主要分支，深度学习（DL）在智能结构设计方面取得了显著进展，应用于钢筋混凝土（RC）剪力墙[13][14][15][16]、梁和板设计[18]以及钢框架支撑结构中的组件布局[19][20][21]。主流方法采用生成模型（如生成对抗网络GANs和扩散模型），从现有图纸中学习隐含规则以生成新的结构布局。与直接在设计变量空间中搜索的传统优化方法不同，生成模型通过优化网络参数来近似数据分布，这使得整合工程经验和物理约束变得困难。一些研究试图通过使用生成模型生成初始方案（例如，抗屈曲支撑布局），然后通过优化算法进行细化，以降低搜索复杂性和提高效率[22]。然而，这些方法仍然依赖于大规模标记的数据集，而获取SCS的结构化图纸仍然需要大量人力。此外，基于DL的方法未能有效积累过去设计过程中的经验，导致数据资源浪费。 目前，AI研究正从“人类数据时代”转向“经验时代”，从依赖静态数据集转向通过智能体与真实或模拟环境之间的持续互动进行学习[23]。作为这一范式转变的关键推动者，强化学习（RL）在克服上述方法的局限性方面具有巨大潜力。RL强调智能体与其环境之间的动态互动。通过执行动作，智能体会立即获得奖励，并通过试错不断改进其策略，以最大化累积回报[24]。当与DL结合时，深度强化学习（DRL）在连续和高维离散控制任务中表现出色，并已广泛应用于围棋[25]、机器人技术[26]、自动驾驶[27]和游戏[28]等领域。DRL在RC梁[29]、平面钢桁架[30]和钢框架结构[31]的组件优化中的成功应用凸显了其在结构优化任务中的可行性。与传统优化算法相比，DRL可以为一类结构学习通用的设计策略，从而显著提高效率。然而，尽管取得了这些进展，针对SCS的智能设计研究仍相对有限，与RC剪力墙、桁架和钢框架等主流结构系统相比仍存在差距。 将DRL应用于SCS的设计面临几个关键挑战：（i）设计过程涉及多个利益相关者的协调，标准化复杂信息（如结构拓扑、设计参数和规范要求）仍然困难。（ii）大多数现有研究专注于优化单个组件或平面结构系统，这些方法不适用于结构更为复杂的SCS。（iii）SCS由具有不同截面类型和尺寸的组件组成，但目前尚缺乏有效的建立截面库并将其映射到动作空间的方法。（iv）RL智能体架构和奖励函数需要改进，以提高学习效率和泛化能力。 因此，本文提出了一种基于DRL的SCS最优设计框架CeilRL，并以空间网格结构的SCS作为研究对象来验证其可行性。本文的主要贡献如下：

• （1）
  将空间网格结构的SCS设计过程表述为一个RL问题，采用先进的DRL算法使智能体能够学习最优设计策略。
• （2）
  CeilRL框架结合了结构分析模块，并明确考虑了结构性能和施工约束，确保生成的设计在工程应用中是可行和安全的。
• （3）
  开发了一种定制的智能体网络架构，以及一个同时索引截面类型和尺寸的多离散动作空间。采用掩码机制防止超出预定义范围的无效索引。
• （4）
  通过结合结构安全冗余、截面层次约束和材料成本构建奖励函数，该函数通过基于势能的公式明确嵌入，使智能体能够更高效地找到最优设计方案。

章节片段

深度强化学习

RL是一种基于试错机制的顺序决策框架[24]。其核心组成部分包括环境、智能体及其互动（状态、动作和奖励）。在每个时间步长$t$，智能体观察当前状态s并基于当前策略$\pi (a|s)$选择一个动作$a$，然后环境转换到下一个状态t+1并返回奖励r。奖励作为反馈信号，用于改进策略，从而影响未来的决策。

问题陈述

如引言所述，SCS是大型公共建筑的关键组成部分。鉴于此类建筑中空间网格结构的广泛使用及其SCS的相对规则布局，本研究选择空间网格结构中的SCS作为所提出的RL框架的验证案例。根据中国建筑规范[46]，当上部结构采用网格系统时，需要设置钢制传递层。因此，典型的SCS（见图3）包括一个传递层。

CeilRL

基于上述问题表述，图4展示了所提出的框架CeilRL，它遵循经典的RL范式，由五个关键组件组成：CeilEnv（环境）、CeilAgent（智能体）、State（状态）、Action（动作）和Reward（奖励）。以下部分将详细描述每个组件。

实验目标

为了验证所提出的CeilRL框架的有效性，进行了一系列数值实验：（1）使用表1中列出的参数范围，通过CeilEnv随机生成了大量设计案例。这些案例用于训练CeilAgent，确保收敛。在训练过程中，定期在三个随机生成的案例上测试智能体以监控实时学习性能。（2）将CeilAgent应用于100个新案例

案例研究

本研究收集了由专业设计机构提供的三个来自机场航站楼的真实世界SCS设计案例。对于每个案例，提取了一个代表性的设计单元，如表5所示。将训练有素的CeilAgent应用于这些案例，将其输出与工程师的结果进行比较，展示了其在实际工作流程中替代手动设计的潜力。

结论与扩展

本文提出了一种基于DRL的优化框架CeilRL，并在空间网格结构的典型SCS上进行了验证。CeilRL模拟了结构工程师的决策过程，实现了快速自动化的组件设计。该框架建立了一个完整的RL流程，包括五个关键元素：CeilAgent、CeilEnv、State、Action和Reward。CeilEnv整合了结构分析和规范验证模块，全面评估设计方案并提供

CRediT作者贡献声明

江丽：撰写 – 审稿与编辑、撰写 – 原稿、可视化、方法论、概念化。高玉清：撰写 – 审稿与编辑、撰写 – 原稿、监督、资源获取、方法论、资金获取、概念化。王伟：撰写 – 审稿与编辑、监督、资源获取、项目管理、调查、资金获取、概念化。连珍：撰写 – 审稿与编辑、监督、资源获取、调查、资金

利益冲突声明

所有作者均未披露任何相关关系。

致谢

感谢上海2022年科技创新行动计划社会发展科技研究项目（中国）（项目编号：22dz1201700）、上海建工集团研究项目（中国）（项目编号：25YJKF-16）以及同济建筑设计（集团）有限公司的领导职位公开招聘项目（项目编号：2024J-JB07）提供的财务支持。