《Proceedings of the Design Society》：Enhancing design adaptation through an information-enriched reinforcement learning state
编辑推荐：
强化学习（Reinforcement Learning, RL）在设计自适应中的适用性与可扩展性可通过基于图的方法而非刚性的向量或网格方法得以拓展。然而，基于图的方法通常需要大量的模拟才能收敛。为降低机械优化中的模拟工作量，研究人员在强化学习设置中融入了任务特
强化学习（Reinforcement Learning, RL）在设计自适应中的适用性与可扩展性可通过基于图的方法而非刚性的向量或网格方法得以拓展。然而，基于图的方法通常需要大量的模拟才能收敛。为降低机械优化中的模拟工作量，研究人员在强化学习设置中融入了任务特定的因果信息与物理信息。本研究采用因子试验设计，系统性地考察了附加信息对设计自适应效率的影响。研究表明，状态信息的丰富程度显著影响强化学习代理的学习效率与最终策略质量。通过消融研究，研究人员逐一验证了不同信息层级的作用，为工程设计领域智能化自适应优化提供了理论依据。
本研究聚焦于强化学习在机械工程设计自适应中的应用，系统探讨了如何通过丰富状态表示来提升学习效率与策略质量。研究背景源于工业设计领域对自动化、智能化的迫切需求。随着人工智能技术的快速发展，工业界亟须借助智能算法替代传统基于试错的设计优化流程，以缩短产品开发周期、降低研发成本。强化学习作为一种能够处理序贯决策问题的机器学习方法，在自动化设计自适应方面展现出巨大潜力。然而，现有研究在状态表示方面存在明显局限：传统的向量或网格结构难以灵活处理不同规模的结构组件，且无法充分编码组件间的因果与物理关系；而基于图的方法虽具灵活性，却面临样本效率低下、收敛缓慢等挑战。因此，如何有效丰富图状态信息以提升强化学习在设计自适应中的效率，成为亟待解决的关键科学问题。
研究人员以纤维增强复合材料层合板的强度优化为具体应用场景，开展了系统性的消融研究。该应用场景具有典型的工程复杂性：层合板由多个铺层堆叠而成，各铺层的厚度与纤维取向共同影响整体力学性能，且铺层间存在显著的材料耦合效应与对称约束关系。研究人员将铺层建模为图节点，通过边表示铺层间的多种物理关系，构建了具有不同信息丰富程度的图状态变体，并采用图神经网络（Graph Neural Network, GNN）处理这些状态以计算动作值函数（Q-values）。研究的核心目标在于明确不同信息类型与数量对样本效率（达到稳定收敛所需模拟次数）和策略质量（收敛后策略的成功率）的独立影响机制。
在技术方法层面，研究人员采用了基于GNN的深度Q学习（Deep Q-Learning）框架。该方法的关键特征包括：利用边条件卷积（Edge-Conditioned Convolution）与消息传递（Message Passing）机制构建包含局部与全局信息的节点嵌入，再通过多层感知机（Multi-Layer Perceptron, MLP）计算各节点的Q值以实现离散动作选择。为隔离信息变量的影响，研究严格控制了RL算法、奖励函数与动作空间的一致性，仅系统变化状态表示中的节点特征（因子A）和边集合（因子B）两个维度。节点特征设置三个层级：仅含直接可调参数（A1）、追加任务相关特征如铺层距中面距离（A2）、再追加衍生属性如最大蔡-吴（Tsai-Wu）失效准则值（A3）；边集合亦设置三个层级：仅含相邻边（B1）、追加语义相关的对称边等（B2）、进一步密集化乃至全连接（B3-Bx）。通过A×B的全因子组合，共形成10种状态变体（V1-V10），覆盖了从稀疏状态到高度丰富状态的完整谱系。
研究结果的呈现遵循消融研究逻辑，分层次揭示信息增量的效应。以下为各主要研究发现：
"添加因果边至基准图"：与仅含相邻边的稀疏基准V1相比，增加任务相关边（V2）使达到样本效率准则的步数从5200步降至4200步（降幅19.2%），样本量从2369降至2073（降幅12.5%），且后续平均成功率从78.5%提升至93.7%（增幅19.4%）。这表明，即使少量增加语义相关的物理关系边，也能显著促进信息流动，加速学习并提升策略质量。
"添加任务相关特征"：在V2基础上追加任务相关特征形成V3，其最终成功率达97.9%，较V2提高4.5%。这归因于节点特征中融入了铺层距中面距离等工程师实际决策时考量的物理参数，使图状态对物理系统的描述更为精确。
"添加因果与物理边直至全连接"：分析V3-V6的边密度效应发现，V3（常边）与V5（动态边，基于纤维取向差Δθ）表现最优。V3的高成功率源于其边的恒定性；V5虽含动态边导致状态空间复杂度增加，但凭借更丰富的信息输入和更精确的物理描述克服了该困难。相反，V4（动态边但信息有限）效率较低，V6（全连接常边）则因边密度过高引发过平滑（Oversmoothing）而策略质量下降。
"添加衍生属性"：基于任务相关特征计算的蔡-吴值虽属高度相关的物理量，但其引入反而降低了策略质量。对比显示，V7（94.0%）、V9（89.4%）、V10（89.8%）均低于对应无该属性的变体（V3、V5、V6）。原因在于：厚度与取向的调整导致蔡-吴值剧烈变化，且取各铺层有限元单元最大值进一步放大了不连续性；同时，该属性与奖励函数高度相关，易诱导代理形成奖励捷径（Reward Shortcut），学习刚性脆弱的近似策略，虽初始收敛更快（步数和样本量更低），但长期泛化鲁棒性不足。V8甚至未能在10000步训练内达到样本效率准则。
在讨论部分，研究人员着重阐述了研究设计的严谨性与结果的可靠性。通过种子匹配（Seed-Matched）策略控制随机因素，确保各状态变体在相同随机条件下进行比较；采用相同的网络架构、奖励设计等框架条件，保障因果归因的有效性；每100步执行九组评估检查（三组边缘初始条件×三种随机种子），兼顾覆盖度与计算成本。针对样本效率准则的随机敏感性，研究人员指出即使采用更宽松的定义（如三连检查平均成功率≥95%），核心结论依然成立。此外，研究承认仅测试了八铺层对称层合板，未来工作需验证该方法向不同铺层数量设计的可迁移性，这正体现了基于图的机器学习相较向量/网格方法的固有价值。
研究结论部分明确指出：丰富强化学习状态信息可提升设计自适应效率，但信息类型与数量需审慎权衡。具体而言，添加少量组件间任务相关关系即可增效；追加工程师决策时参考的任务相关特征可进一步提升效率；而引入与奖励高度相关的衍生属性虽加速初始收敛，却损害长期策略质量。全连接图与低信息动态边图均可能因过平滑或复杂度过高而降低策略质量。未来研究方向包括：将设计规则整合入奖励函数，以融合人类专家经验与智能优化流程；拓展至多铺层数量及其他设计阶段（如可制造性设计、可装配性设计）的适用性验证。
本研究发表于《Proceedings of the Design Society》，其学术贡献在于建立了信息丰富度与设计自适应效率间的定量关系，为工程领域强化学习应用的状态设计提供了可操作的指导框架，对推动智能化产品开发流程具有重要实践意义。
