用于减轻物理信息神经网络中任务异质性的组合元学习方法
《Pattern Recognition》:Compositional meta-learning for mitigating task heterogeneity in physics-informed neural networks
【字体:
大
中
小
】
时间:2026年04月29日
来源:Pattern Recognition 7.6
编辑推荐:
朴秉哲(Beomchul Park)| 科敏洙(Minsu Koh)| 孔熙祖(Heejo Kong)| 李成焕(Seong-Whan Lee)
韩国大学人工智能系,首尔城北区安南洞,02841,大韩民国
**摘要**
物理信息神经网络(PINNs)通过将物理定律嵌
朴秉哲(Beomchul Park)| 科敏洙(Minsu Koh)| 孔熙祖(Heejo Kong)| 李成焕(Seong-Whan Lee)
韩国大学人工智能系,首尔城北区安南洞,02841,大韩民国
**摘要**
物理信息神经网络(PINNs)通过将物理定律嵌入损失函数来近似求解偏微分方程(PDEs)。在参数化的PDE家族中,系数或边界/初始条件的变化定义了不同的任务。这使得为每个任务单独训练PINNs在计算上变得不可行,而跨任务迁移可能对任务异质性敏感。尽管元学习可以降低重新训练的成本,但现有方法通常依赖于单一的全局初始化,并且在特征稀缺的坐标输入和有限的训练任务可用性下可能会遭受负面迁移。我们提出了学习亲和性自适应模块化物理信息神经网络(LAM-PINN),这是一种利用任务特定学习动态的组合框架。LAM-PINN结合PDE参数和来自短暂迁移会话的学习亲和性指标来构建任务表示,并即使仅使用坐标输入也能对任务进行聚类。它将模型分解为针对特定簇的子网络和一个共享的元网络,并学习路由权重以选择性重用模块,而不是依赖于单一的全局初始化。在三个PDE基准测试中,LAM-PINN在使用传统PINNs所需训练迭代量的10%的情况下,平均将未见任务的均方误差(MSE)降低了19.7倍。这些结果表明其在资源受限的工程环境中对参数化PDE家族的未见配置进行泛化的有效性。
**引言**
偏微分方程(PDEs)广泛用于模拟物理系统。物理信息神经网络(PINNs)通过最小化一个损失函数来近似PDE解,该损失函数结合了数据不匹配和在配置点评估的PDE残差惩罚,通过自动微分实现[1]。这种形式使得可以从稀疏测量中无网格地近似求解,并已应用于流体动力学和结构分析等工程问题[1][2],以及图像处理任务[3][4]。
在实践中,工程工作流程通常需要解决许多参数化PDE的实例。即使在单个PDE家族内部,系数的变化、材料参数或边界/初始条件的变化也定义了不同的任务。为每个任务重新训练PINN对于设计探索和优化可能是不可行的。元学习和迁移学习旨在通过学习能够快速适应新配置的参数来分摊这一成本[5]。基于优化的方法,如MAML[6]及其PINN改编[7]是代表性的基线。然而,它们通常通过单一的全局初始化来传递知识。当训练任务具有异质性时,这种策略可能会导致负面迁移。
这个问题在PINNs中尤其相关。与特征丰富的少样本基准不同,PINN任务仅使用坐标输入,并且通常提供的训练任务数量有限。可用的任务集可能在规模上有限,但由于控制条件的多样性而具有异质性。图1说明了这种不匹配。在实验设计(DoE)范围内,两个未见到的亥姆霍兹任务具有相同的PDE形式,仅在参数值上有所不同,但每个基线在这两个任务上的迁移性能明显不同。
任务感知的元学习通过显式建模任务身份和通过任务聚类学习针对特定簇的组件来减轻异质性[8][9]。然而,直接将这些想法应用于PINNs仍然很困难。仅使用坐标输入提供的任务区分信息很少,而仅基于PDE参数的描述符[10][11]可能无法捕捉任务特定的学习动态。因此,一个重要的剩余挑战是如何在仅使用坐标输入和有限的训练任务情况下,明确考虑参数化PDE家族中任务的异质性。
本研究关注在同一PDE家族的有限DoE范围内的未见参数配置的泛化,其中一系列参数配置可能导致异质的任务设置。在这个范围内,我们探讨了三个问题:当输入不直接揭示任务身份时如何表示任务异质性;PINN的哪些部分应该专门化或共享以减少负面迁移,同时保持迁移效率;以及这种选择性重用是否能在有限的训练预算下改善对未见任务的适应能力。我们通过学习亲和性自适应模块化物理信息神经网络(LAM-PINN)来解决这些问题,这是一种用于任务异质PINNs的组合元学习框架。LAM-PINN通过结合PDE参数和来自短暂迁移会话的学习亲和性指标来表示每个任务,捕获早期动态,从而即使在仅使用坐标输入的情况下也能进行聚类。基于层级分析,我们将输入相邻的层专门化为针对特定簇的模块,同时将剩余层作为元网络共享。在适应过程中,可学习的路由权重将这些模块组合成特定于任务的初始化,旨在将参数空间的起点移向目标任务,以实现更高效的收敛(图2b)。
为了反映资源受限的工程工作流程,我们使用PDE系数、初始条件(ICs)和边界条件(BCs)的三个因素、三个级别的全因子DoE来形成任务集,从而得到27个训练任务[12]。我们在三个代表性的PDE基准测试上评估了LAM-PINN的性能,并将其与基于优化的标准和基于对比的元学习基线以及最近的PINN导向的改编进行了比较。我们还讨论了局限性及失败情况,以明确选择性重用何时无效。主要贡献总结如下:
(1) 我们为PINNs引入了一种学习亲和性任务表示方法,该方法结合了PDE参数和来自短暂迁移会话的指标,在仅使用坐标输入的情况下提供有信息量的任务嵌入,并且额外开销最小。
(2) 我们提出了一种模块化PINN架构,它仅将输入相邻的层专门化为针对特定簇的子网络,并通过可学习的路由将它们与共享的元网络组合起来。在27个DoE训练任务中,它在未见任务上的MSE平均降低了19.7倍,同时使用的每个任务的训练迭代量仅为传统PINNs所需量的10%。
**代码可用性**
LAM-PINN参考实现的代码和配置文件可在以下链接公开获取:
https://github.com/bc0322/LAM-PINN
**利益冲突声明**
作者声明他们没有已知的竞争财务利益或个人关系可能会影响本文报告的工作。
**致谢**
本研究得到了信息与通信技术规划与评估研究所(IITP)的资助,该机构由韩国政府(MSIT)资助(项目编号RS-2019-II190079,韩国大学人工智能研究生项目),以及韩国技术促进院(KIAT)的资助,该机构由贸易、工业和能源部(MOTIE)资助(项目编号RS-2025-12572968)。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号