在排列对齐的神经网络之间进行线性插值时的二次效应

《Neural Networks》:Quadratic effects of linear interpolation between permutation-aligned neural networks

【字体: 大 中 小 】 时间:2026年05月13日 来源:Neural Networks 6.3

编辑推荐:

  贝亚特丽克斯·本科(Beatrix Benk?)摘要在线性参数空间中进行权重插值已成为一种通用的技术,可用于规范深度神经网络及其他模型。该方法能够有效提升收敛速度,并通过平均操作支持模型融合;同时还可用于分析损失函数的变化情况,尤其是在研究极小值之间的模式关联性时。近期研究显示,

  
贝亚特丽克斯·本科(Beatrix Benk?)

摘要

在线性参数空间中进行权重插值已成为一种通用的技术,可用于规范深度神经网络及其他模型。该方法能够有效提升收敛速度,并通过平均操作支持模型融合;同时还可用于分析损失函数的变化情况,尤其是在研究极小值之间的模式关联性时。近期研究显示,在某些情况下,通过排列对齐可以实现在独立训练的模型之间进行线性插值,而不会显著增加损失。我们从局部二次逼近的角度对这一现象进行了深入分析。实验表明,这类逼近能够准确捕捉排列对齐解之间的损失变化规律,但在未对齐的解之间则无法有效描述损失变化。研究发现,由于对应层中单元之间的不一致性导致的更高阶损失变化较为显著,而通过排列重新排序这些单元可以有效降低这些变化。随着网络规模的扩大,剩余的非线性影响会逐渐减弱。此外,我们还从二次函数的视角分析了不同插值方向下的损失行为和模型性能差异,这些差异超出了传统聚合性能指标所能揭示的范围。我们还发现,在解之间进行插值时,分类性能会有小幅但稳定的提升,并通过逻辑函数(logit)级别的近似模型对其机制进行了阐释。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号