注意力层级获取结构信息的方式如何影响Transformer中逐层注意力的路由

《Applied Sciences》:How Attention-Level Access to Structural Information Shapes Layer-Wise Attention Routing in Transformers

【字体: 大 中 小 】 时间:2026年08月29日 来源:Applied Sciences 2.5

编辑推荐:

   摘要

  

摘要

Transformer层在训练过程中可以发展出不同的注意力路由模式,但架构对结构信息的访问方式如何塑造这种组织形式仍然不明。现有的结构感知方法通过修改多个组件使得这一问题难以确定。为探究此问题,我们比较了两个Transformer模型,它们在字段ID输入、嵌入、学习组件、主干架构、参数量和优化方法上完全一致,但在注意力计算方式上有所不同。两者均使用字段嵌入;结构感知注意力偏置(SAAB)此外将输入的字段ID转换为固定的同字段成对注意力偏置。我们首先在DBpedia数据集上对两种模型进行掩码结构建模(MSM)训练,该任务要求从上下文中恢复被隐藏的字段标签。两种模型在验证集上的准确率均超过99.9%,但它们的注意力组织方式不同。在种子为1001的模型对所提供的64组配对验证样本中,SAAB在第二层将同字段注意力质量(SFM)均值改变了 ,在第三层改变了 (95%置信区间分别为 [, ] 和 [, ])。我们将这种模式称为竞争性置换。在八次初始化中,两次表现出相对较强的置换效应;其余的则表现出较弱或不同的响应。对于种子1001,置换效应随偏置强度的变化呈非单调性。在两个选定种子中,相关变化随深度继续存在,而在PubMed数据集上则表现出不同的表现。这些结果表明,在测试条件下,SAAB重新分配了逐层的注意力路由。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号