注意力层级获取结构信息的方式如何影响Transformer中逐层注意力的路由
《Applied Sciences》:How Attention-Level Access to Structural Information Shapes Layer-Wise Attention Routing in Transformers
【字体:
大
中
小
】
时间:2026年08月29日
来源:Applied Sciences 2.5
摘要
Transformer层在训练过程中可以发展出不同的注意力路由模式,但架构对结构信息的访问方式如何塑造这种组织形式仍然不明。现有的结构感知方法通过修改多个组件使得这一问题难以确定。为探究此问题,我们比较了两个Transformer模型,它们在字段ID输入、嵌入、学习组件、主干架构、参数量和优化方法上完全一致,但在注意力计算方式上有所不同。两者均使用字段嵌入;结构感知注意力偏置(SAAB)此外将输入的字段ID转换为固定的同字段成对注意力偏置。我们首先在DBpedia数据集上对两种模型进行掩码结构建模(MSM)训练,该任务要求从上下文中恢复被隐藏的字段标签。两种模型在验证集上的准确率均超过99.9%,但它们的注意力组织方式不同。在种子为1001的模型对所提供的64组配对验证样本中,SAAB在第二层将同字段注意力质量(SFM)均值改变了 ,在第三层改变了 (95%置信区间分别为 [, ] 和 [, ])。我们将这种模式称为竞争性置换。在八次初始化中,两次表现出相对较强的置换效应;其余的则表现出较弱或不同的响应。对于种子1001,置换效应随偏置强度的变化呈非单调性。在两个选定种子中,相关变化随深度继续存在,而在PubMed数据集上则表现出不同的表现。这些结果表明,在测试条件下,SAAB重新分配了逐层的注意力路由。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号