TWT:用于自然语言理解的文本白盒Transformer

《Neural Networks》:TWT: Textual White-box Transformer for Natural Language Understanding

【字体: 大 中 小 】 时间:2026年04月27日 来源:Neural Networks 6.3

编辑推荐:

  文本白盒Transformer自然语言理解研究,提出基于token关系约束的稀疏率缩减框架,包含低秩稀疏嵌入策略和标签交互映射机制,通过多头子空间自注意力与带条件迭代收缩阈值算法实现可解释特征表示,在四个基准数据集上验证优于现有方法,同时支持自监督预训练扩展。

  
杨书勋|周彦哲
北京北京工业大学计算机科学与技术学院

摘要

尽管深度学习取得了显著进展,但由于其黑箱性质,仍然面临固有的挑战。现有方法通常采用显式的数据分布学习方法来提高可解释性。然而,这些方法在解释过程中往往忽略了标记之间的关联约束,在自然语言理解任务中表现不佳。在本文中,我们提出了一种用于自然语言理解的文本白盒变换器(TWT),该变换器基于标记关联约束执行稀疏率降低的优化目标。具体而言,预处理层采用了低秩稀疏嵌入策略(LSES)和标签交互映射机制(LMM)来利用自然语言的特征。变换器层则采用了多头子空间自注意力(MSSA)和基于标记条件的迭代收缩阈值算法(T-ISTA)来最大化率降低并简化特征表示。在四个广泛使用的文本分类数据集上的大量实验结果表明,我们提出的方法优于现有的最佳基线方法,并且在保持简单性和可解释性的同时表现出色。除了下游监督分类任务外,我们还研究了TWT的自监督预训练设置,在这种设置中,可以在没有显式标签的情况下学习结构化的文本嵌入,从而补充标准的变换器架构,以实现自然语言理解中的可解释性表示。

引言

近年来,表示学习在自然语言理解领域取得了显著成功,许多下游任务都取得了重大突破。这一进步主要归功于深度学习模型的快速发展和从数据分布中高效学习的能力(Yu等人,2023年)。为了捕捉更加结构化和紧凑的数据表示,引入了几种方法,如深度学习中的变换器(Vaswani等人,2017年)和某些类型的扩散模型(He、Zhang、Ren、Sun,2016年;Ho、Jain、Abbeel,2020年)。这些方法主要是为完成特定的下游任务而设计的,并隐式地学习数据表示。尽管这些方法的性能确实令人印象深刻,但它们作为黑箱模型存在可解释性的挑战。相比之下,显式的数据分布学习方法,如稀疏编码(Chen、Paiton、Olshausen,2018年;Olshausen、Field,1997年)、字典学习(Spielman、Wang、Wright,2012年;Zhai、Yang、Liao、Wright、Ma,2020年)、对比学习(Tian、Sun、Poole、Krishnan、Schmid、Isola,2020年;Wang、Guo、Deng、Lu,2022年)和最大熵率降低(Chan、Yu、You、Qi、Wright、Ma,2022年;Ma、Derksen、Hong、Wright,2007a年),致力于识别和表示输入数据中的低维结构。这些方法提供了数据分布的直观建模,从而提高了其可解释性。然而,当面对高维和非线性数据结构时,它们在高效建模和特征提取方面往往表现不佳,通常不如深度学习方法。
众所周知,模型可解释性对于建立对人工智能的信任至关重要。为了在模型性能和可解释性之间取得平衡,现有研究致力于阐明深度学习模型并将其转化为白盒架构(Bruna、Mallat,2013年;Chan、Yu、You、Qi、Wright、Ma,2022年;Li、Wang、Liu、Chen、Papyan、Romano、Sulam、Elad,2018年;Vidal)。尽管付出了这些努力,深度学习中数据分布与最终表示之间的统计和几何关系仍然很大程度上是一个神秘的黑箱。为了解决这个问题,Yu等人(2023年)将表示学习的目标视为稀疏率降低,并为变换器提供了详细的解释。他们通过最小化有损编码率来解释多头自注意力,同时通过使用标记表示稀疏化来解释前馈神经网络。然而,存在以下两个局限性。局限性1:在解释变换器时忽略了标记之间的相互关系和约束。尽管有损编码率的定义表征了标记整体表示的紧凑性,但标记之间的关联约束仍未被明确建模。局限性2:该框架并未专门针对自然语言理解领域进行定制。因此,自然语言的重要语言属性被忽略了,包括标记与标签之间的交互信息,以及标记嵌入的训练和优化策略。
在本文中,我们提出了一种新颖的文本白盒变换器(TWT),用于自然语言理解,该变换器通过基于标记关联约束同时最大化率降低和简化标记表示来构建表示学习目标。具体来说,TWT包括两个主要组成部分:预处理层和变换器层。关注核心的变换器层,我们将自注意力机制解释为多头子空间自注意力(MSSA)模块,以最大化率降低;并将前馈神经网络解释为基于标记条件的迭代收缩阈值算法(T-ISTA),以促进稀疏化。因此,建立了一种明确包含标记关联约束的基本白盒变换器架构,直接解决了局限性1。对于预处理层,我们设计了低秩稀疏嵌入策略(LSES)和标签交互映射机制(LMM),这些策略针对自然语言理解任务的特性进行了定制,解决了局限性2。特别是,LSES用于更新和细化标记嵌入,而LMM将标签信息作为软指导信号来促进模型训练。这两个组件都是明确可解释的,并有助于缓解表示学习中的过度稀疏化问题。在几个广泛使用的文本分类基准数据集上的实验结果表明,我们的文本白盒变换器模型优于之前设计更为复杂的算法,并实现了最佳性能。此外,我们还研究了TWT的自监督预训练设置,进一步表明了其在下游分类之外的通用表示预训练潜力。
总结来说,我们的贡献如下:
  • •
    我们提出了一种用于自然语言理解的文本白盒变换器,该变换器基于标记关联约束执行稀疏率降低的优化目标。
  • •
    我们设计了一种低秩稀疏嵌入策略来更新标记嵌入,并结合标签交互映射机制来纳入标签和标记之间的交互信息。
  • •
    我们在几个公共数据集上评估了我们的模型,结果表明,与强大的基线方法相比,我们的方法表现良好,同时具有简单性和高度可解释性的优势。
  • 相关工作

    相关工作

    研究人员在表示学习方面做出了大量努力,特别是在自然语言理解领域。早期方法倾向于依赖统计规则将自然语言转换为适合计算机处理的格式,例如词袋模型(Zhang等人,2010年)。之后,分布式模型如Word2Vec(Mikolov等人,2013年)和GloVe(Pennington等人,2014年)通过上下文学习密集的标记向量,改变了数据表示的范式

    方法

    在本节中,我们首先从我们的角度正式给出目标和方法定义。然后,我们展示了我们的文本白盒变换器(TWT)的总体架构,如图1所示。所提出的TWT采用分层设计,包括两个主要部分:预处理层和多个变换器层。预处理层包括低秩稀疏嵌入策略(LSES)和标签交互映射机制(LMM),用于准备

    实验

    在本节中,我们进行了广泛的实验来评估所提出的文本白盒变换器(TWT)的有效性并分析其经验特性。遵循Yu等人(2023年)的方法,我们评估了TWT在真实世界自然语言理解任务和数据集上的性能。尽管前几节中介绍的压缩和稀疏化目标可以通过各种架构设计来实现,但TWT采用了故意简单的实现方式。

    结论

    在本文中,我们提出了一种用于自然语言理解的文本白盒变换器TWT。TWT通过基于标记关联约束最大化率降低和稀疏化来解释传统的变换器。低秩稀疏嵌入策略和标签交互映射机制旨在适应自然语言理解,而基于标记条件的迭代收缩阈值算法用于在训练过程中建模标记关联约束

    局限性

    尽管实验结果令人鼓舞,但这项工作仍存在一些需要进一步研究的局限性。首先,TWT主要是为自然语言理解任务设计的,特别是那些可以表述为表示学习或分类问题的任务。因此,它并不直接适用于通常需要自回归解码和标记级概率建模的自然语言生成任务。扩展所提出的白盒变换器框架

    CRediT作者贡献声明

    杨书勋:撰写——审阅与编辑、撰写——初稿、可视化、验证、监督、软件、资源、项目管理、方法论、形式分析、数据整理、概念化。周彦哲:撰写——审阅与编辑、撰写——初稿、调查、资金获取。

    利益冲突声明

    作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号