BERT与CxG-BERT模型中层表征捕捉动词-小品词构式句法与语义的研究

《Language, Cognition and Neuroscience》:Analysis and visualisation of linguistic structures in neural language models: neural representations of verb-particle constructions in BERT

【字体: 大 中 小 】 时间:2026年04月11日 来源:Language, Cognition and Neuroscience 1.6

编辑推荐:

  本文聚焦于深度神经网络对语言构式(如动词-小品词组合)的内在表征机制。研究人员通过多维标度、广义判别值和置换检验,分析了基于Transformer的神经网络语言模型(BERT及其构式增强变体CxG-BERT)如何在各层级中表征agree on/with、come in/back、give up/out等结构。研究发现,BERT的中层能最佳地捕捉句法信息,且模型内部表示与构式语法的理论预测(如动词-小品词的词汇统一性)相符。这项工作为理解神经网络如何编码语言知识、评估其在语言分析中的能力与局限提供了新视角,并指明了理论驱动下优化架构的新方向。

  
在自然语言处理领域,以BERT为代表的Transformer架构模型取得了巨大成功。它们在大规模语料上训练,在机器翻译、语音识别等任务中表现出色,宛如“黑箱”般运作,其内部机制对人类而言仍是一个谜。随之而来的一个核心问题便是:这些神经网络究竟掌握了多少语言知识?它们内部表征的到底是何种语言信息?特别是对于语言中那些复杂的、具有特殊语义的结构,例如动词-小品词构式(Verb-particle constructions),模型是如何理解的呢?像“give up”、“come back”、“agree on”这样的表达,它们有时是整体表意的习语,有时又是可组合的短语,这对模型的理解能力构成了挑战。为了回答这个问题,揭开神经网络“黑箱”的一角,研究人员展开了一项深入探究。
论文《神经语言模型中语言结构的分析与可视化:BERT中动词-小品词构式的神经表征》发表在《Language, Cognition and Neuroscience》上。该研究旨在审视基于Transformer的神经语言模型,特别是BERT及其一个构式感知变体CxG-BERT,是如何在其网络的各个层级中表征动词-小品词构式的。研究聚焦于回答几个关键问题:模型的内部表征是否捕捉了词汇语义?短语层面的结构在单个词语的内部表征中是如何被准确捕捉的?模型的内部激活能否解释并与基于使用的理论(如构式语法)关于动词-小品词组合的假设(如短语动词的统一性和介词动词的句法组合性)相吻合?通过这项研究,希望能更清晰地描绘出神经网络编码语言的方式,评估其用于语言分析的优势与局限,并为理论驱动的研究中优化模型架构提供方向。
为了开展此项研究,作者采用了几个关键的技术方法。首先,从英国国家语料库中抽取包含目标构式(如“agree on”、“come back”、“give up”等)的句子,构建了包含995个样本的数据集。其次,使用标准的BERT-base模型和经过构式增强训练的CxG-BERT模型,在不进行额外微调的情况下,提取目标动词在不同Transformer层级(共12层)产生的768维上下文嵌入向量。为了分析和可视化这些高维数据,研究运用了多维标度将其降维至二维平面。为了客观量化不同构式类别在表示空间中的分离程度,研究引入了广义判别值这一指标。最后,为了验证观察到的聚类模式并非随机产生,对所有层级和动词组进行了基于排列的统计检验,以评估聚类显著性和稳健性。
研究结果部分如下:
模型内部构式的层间表征与可视化
研究人员将BERT-base和CxG-BERT模型在各层级输出的动词嵌入向量,通过多维标度投影到二维空间进行可视化。结果显示,在BERT-base中,早期到中间层(特别是第3至4层)能够观察到基于后续构式(如“agree on”、“give up”等)的清晰聚类,表明同一动词在不同构式中的表征在这些层级被有效区分。而在CxG-BERT中,最强聚类出现的时间稍晚,集中在第6至7层。两种模型的晚期层(第10至12层)聚类都变得松散,重叠增加,表明对构式特异性信息的表征减弱。可视化还揭示了一些“离群点”,这些点通常对应着高度习语化的用法或动词-小品词构式的不同语义子类,反映了模型学习到的语义变异性。
构式可分性的量化分析
使用广义判别值量化了不同构式类别在表示空间中的分离程度。在BERT-base中,对于“agree”、“come”、“give”三类动词以及所有动词合并的数据,GDV值在中间层达到最负(即分离度最强),例如所有动词在第3层达到-0.408。在CxG-BERT中,GDV曲线模式相似,但峰值层后移,所有动词在第6层分离度较强。置换检验证实,这些观察到的聚类模式在统计上是显著的,而非随机标签分配的结果。GDV曲线和稳健性检查表明,模型在中间层能最有效地区分不同的动词-构式类别,且这种模式在不同动词家族和模型间具有一致性。
对不同构式类型的处理
研究考察了模型对三类动词的处理:“agree”类(介词动词,理论上组合性高)、“come”类(透明短语动词,意义可预测)、“give”类(习语性短语动词,词汇统一性强)。量化分析显示,三类动词在模型中间层都表现出了显著的、统计上可靠的聚类分离,并未出现“agree”类动词因其理论上的组合性而表征完全重叠的情况。这挑战了配价理论将介词动词分析为自由组合序列的观点,更支持构式语法将其视为构式层级单元的看法。同时,“give”类动词的分离度整体更强,且出现了更多与子义项相关的离群点,这与它们更强的习语性和词汇统一性预期相符。
研究结论与讨论部分如下:
本研究的核心结论是,基于Transformer的神经语言模型(如BERT和CxG-BERT)的内部激活,能够捕捉并区分不同类型的动词-小品词构式,且这种构式信息在模型网络中的表征具有明确的层级性模式。
在语言学解释层面,研究发现为构式语法框架提供了计算证据。首先,结果支持了短语动词的“词汇统一性”假设,模型将如“give up”、“give in”等习语性短语动词表征为分离的单元。其次,有趣的是,模型对介词动词(如“agree on”、“agree with”)也表现出了显著的、不亚于短语动词的聚类分离,这表明模型将这些“agree + 介词”变体同样处理为构式层级的单元,而非简单的自由组合序列,这对主张分解分析的配价理论构成了挑战。研究还发现,透明短语动词(如“come in/back/out”)由于意义可预测且共享相同构式图式,其表征分离度相对较弱,这与其理论预测一致。综上,模型内部表征的模式与构式语法将语言视为一个由形式-意义配对构成的、分级互联的网络的观点更为兼容。
在模型能力分析层面,研究确认了BERT家族模型中存在“跨层级的管道”现象:句法和构式信息在早中期层(特别是第3-7层)最易获取和区分,而语义和更具体的子义项信息可能在更晚的层级或通过更复杂的交互才变得可提取。这与之前关于BERT中层编码丰富句法、短语层级信息,高层偏向语义任务的发现一致。CxG-BERT与BERT-base的对比进一步表明,针对构式的额外训练并未引入全新的信息,而是重组了网络内部构式相关信息的分布,使其在更深的层级仍保持较强的可分离性。晚期层聚类松散及离群点的存在,也揭示了模型在表征高度习语化或非典型结构时面临的挑战,这与人类处理非典型句法结构时需要更多认知资源的观察有相似之处。
本研究的意义在于,它开发并展示了一个基于构式语法的探测框架(GDV + 置换检验),能够量化和定位神经网络中与特定语言构式相关的信息分布。这不仅增进了对当前最先进语言模型内部工作机制的理解,也为评估和比较不同模型架构的语言学知识提供了方法论工具。研究结果挑战了神经网络对语言进行均匀处理的简单假设,揭示了模型架构与语言表征之间更为复杂的相互作用,为未来设计更具语言学合理性、解释性的神经网络架构提供了理论依据和实证参考。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号