基于Transformer的失语症叙事语言变异性分析：GPT-2模型的应用

《Scientific Reports》：Transformer language models reveal distinct patterns in aphasia subtypes and longitudinal change

　　失语症中的语言障碍以各种表征中断为特征，这些中断可能反映在语篇产出中。本研究探讨了基于Transformer的语言模型（尤其是GPT-2）作为分析失语症叙事语言变异性的计算框架的能力。本研究利用了一项干预研究中从失语症个体（N = 47；基线横截面样本N = 57）在六个时间点采集的叙事语言样本纵向数据集。所有转录文本均通过GPT-2语言模型进行处理，以获取12个Transformer层中每一层的激活值。在每一层均发现失语症亚型之间的激活值存在统计学显著差异（所有p < .001），其中在较深层中效应最为显著。成对Tukey HSD检验显示，Broca失语症与命名性失语症和Wernicke失语症之间存在一致的差异，表明后两者具有共同的激活模式。纵向检验显示随时间推移存在显著变化，尤其是在最后三层（第10至12层）中。这些发现表明，基于Transformer的激活模式反映了失语症语篇中的有意义变异，并可能与临床观察相一致。总体而言，GPT-2为模拟失语症中的表征动态提供了一种可扩展的工具，并可能为失语症语篇中的语言表征提供探索性见解。