神经网络语言模型学习填充语-空位依存关系：测试挪威语和英语中的岛屿敏感性

研究人员探究了神经网络语言模型(NLMs)能否从输入数据中学习填充语-空位依存关系(FGDs)及其岛屿约束条件，通过对比挪威语和英语的模型表现，发现尽管模型能掌握部分复杂泛化能力，但其预测仍与人类语言认知存在差异。该研究为语言习得领域的"刺激贫乏论"(POS)争论提供了重要实证证据，表明当前模型仍需领域特异性偏置才能实现人类水平的语言泛化能力。

　　

语言习得领域长期存在一个核心争议：人类如何从有限的输入数据中掌握复杂的语法结构？这个问题在填充语-空位依存关系(Filler-Gap Dependencies, FGDs)的学习上表现得尤为突出。FGDs是指句子中填充语(如疑问词)与后续空位之间的依存关系，这种关系不仅具有潜在的无限延伸性(unbounded)，还受到所谓"岛屿约束"(island constraints)的限制——某些句法结构会阻断这种依存关系的形成。更复杂的是，不同语言对岛屿约束的敏感度存在差异，比如挪威语允许某些英语中禁止的跨岛屿依存。传统观点认为，这种复杂规律的掌握需要先天语言机制，但近年来神经网络语言模型(NLMs)的兴起为纯统计学习假说提供了新证据。

为验证NLMs能否真正掌握人类水平的FGDs知识，研究人员设计了一系列精巧实验。研究采用两种主流模型架构：长短期记忆网络(LSTM)和基于Transformer的GPT-2，分别在挪威语和英语维基百科语料上训练。通过测量模型对特定句子的"惊讶度"(surprisal)，研究人员量化了模型建立FGDs的能力，重点关注三种关键语言现象：FGDs的无限延伸性、跨语言共有的主语岛屿(subject islands)约束，以及挪威语特有非岛屿环境(如嵌入式疑问句)。

实验1测试了模型对FGDs无限延伸性的掌握。结果显示模型能处理多层嵌套的FGDs，但性能受补语化成分(complementizer)影响显著——当句子包含显性补语标记(如"that")时，模型的FGDs建立能力随嵌套深度急剧下降。这与人类语言认知形成鲜明对比，表明模型可能形成了过度受限的泛化规则。

实验2考察主语岛屿敏感性。所有模型都正确表现出对主语内部空位的抑制，其惊讶度模式与人类判断一致。这一成功案例显示，NLMs确实能从数据中学习某些抽象句法约束。

实验3和4则揭示了跨语言差异的学习能力。挪威语模型成功掌握了嵌入式极性疑问句(polar questions)的非岛屿特性，而英语模型则表现出预期的岛屿敏感性。有趣的是，尽管训练语料中相关结构出现频率极低(仅0.6%)，挪威语模型仍能正确泛化，甚至将相对从句(RC)的规律迁移到疑问词依存(wh-dependencies)上。然而在嵌入式附加疑问句(adjunct questions)测试中，英语模型却表现出非人类式的过度泛化，错误地允许某些岛屿违规结构。

通过语料分析发现，挪威语模型可能通过间接证据实现正确泛化。在5688个嵌入式疑问句样本中，仅发现33个FGDs实例，且均为相对从句结构。这表明模型能够跨不同依存类型进行抽象概括，而非简单记忆表面模式。

这项发表在《Journal of Memory and Language》的研究具有重要理论意义。一方面，它证明现代NLMs确实能学习部分复杂的句法泛化，包括跨语言变异模式；另一方面，模型在无限延伸性和某些岛屿约束上的失败表明，当前基于统计的学习机制仍无法完全解决刺激贫乏问题(Poverty of Stimulus, POS)。研究结果暗示，要完全模拟人类语言能力，可能需要整合领域特异性偏置或更丰富的输入信息。这些发现为语言习得理论提供了宝贵的数据点，也为改进语言模型的句法处理能力指明了方向。