跨领域输入、互斥性与推理推断：当大语言模型像人类一样学习词汇

《Machine Learning and Knowledge Extraction》：Cross-Domain Input, Mutual Exclusivity, and Inferential Reasoning: When LLMs Learn Words Like Humans

　　

人类通过在丰富的跨领域、多模态情境中存储感知类别、类别-词汇映射以及条件IF-THEN规则来获取有意义的语言。至关重要的是，将视觉情境与语言（文本）配对的、结构化的跨领域输入似乎是这一过程的基础，使个体能够习得例如词汇库等知识。本研究探讨了大语言模型（LLMs）在接受结构化跨领域输入而非纯文本训练时，是否能够学习词汇。本文采用了一个受控的虚构动物范式，包含32种生物和32个伪词，分为两个阶段：单动物场景和双动物场景。单动物情境涉及存储类别及其映射，而双动物环境则涉及存储逻辑约束并执行推理。研究人员提出了一种基于四种能力的计算模型，用于基于情境的词汇学习：存储感知类别、类别-词汇映射、互斥性规则（形式化为条件IF-THEN语句），以及检索存储信息以通过推理分配新标签。评估结果表明，结构化跨领域输入使LLMs表现出与条件IF-THEN规则一致的行为，使其能够基于当前视觉情境推断并习得新词汇。这些发现表明，借助这种整合情境与文本的输入，LLMs在词汇学习中展现出适应性的、实时的、类似人类的推理推断能力。

论文解读：《跨领域输入、互斥性与推理推断：当大语言模型像人类一样学习词汇》

一、研究背景与问题

人类语言习得并非孤立发生，而是在丰富的跨领域、多模态情境中展开。个体通过感知类别（perceptual categories）的形成、类别与词汇的映射（category-word mappings）以及条件IF-THEN规则的存储与运用，逐步建立起有意义的语言系统。然而，传统的大语言模型（Large Language Models, LLMs）通常仅依赖大规模文本数据进行训练，缺乏与视觉情境等非语言信息的交互。这种纯文本暴露方式是否足以让模型像人类一样进行词汇学习，尤其是完成涉及逻辑约束和推理推断的任务，仍是一个开放性问题。现有研究虽已在多模态模型中探索了词汇-指称物映射（word-referent mappings）及互斥性偏向（Mutual Exclusivity bias），但在实现完整的推理式词汇习得方面仍存在局限。为此，本研究旨在探究结构化跨领域输入——即视觉情境与书面文本的配对——能否使LLMs获得类似人类的、基于条件推理的词汇学习能力。该论文发表于《Machine Learning and Knowledge Extraction》。

二、关键技术方法

研究人员采用了BLIP-2（Bootstrapping Language-Image Pre-training）框架作为核心模型架构，该框架由图像编码器（Image Encoder）、查询转换器（Querying Transformer, Q-Former）和大语言模型三部分组成。视觉处理阶段使用基于Vision Transformer（ViT）的图像编码器提取特征，Q-Former通过可学习的查询令牌（query tokens）结合自注意力（self-attention）和交叉注意力（cross-attention）机制，选择性地压缩图像信息为紧凑语义表征。在预训练阶段，Q-Former通过三种损失函数优化：图像-文本对比损失（Image-Text Contrastive Loss, ITC）、图像-文本匹配损失（Image-Text Matching Loss, ITM）和语言建模损失（Language Modeling Loss, LM）。微调阶段采用低秩适配（Low-Rank Adaptation, LoRA）技术，冻结原始权重并在注意力模块中注入低秩分解矩阵，参数设置为rank=32、alpha=64、dropout=5%。数据集为自行构建的虚构动物范式（Fictitious-Animal Paradigm），包含32种虚构生物及对应32个伪词。

三、研究结果

容量1：存储感知类别（K1）

在单动物场景阶段，模型通过五个特定提示（如“请描述这个虚构生物的外观”）处理非语言刺激，将视觉特征聚类为稳定的感知类别表征（C₁）。共使用16张图像，每张关联5个问题，总计80条标注。

容量2：存储类别-词汇映射（K2）

模型将感知类别（C₁）与特定伪词（W₁）建立关联，形成类别-词汇映射（C₁ == W₁）。此过程依赖于视觉场景与语言输入的同步共现。

容量3：存储互斥性规则（K3）

在双动物场景阶段，模型面对一个熟悉生物和一个陌生生物的组合，需注册并存储互斥性规则，形式化为条件IF-THEN语句：“IF C₁ == W₁ → THEN C₁ != W₂”（若该生物已被标记为flug，则不能接受新标签gint）。该规则作为情境依赖性约束被注入系统。

容量4：部署推理推断（K4）

模型需检索先前存储的信息（K1-K3），并通过排除法完成推理：排除已标记的熟悉生物（C₁），将新标签（W₂）分配给未标记的新生物（C₂）。实验设置了四个随机化查询以平衡目标身份和空间位置。

性能评估

针对64条推理评估标注，模型在熟悉生物和新生物上的精确匹配率（Exact Match, EM）分别达到0.8125和0.9688，BLEU分数分别为0.9688和0.9948，BERTScore稳定在0.9682和0.9685。训练和验证损失曲线均呈指数级下降并平稳收敛，早期停止机制有效防止过拟合。

四、讨论与结论

研究人员指出，模型的高性能表现并非源于对抽象规则或静态模板的记忆，而是源于对情境依赖性约束的动态运用。互斥性规则作为“否定假设”（negative hypothesis）启动逻辑机制：模型排除熟悉生物，隔离剩余感知类别，通过排除法完成映射。这种跨阶段变量操作——从单动物场景中的变量存储到双动物场景中的变量检索与应用——使模型实现了适应性、实时性的上下文推理。尽管在熟悉生物上精确匹配率略低于新生物，这归因于顺序微调中的近因效应（recency bias）和轻微干扰，但高BLEU和BERTScore证实了语义正确性。结论认为，结构化跨领域输入使LLMs能够展示与条件IF-THEN规则一致的行为，通过排除法执行推理，并习得新词汇。这表明，在整合情境与文本的输入下，LLMs展现出适应性的、类人的推理推断能力，其词汇学习不再依赖去情境化的理论抽象，而是根植于当前的视觉情境。