在共同基础形成中区分沟通成功与表征对齐

《Frontiers in Computer Science》：Dissociating communicative success from representational alignment in common ground formation

　　

在人类与大语言模型（LLM）的交互中，沟通成功常被用作共享理解的代理。然而，这一假设可以在允许直接测量内部表征的受控代理-代理模型中进行检验。研究人员通过比较更新感知模块与更新语言生成模块的条件，同时操纵是否应用区分性学习以澄清候选之间的差异，研究了沟通成功的提升是否保证内部表征的对齐。符号对齐（指代识别准确率）和表征对齐——操作化为发送者与接收者生成图像之间的特征空间相似度，作为内部表征对齐的代理——被用作评估指标。当语言生成侧被更新并引入区分性时，符号对齐显著提升，而表征对齐下降。相比之下，更新感知模块倾向于保持表征对齐。这些结果表明，评估共同基础需要多层级指标，而非单一指标。

**论文解读：区分沟通成功与表征对齐在共同基础形成中的多层级评估**

**研究背景与问题**
在当今信息社会，具有不同文化背景、专业知识、代际和社会背景的个体频繁互动，导致同一词语可能被不同解释，同一情境可能通过不同参考框架理解。这种差异会导致沟通者之间的不对齐，阻碍协作甚至引发冲突。在参考游戏研究中，多次互动后符号对齐（接收者正确识别发送者意图指代物的比例）会提升，但即使符号对齐很高，发送者和接收者的内部表征仍可能不对齐。这种内部表征的不对齐直接关系到如何评估沟通中共同基础的建立。现有研究常以任务成功率或词语一致性作为对齐的指标，但缺乏对符号对齐（指代表达与指代物之间的映射一致性）与表征对齐（指代表达与内部表征之间的映射一致性）之间关系的深入探讨。本研究旨在明确区分这两种对齐，并考察其关系，以揭示共同基础形成的多面性。

**研究内容与结论**
研究人员基于Morita等人（2023）提出的阶段式生成认知模型，扩展了Baba等人（2026）的七巧板命名任务（TNT）模拟框架。通过操纵两个因素：学习更新的发送者侧模块（感知模块或语言生成模块）以及区分性学习（一种约束机制，从成功片段中为每个七巧板选择主导表达，解决多对一冲突，并在后续试验中重用一对一映射）的存在与否，系统评估了这两个因素对符号对齐和表征对齐的影响。研究发现，在语言学习+区分性学习条件下，符号对齐从试验1的均值0.338提升至试验10的0.945（p<.001，dz=5.27），而表征对齐从0.370下降至0.260（p<.001，dz=-2.20）。相反，在感知学习条件下，表征对齐相对保持。这一分离表明，提升符号对齐并不必然伴随表征对齐，甚至可能与其反向变化。论文发表在《Frontiers in Computer Science》。研究意义在于：提出了多层级评估共同基础的框架，证明了仅靠任务成功率评估沟通的不足，并揭示了符号对齐与表征对齐的分离机制，对人类-大语言模型（LLM）交互的评估具有启示意义。

**关键技术方法（不超过250字）**
研究采用阶段式生成认知模型，由多个深度学习模块构成。主要技术方法包括：1）使用Vision Transformer（ViT）作为感知模块，对输入七巧板图像进行标签分类；2）利用预训练的Stable Diffusion v1.5进行图像生成（img2img和txt2img），实现发送者侧内部表征（对象化图像）的生成和接收者侧从标题重建图像；3）使用Hugging Face的Vision Encoder-Decoder模型（ViT编码器+GPT-2解码器）进行标题生成，并将感知模块输出的标签作为解码器初始输入；4）区分性学习机制：构建命名词典，从成功片段中为每个七巧板选择主导输出（标签或标题），解决多对一冲突，并在后续试验中固定该映射，同时通过负提示抑制多义性；5）自模仿学习：感知学习条件下，使用成功片段的ViT输出向量进行回归更新；语言学习条件下，使用成功片段的图像-标题对进行交叉熵损失更新。模拟独立重复20次，每轮包含48个片段（6个七巧板×8个旋转角度），共10轮。所有模块初始化自公开预训练模型，接收者侧模块固定不更新。

**研究结果**
**4.1 对符号对齐和表征对齐的影响**
通过图2展示四种条件（感知学习±区分性学习、语言学习±区分性学习）下的轨迹。符号对齐：语言学习条件下提升更显著，加入区分性学习后进一步最大化，语言+区分性条件在试验10达到均值0.945。表征对齐：所有条件均未表现出明显改善，语言+区分性条件下反而显著下降（从0.370降至0.260）。独立t检验证实两种对齐方向相反（p<.001），表明沟通重复本身难以实现表征对齐，且符号成功与表征对齐可分离。

**4.2 语言表达的动态**
图3分析同义性（每个七巧板各旋转角度的独特词汇数）和多义性（同一词汇关联的七巧板数）。多义性在所有条件下均接近零（最多约0.06）。同义性方面，语言学习与区分性学习均降低同义性，使发送者标题更一致，这与符号对齐提升趋势一致。

**4.3 内部表征生成示例**
图4展示具体案例。上部分“条件对比”：语言+区分性条件下，符号对齐接近1.0但表征对齐很低（0.202），标题“mortarboard kitchen”与标签“hard_disc”偏离，接收者图像包含无关特征但仍正确识别；感知+区分性条件下，符号对齐0.604但表征对齐0.560，标签“rubber_eraser”与标题一致。下部分“语言内对比”：在语言+区分性条件内，高符号对齐的试验中，表征对齐可差异很大（高例0.891，低例-0.299），说明即使表情稳定，视觉内容也可能不同。

**总结讨论与结论**
**讨论部分总结**：
研究回答了研究问题：学习更新的模块和区分性学习对两种对齐产生不同影响。语言模块更新提升符号对齐更有效，但感知模块更新更利于保持表征对齐。区分性学习在语言条件下通过稳定表达-指代映射显著提升符号对齐，但导致表征对齐下降。这种分离的机制在于：区分性学习从成功片段中选出主导表达并跨旋转推广，而固定表达传递给接收者文本到图像模块时，重建图像受预训练生成器语义关联影响，可能偏离发送者生成图像，但仍能支持正确指代识别。因此，符号成功由学习到的表达-指代映射稳定，而非由生成图像相似性保证。这支持了共同基础的多层级观点：沟通成功不等于深层理解一致。研究还指出，该发现对人类-LLM交互具有启示：指令成功不能作为内部表征对齐的证据，需建立多层级评估指标。阶段式模型为验证难以在人类实验中操作的假设提供了计算沙盒。
**研究结论部分翻译**：
本研究表明，在共同基础形成中，沟通成功与表征对齐之间存在分离。通过展示指代识别准确率可以提升，同时发送者与接收者生成的表征出现分歧，研究确立了成功沟通不应被视为所有层级对齐的充分证据。阶段式模型进一步识别出表达-指代映射的优化如何产生这种分离。这为通过多层级对齐评估共同基础提供了方法论基础，并对人类-LLM交互具有启示。未来工作应检验当前发现在不同模型配置和交互设计中的泛化性，包括使用额外表征度量、替代标题和图像生成模型、接收者侧和双向学习、角色轮换以及涉及澄清和修复的多轮交互。在相应固定角色、重复反馈设计下的人类实验也将为评估符号惯例和表征对齐的发展提供重要基础。