大型语言模型能否模拟人类口语对话？——基于对齐性、协调标记及会话结构的实证研究

（编辑推荐）本研究系统评估了GPT-4、Claude等大型语言模型（LLM）模拟人类电话会话的能力，通过对比Switchboard（SB）语料库发现：LLM会话存在过度对齐（alignment）、协调标记（oh/uh-huh/okay）使用异常、会话开闭结构失真等特征，揭示其缺乏真实口语交互的认知基础。

　　

引言

大型语言模型（LLM）在模拟人类认知行为方面展现出潜力，但其对实时性、多模态的口语对话模拟能力尚不明确。本研究通过对比人类电话会话（Switchboard语料库）与六组LLM生成对话，揭示其在语言对齐、协调标记使用和会话结构上的本质差异。

研究方法

语料设计：

• •

  人类数据：200段Switchboard（SB）电话录音转录文本

• •

  LLM数据：GPT-4、Claude Sonnet 3.5等模型生成的200段对话，采用基础提示、开闭提示等不同指令组合

• •

  分析维度：概念/句法/词汇对齐（alignment）、协调标记（oh/uh-huh/okay）频率、开闭阶段特征

测量方法：

• •

  使用ALIGN工具包量化对话对齐性

• •

  人工标注开闭阶段特征（如问候语、告别语）

• •

  混合效应模型分析早期/晚期对话对齐变化

核心发现

1. 对齐性异常

• •

  LLM会话呈现夸张的对齐现象：概念对齐值达0.8（SB仅0.57），句法对齐值0.28-0.36（SB仅0.16）

• •

  典型异常：GPT-4对话中24%的回合以"absolutely"开头，体现机械性附和

2. 协调标记失真

• •

  反馈标记异常：人类会话中"uh-huh"出现率1.03次/百词，而LLM普遍<0.1次

• •

  功能错位：LLM将"oh"作为长话轮开头（77% Claude-2话轮），而非人类典型的短反馈

3. 会话结构缺陷

• •

  开闭阶段机械化：LLM问候语（如"how are you"）出现率达100%，但缺乏自然过渡标记（SB中94%使用"okay"，LLM几乎为零）

• •

  闭合阶段夸张：LLM频繁生成"让我们下周见面"等不切实际的延续陈述

4. 人类判别实验

• •

  长片段识别准确率64%（SB）vs. 29%（LLM），χ²=23.85

• •

  典型识别线索：话轮长度（LLM平均83词/话轮 vs. SB的14词）、重复性句式

理论启示

研究验证了Levinson"交互引擎"假说的部分预测：LLM虽能模拟表层语言模式，但缺乏意图推理（theory of mind）、联合承诺（joint commitment）等核心认知机制。特别是：

• •

  无法处理口语的瞬时性特征（Clark & Brennan, 1991）

• •

  过度依赖书面对话训练数据（Dingemanse & Liesenfeld, 2022）

• •

  存在谄媚倾向（sycophancy）导致的非自然对齐

应用与局限

当前LLM尚不能替代人类会话数据用于：

• •

  对话系统训练（如自动分段标注）

• •

  社会心理学实验

  未来改进需突破：

• •

  真实口语语料匮乏的瓶颈

• •

  多模态交互建模

• •

  会话意图的动态跟踪

（注：所有数据均来自原文表2-6及补充材料，专业术语保留原文大小写格式如ALIGN、Switchboard等）