对话中的重叠话语:从互动组织到语言技术的系统性评述

《Computer Speech & Language》:Overlap in conversation

【字体: 大 中 小 】 时间:2026年10月24日 来源:Computer Speech & Language 3.4

编辑推荐:

  摘要译文:重叠(overlap),即多方同时说话的瞬间,曾被视为对话中难以驾驭的特征。数十年来关于人类互动的实证研究已将其确立为一种常规且系统化组织的现象。本综述追溯了这一理解的发展过程,揭示了它对言语组织机制的启示,并探讨了其对语言技术的意义。研究人员系统梳

  
摘要译文:重叠(overlap),即多方同时说话的瞬间,曾被视为对话中难以驾驭的特征。数十年来关于人类互动的实证研究已将其确立为一种常规且系统化组织的现象。本综述追溯了这一理解的发展过程,揭示了它对言语组织机制的启示,并探讨了其对语言技术的意义。研究人员系统梳理了重叠话语的基础研究,从该现象如何起始、如何消解,到其在后续序列中如何被处理,逐一考察。这一视角表明,重叠话语的功能无法仅从其起始位置判定,亦不能仅凭其被归类为竞争性或非竞争性而确定,而是在互动过程中的动态展开中浮现。跨语言研究已证实话轮转换组织在不同语言中的稳健性,但针对重叠话语的系统性研究仍然匮乏,尤其是在不同互动场景之间的比较方面。人机交互提供了另一个尚未充分探索此类问题的场景。研究人员发现,在该领域中,重叠在很大程度上被当作“打断”来处理,系统设计主要致力于检测并响应“闯入式言语”(barge-in)。在一个人们期望系统能够应对其自然说话方式的世界中,理解重叠话语至关重要。本综述同时指出了未来关于重叠话语科学与技术研究的挑战与有前景的方向。
论文解读

一、研究背景与问题

日常对话中,人们经常同时说话,近半数的话轮单位以某种形式的重叠方式产生。在通常遵循“一次一人说话”原则的话轮转换系统(turn-taking system)中,这些同时说话的瞬间如何产生、又如何被管理,是理解对话组织机制的重要窗口。早期研究曾将重叠视为对话中混乱、无规则的现象,但数十年来基于人类互动的实证工作已确立其作为常规且系统化组织的行为特征。随着交互式人机界面日益普及,理解重叠话语的组织方式,不仅关乎对话分析的基础理论,更直接影响语音识别、对话系统等技术能否在真实场景中有效运行。当前语言技术领域普遍将重叠简化为“打断”或“干扰”,以“闯入式言语”(barge-in)作为检测与响应目标,这与实证研究中重叠话语的丰富互动功能严重不符。因此,有必要系统回顾重叠话语的研究历程,整合互动语言学与计算技术两大视角,厘清现状并指明未来方向。

二、研究内容与主要结论

研究人员以叙述性综述(narrative review)的方式,整合了关于人类互动的基础实证文献,围绕重叠话语的三个阶段组织论述:起始(onset)、消解(resolution)与后续处理(aftermath)。综述首先梳理了重叠起始的经典类型学,包括杰斐逊(Jefferson)提出的过渡性(transitional)、识别性(recognitional)与进展性(progressional)三类重叠,以及后续基于话轮转换相关位置(TRP)内外的重新分类。其次,综述分析了重叠发生后的微观消解过程,引入以“节拍”(beat)为单位的逐时分析,讨论了竞争性产出(competitive production)、非竞争性重叠的多种类型。再次,综述考察了重叠结束后的会话行为,总结了自我恢复、他人恢复等不同处理程序。随后,跨语言研究部分指出,话轮转换组织在不同语言中具有稳健性,但重叠现象的系统性比较研究仍然稀缺。在人机交互方面,综述梳理了语音识别系统对重叠的处理方式,指出目前的系统架构将重叠视为声学干扰或分割错误,普遍无法表征其时间与序列组织,也未能区分不同互动功能的重叠。最终,研究人员提出三个未来研究方向:将重叠视为互动轨迹加以追踪、开展人机与人际对话的精细比较、以及以实证互动知识作为评估对话技术的依据。

三、关键技术方法

本综述主要依赖三类方法。第一,对话分析(conversation analysis, CA)方法,采用杰斐逊转写体系(Jeffersonian transcription convention)对自然对话录音进行精细转写与分析;语料来自CallFriend数据集(Canavan and Zipperlen, 1996),收录英语母语者之间的非脚本电话对话。第二,文献综合与概念整合,系统梳理杰斐逊(1984, 1986, 2004b)、谢格洛夫(Schegloff, 2000)等学者的重叠分类框架,将其组织为“起始—消解—后续”三阶段模型。第三,技术现状评估,对多种商业语音识别系统(如OpenAI Whisper、NVIDIA NeMo、Amazon Transcribe、Google Speech-to-Text、RevAI)以及相关计算建模研究(如决策树模型、神经网络模型)进行性能比较与分析,量化系统对重叠话语的漏检与错检情况。

四、研究结果

(一)重叠的起始

研究发现,重叠并非随意产生,而是系统性地定位在正在展开的话轮中。杰斐逊(1984)区分了三类起始位置:过渡性重叠发生在话轮转换相关位置(TRP)附近,包括交叠式(latched)、末尾式(terminal)和无标记接续式(unmarked next)三种亚型;识别性重叠发生在听者识别出特定词语或整体话轮轨迹时,分为“项目定向”(item-targeted)与“推力投射”(thrust-projective)两种;进展性重叠则出现在话语不流畅处,如停顿、填充词或口吃之后。后续框架(Jefferson, 1986)进一步将重叠分为转换空间内与转换空间外两类,识别出“后延续”(post-continuation)这一常见的非TRP位置。这些分类表明,重叠的起始点虽然多样,但始终与话轮转换组织的可投射性(projectability)密切相关。

(二)重叠的消解

在重叠发生后,参与者通常在1至2个节拍内解决重叠。谢格洛夫(2000)发现,大多数重叠在首个节拍即被解决,方式包括双方同时退出或单方退出。若重叠持续存在,参与者可能采用竞争性产出——即在音量、音高、语速、延长或重复等方面偏离重叠前的独白式产出——以争夺话语权。竞争性重叠不必然表示分歧,常用来标示紧急性或重要性。杰斐逊(2004b)进一步区分了标记性竞争与无标记性竞争,前者包含可观察的发音或语段调整,后者无此类调整却仍具有竞争性。另一方面,非竞争性重叠涵盖末尾重叠、合唱式产出(如笑、问候)、持续语(continuers)以及条件性话轮接入等类型。研究人员强调,竞争性只是重叠消解中的一个可能维度,不能独立于互动行动与产出方式来判断重叠的性质。

(三)重叠的后续处理

相比起始与消解,重叠后效受到的关注较少。参与者对重叠话语的处理方式可归纳为四类:自我恢复(标记或无标记)、他人恢复(标记或无标记)。无标记恢复通常表示重叠未被视作问题,仅需从断点处继续即可;有标记恢复则涉及重启话轮或要求对方重复。研究表明,重叠本身并非固有麻烦,参与者拥有一套成熟的程序来处理其带来的互动后果。

(四)跨语言研究

基于英语数据建立的重叠框架在其他语言中得到部分验证。加勒比英语克里奥尔语、澳大利亚英语中的重叠模式与美式英语相似;芬蘭语、爱沙尼亚语和Garrwa语等数据则揭示了新的起始类型,如“启动后重叠”(post-start-up overlap)和“早期识别性重叠”(early-onset recognitional overlap)。语料库研究亦显示不同语言在重叠频率、起始时点等方面存在差异。然而,这些发现多为附带成果,重叠的系统性跨语言比较研究仍显著不足。

(五)人机交互中的重叠问题

语音识别系统最初忽视重叠现象,其设计基于“对讲机式”的理想化语音假设。早期研究(如Shriberg等, 2001)就已表明,真实对话中重叠大量存在,且集中于反馈语(backchannel)、填充停顿等“高困惑区域”。当代商业ASR系统在多种语言中一致性地漏掉回应词、确认词等重叠中常见的话语类别,丢失的语音约占15%(约八分之一词汇)。系统输出的说话人转换时间差分布仅覆盖人类标注范围的一半;无说话人日志的系统则完全无法表征这些转换。在声学层面,系统常采用端到端神经日志(EEND)、多标签分割等技术处理并发语音,但基准数据集偏向正式场景,导致系统在自然对话中表现严重不足。

(六)重叠的计算建模

计算模型普遍将重叠二分为竞争性与非竞争性,并多以韵律阈值作为“闯入式”判定依据。然而此类方法在噪声环境、韵律变异、计算成本方面存在局限,更重要的是,竞争性并不总伴随可检测的韵律偏离,许多合作性重叠无法被正确分类。相关建模研究(如Kurti?等, 2013;Chowdhury等, 2015-2019)的F1分数多在0.66至0.70之间,表明仅靠声学及表层特征难以可靠区分重叠功能。研究人员指出,竞争/非竞争这一二分类框架既不足以反映互动实际,也无法有效指导系统行为。

五、讨论与结论

讨论部分指出,重叠的简化处理在术语中已有所体现:“打断”(interruption)、“同时说话”(simultaneous talk)、“串话”(cross-talk)、“闯入”(barge-in)等概念各自截取了重叠的某一侧面,使其适应不同的分析或技术装置。这种简化虽然有助于计算实现,却使系统难以表征重叠产生与发展的序列环境。非竞争性重叠若被一律忽略,系统将遗漏同意、确认、持续倾听等关键会话行为;而笑声、状态变化标记(如“哦”)等具有“竞争性产出”特征的话语若被当作抢话,则可能导致系统错误让出话轮。因此,重叠的功能应在其展开过程中加以理解,而非预先归入固定类别。未来研究应追踪重叠作为互动轨迹的动态过程,开展跨语言、跨场景的精细比较,并以实证知识为基础评估对话技术的实际交互充分性。结论指出,当代理解已将重叠视为常规且有序的互动特征;随着跨语言语料库的扩充与对话技术的快速发展,重叠研究正面临更广阔的比较视野和新的应用价值,深化对其组织机制的理解,将有助于在技术中介环境中支持和适配人类互动的基本实践。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号