车载多方对话中的多模态收件人检测:一种基于qwen2.5-omni的端到端微调方法
《Neurocomputing》:Multimodal addressee detection in in-vehicle multi-party dialogue: An end-to-end fine-tuning approach based on qwen2.5-omni
【字体:
大
中
小
】
时间:2026年05月09日
来源:Neurocomputing 6.5
编辑推荐:
Jiang Zhonglin | Chen Yong | Cui Yingjie | Zhao Jian | Xue Dongwei | Shen Ruoyue | Li Shibao | Lu Zhenyu
南京信息科学与技术大学电子与信息工程学院,南京 210000,中
Jiang Zhonglin | Chen Yong | Cui Yingjie | Zhao Jian | Xue Dongwei | Shen Ruoyue | Li Shibao | Lu Zhenyu
南京信息科学与技术大学电子与信息工程学院,南京 210000,中国
摘要
车内语音交互场景中,用户经常在对话语音助手和乘客之间切换,导致出现混合的多方对话。准确判断某个语句是针对语音助手的(称为接收者检测)对于提高车内语音系统的可用性和可靠性至关重要。与传统的特征拼接或晚期融合方法不同,我们将车内接收者检测重新定义为统一的多模态序列决策问题。为了解决这一挑战,我们提出了一个基于Qwen2.5-Omni-7B全模态基础模型的端到端多模态接收者检测框架,该框架将任务提示、当前的ASR转录结果、历史对话文本、当前音频和历史音频片段组织成单一输入序列。这种统一的输入设计使模型能够在端到端的决策过程中同时捕捉语义内容、声学-韵律线索和时间对话上下文。历史音频明确包含了来自最近对话轮次的连续车内录音,保留了助手播放、车厢噪音和轮次级时序等声学上下文。通过在真实的车内对话数据上对预训练的多模态大模型进行微调,我们的方法实现了高精度地区分用户语句是针对语音助手的。所提出的模型在混响、语音重叠和助手响应延迟等具有挑战性的条件下表现出很强的鲁棒性,并且性能下降有限。在真实的车内测试集上的实验结果表明,我们的方法在准确性和宏观F1分数方面始终优于基于规则的、单模态的和浅层融合的基线方法。消融研究进一步验证了文本语义、声学线索和对话上下文的互补作用。此外,还进行了跨模态注意力可视化分析,以解释系统的推理过程。
引言
随着智能语音助手在车内及相关场景中的日益普及,自动判断用户是针对助手说话已成为一个关键问题。在有多个乘员的共享出行或驾驶环境中,用户通常会与其他乘客交谈,同时也向语音助手发出指令,这要求语音系统解决语句接收者的歧义问题。传统的系统通常通过按钮或唤醒词来明确指定交互目标[39],例如要求用户在每次说话前呼叫助手的名字。然而,这种交互方式不够自然,且失败率相对较高:用户可能会忘记或不愿意在每次交互时说出唤醒词,即使说了唤醒词,也可能由于噪音、口音或远场条件而无法触发;相反,环境中声学相似的短语可能会错误地激活设备。这不仅降低了用户体验,还可能引入隐私风险[14],即设备在无需明确触发的情况下被错误激活,从而导致不必要的录音和传输。因此,业界和学术界都开始研究允许系统自动判断当前语句是否针对设备的技术,通常称为接收者检测或设备指向语音检测(DDSD)[21]。这项技术的目标是通过分析语音内容和上下文来确定语句是否针对设备,从而提高车内语音交互的自然性和可靠性[26]。
近年来,接收者检测受到了越来越多的关注。在复杂的人机-人混合对话中,自然的人机交互要求系统具备识别接收者的能力。一方面,人类在对话中利用多模态线索来指示他们正在与谁说话,例如注视目标听者(视觉线索)或改变隐性的声学标记(例如语调、能量和语速)来强调听者[32]。另一方面,在视觉受限的车内场景中,文本语义和声学韵律成为区分交互目标的主要线索:在与其他语音助手对话时,用户倾向于使用更直接的表达方式和更有结构的语言形式,并且在语音中表现出更清晰的停顿、重音和语调变化[5]。因此,在没有视觉信息的场景中(例如电话会议或车内环境),语音信号本身及其韵律特征以及转录的文本内容共同构成了接收者区分的关键证据[4]。现有解决方案已经验证了声学-韵律特征和文本内容特征对接收者检测的显著贡献[34],但它们仍然存在局限性。一种方法依赖于手工制作的声学和文本特征,并使用浅层模型或基于规则的系统进行决策;这些方法在说话者重叠、车厢混响和噪声变化等条件下通常泛化能力较差。另一种方法尝试结合环境和说话者信息(例如声源定位或语音分离)来加强区分[38],但这些方法通常需要额外的硬件支持或相对复杂的处理流程,从而导致更高的端到端部署和维护成本。例如,开源的声学特征工具包如openSMILE常用于早期流程中的副语言特征提取[9],但需要仔细的特征工程和领域适应。
在语音智能领域,近年来大规模预训练模型的快速发展显著提高了语音理解和生成能力。自监督语音表示学习已成为在噪声和远场条件下进行 robust 语音处理的重要基础[12]。覆盖全栈语音处理的大规模预训练目标进一步提高了对多样化声学环境的泛化能力[2]。使用大规模弱监督训练的现代ASR系统在真实音频条件下也表现出很强的鲁棒性[24]。然而,依赖单一模态(无论是语音还是文本)仍然面临开放环境中交互理解的固有瓶颈:语音交互通常同时涉及声学线索(语调、能量、停顿)、语言内容(语义和直接表达)和对话历史(上下文连续性和轮次关系)。单模态模型往往无法在同一决策过程中对齐和交叉验证这些异构线索,并可能在多方对话、噪声干扰和助手响应延迟等复杂条件下产生有偏的接收者判断[27]。基于这些限制,研究人员开始引入多模态大模型,并尝试在统一的Transformer框架和共享序列空间内联合建模多种信号来源——文本、音频甚至图像/视频,从而实现更强的跨模态融合和推理[35]。在文本理解中,预训练的双向Transformer编码器如BERT为意图相关分类任务提供了强大的语义表示[7]。在语音识别中,结合卷积和注意力的Transformer变体(例如Conformer)改进了对局部和全局声学模式的建模[10]。尽管相关探索正在进展,但对于多模态交互理解(如接收者检测)的判别任务仍然缺乏可以直接重用的成熟范式。
最近,全模态基础模型被引入,以在单一Transformer框架内统一处理文本、图像、音频和视频[42]。像Qwen2.5这样的大规模模型系列还为下游任务提供了强大的通用语言理解能力[43]。同时,最近的工作开始探索在多模态环境中的设备指向语音检测[36],进一步的研究调查了基于大型语言模型(LLM)的ASR驱动交互流程[37]。然而,现有方法仍然存在两个关键限制。首先,大多数多模态方案只是简单拼接特征或采用晚期融合,未能构建一个专门针对任务的统一多模态输入,以共同建模语义内容、声学韵律和对话历史。其次,常规的基础模型并未针对车内环境的噪声、混响和多方交互特性进行端到端优化,导致鲁棒性有限。为了弥合这些差距,我们在本工作中提出了一种基于大规模预训练多模态模型的端到端接收者检测方法。我们的模型以Qwen2.5-Omni-7B作为多模态骨干,统一了文本、音频和对话上下文的编码和深度跨模态融合,并通过端到端微调直接完成车内接收者检测,输出语句是否针对语音助手的二元决策。我们的主要贡献如下:
• 统一的多模态序列建模:我们将车内接收者检测重新定义为统一的多模态序列决策问题。任务提示、当前和历史文本以及当前和历史音频被组织成单一输入序列,以实现语义、声学-韵律和上下文线索的联合建模。
• 具有上下文意识的历史音频建模:我们明确引入历史车内音频,以保留助手播放、车厢噪音、语音重叠和轮次级时序等声学上下文,这对于区分针对助手的语音和针对乘客的对话非常重要。
• 针对任务的具体端到端优化:我们针对目标判别任务对Qwen2.5-Omni-7B进行微调,并直接生成二元决策标记,减少了对手工特征、独立分类器和浅层晚期融合模块的依赖。
• 真实车内验证和分析:我们在真实的车内对话数据上进行了系统实验,包括基线比较、消融研究、场景鲁棒性分析、ASR错误鲁棒性评估和注意力可视化,以验证所提出的统一建模框架的有效性。
本文的其余部分组织如下。第2节回顾了接收者检测、车内语音交互和多模态预训练模型的相关工作。第3节介绍了所提出的框架,包括多模态输入构建、微调策略、数据集构建和实现细节。第4节报告了实验结果,包括性能比较、消融研究、鲁棒性分析、注意力可视化和推理效率评估。第5节总结了本工作并概述了未来的研究方向。
图1 展示了所提出的端到端多模态接收者检测系统的整体架构。该架构以Qwen2.5-Omni-7B全模态基础模型为核心骨干,统一处理来自车辆车厢的多源异构输入,并执行从多模态融合到二元接收者决策的完整流程。系统接受五种类型的互补输入:任务提示文本、历史对话文本、当前话语ASR文本和历史音频。
实验结果与分析
在本节中,我们首先报告了所提出模型和比较基线在测试集上的整体性能,然后分析了消融结果,最后讨论了在不同驾驶场景下的详细行为以及基于注意力的视觉分析。
结论
本研究提出了一种用于车内语音助手场景的端到端多模态接收者检测方法。该框架基于Qwen2.5-Omni-7B,将提示指令、当前ASR文本、历史对话文本、当前音频和历史音频集成到统一的多模态输入序列中。通过针对任务的微调,模型直接预测当前话语是否针对语音助手。实验结果表明,所提出的方法...
作者贡献声明
Jiang Zhonglin:撰写 – 审稿与编辑、撰写 – 原始草稿、可视化、验证、方法论、数据分析、概念化。
Chen Yong:软件开发、调查、数据分析。
Cui Yingjie:可视化、监督、调查。
Zhao Jian:撰写 – 原始草稿、验证、调查。
Xue Dongwei:验证、数据分析。
Shen Ruoyue:验证、软件开发、调查。
Li Shibao:验证、软件开发、调查。
Lu Zhenyu:撰写 – 审稿与...
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系,这些利益或关系可能影响本文报告的工作。
致谢
本研究部分得到了浙江省自然科学基金联合资助(项目编号LZJMD25D050002)和宁波市关键研发计划(项目编号2025Z055)的支持。
知情同意声明
所有参与研究的受试者都已获得知情同意。
伦理声明
由于本研究涉及自愿的车内对话数据收集,无需临床干预或敏感的生物医学程序,因此无需进行伦理审查和批准。
Jiang Zhonglin于2014年在中国北京工业大学获得了汽车工程硕士学位。2014年至2018年期间,他的研究重点是车辆能量控制的强化学习。他目前的研究方向包括大型语言模型(LLM)的预训练和微调技术、基于LLM的汽车应用代理以及汽车大数据。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号