《Neuropsychologia》:Human and AI voice identities evoke shared neural signatures during speaker recognition across changes in speech content and prosody
编辑推荐:
生物产生的人类语音与算法生成的AI语音均携带说话人身份信息。关键的是,韵律变化会调节同样塑造个体说话人身份表征的声学维度(如基频)。迄今为止,尚不清楚听者在处理人类与AI语音中的说话人身份时是否采用神经等价机制,亦不明确韵律线索如何影响这些认知过程。研究人员在
生物产生的人类语音与算法生成的AI语音均携带说话人身份信息。关键的是,韵律变化会调节同样塑造个体说话人身份表征的声学维度(如基频)。迄今为止,尚不清楚听者在处理人类与AI语音中的说话人身份时是否采用神经等价机制,亦不明确韵律线索如何影响这些认知过程。研究人员在基于姓名的身份学习后检测了新旧说话人辨别任务中的事件相关电位(ERP),并进一步分析了在学习与测试阶段韵律匹配与不匹配条件下正确识别的旧说话人试次。针对新旧辨别任务,多变量模式分析(MVPA)揭示了三个显著的晚期时间窗(662–1498 ms),其中顶叶中线电极Pz是AI语音的主要贡献源,而人类语音未出现显著分类。单变量分析显示,人类语音表现出更早的广泛分布辨别效应(N250:200–280 ms),而在晚期新旧效应(400–800 ms)中,两种语音类型均以Pz为效应量排序最强贡献源。这些新旧效应在学习和测试阶段言语内容完全不同的情况下依然出现,将内容无关的顶叶ERP效应从音节刺激拓展至句子层面。针对500–900 ms时间窗内的说话人特异性韵律预期效应,与人类语音在学习阶段使用的韵律相比,意外韵律在人类语音中诱发晚期正波,而在AI语音中诱发晚期负波。该晚期正波类似于交际风格预期违背所观察到的P600成分,而晚期负波可能反映了对典型合成信号内韵律违背的努力重加工,其机制与口音语音加工类似。这些发现推进了对语音身份加工的理解,并为AI语音在人机交互中的应用提供了启示。
研究背景与意义
语音身份是社会交往中自我的重要体现,听者能够在极短时间内识别熟悉说话人。随着语音合成技术发展,AI克隆语音已能在少量语料下还原说话人的声学特征与韵律风格。然而,人类与AI语音的身份加工是否存在共享的神经机制,以及在言语内容和韵律变化下如何维持稳定的身份表征,目前仍缺乏系统性研究。已有行为研究表明,高质量AI语音可欺骗听者的显性判断,但神经影像证据显示自然与合成语音的加工通路存在差异。理解这种差异,对优化人机交互中的语音系统设计具有重要理论与应用价值。该研究发表于《Neuropsychologia》。
关键技术方法
研究招募40名上海高校母语为普通话的被试,男女各半,无听力或神经系统疾病。实验采用姓名标签学习与准确性验证范式,确保身份表征充分编码。刺激材料包含人类语音与AI克隆语音,分别在独立模块呈现。学习与测试阶段言语内容完全不同,仅保持韵律一致或操纵为不同风格。脑电记录采用高密度EEG,分析事件相关电位(ERP)及多变量模式分析(MVPA),重点考察新旧说话人辨别效应及韵律预期违背反应。
研究结果
行为结果
训练与检测阶段,人类语音在不同韵律条件下的准确率与反应时无显著差异。AI语音中,怀疑型韵律条件下学习准确率更高(94.7%)、反应更快(1167 ms),表明AI语音的韵律风格影响身份编码效率。
RQ1:跨言语内容的顶叶新旧效应
在新旧辨别任务中,即使言语内容完全改变,人类与AI语音均出现显著的顶叶新旧效应,支持抽象身份表征的存在。人类语音在200–280 ms出现N250广泛效应,AI语音则在662–1498 ms出现MVPA显著分类窗口,Pz贡献最大。晚期新旧效应(400–800 ms)中,两种语音均以Pz为最强贡献源,拓展了此前仅在音节层面的发现。
RQ2:韵律预期违背的神经反应
在500–900 ms窗口,人类语音的韵律不匹配诱发晚期正波,与P600成分相似,反映交际风格预期违背。AI语音在相同条件下诱发晚期负波,可能源于对合成信号中非典型韵律的重加工,机制类似于口音语音的处理。
讨论与结论
研究部分支持了假设:跨内容的新旧效应确实存在,但时间频率MVPA未重复此前报告的β频段效应。结果表明,人类与AI语音在身份加工的早期阶段可能依赖不同神经机制,但在晚期顶叶阶段出现收敛。人类语音的韵律违背引发预期错误反应,AI语音则表现为加工负荷增加。这些发现深化了对语音身份表征层次结构的理解,并为AI语音的自然度评估与人机交互设计提供了神经科学依据。