当语言起舞：推断语义意图以驱动富有表现力的说话头像

《Neurocomputing》：When words move: Inferring semantic intent to animate expressive talking heads

　　

摘要

音频驱动的说话头生成在语音-唇形同步方面已取得显著进展，通过建模节奏和韵律等声学特征。然而，在真实对话场景中，现有方法往往产生有限的交互自然度和沟通可信度，因为头部动作和其他副语言动作通常以被动、声学驱动的方式生成，而缺乏显式的语义意图建模。因此，生成的虚拟人看起来只是在说话，而非真正参与交流，尤其是在涉及语义强调、语用转换或话语层结构时尤为明显。为了解决这一问题，我们提出了语义感知的副语言动作生成（SA-PMG），一个统一框架，显式建模口语语义意图与副语言动作之间的耦合关系。SA-PMG采用分层跨模态范式，将生成过程分解为两个互补阶段。首先，音频到副语言映射（APM）模块捕捉语音信号与结构化副语言特征之间的动态对应关系，包括头部姿态、面部地标和注视方向，确保时间连贯性和物理合理性。在此基础上，语义意图推断模块（SIIM）利用大规模语音语义建模来推断高级语义意图表示，编码语义焦点、语用功能和说话人特定特征。我们进一步引入了跨模态语义对齐和融合机制，以自顶向下的方式将高级语义意图注入低级副语言生成中，实现对动作时序、幅度和表情细节的细粒度控制。广泛的定性和定量实验表明，SA-PMG显著提高了说话头生成中的语义连贯性、交互自然度和可控性。

引言

说话头生成技术主要由音频信号驱动，其中声学特征如能量分布、节奏结构和韵律变化被建模以产生与语音同步的面部动作[16], [19]。在语音-唇形同步精度方面已取得显著进展[1], [31]。然而，在涉及数字人的真实对话场景中，生成结果在整体交互自然度和沟通可信度方面仍存在明显局限，往往被感知为"能够说话，但未能真正参与交流"。这些缺陷在头部姿态和其他副语言动作的建模中尤为明显。

在自然的人机交互和虚拟智能体表达中，副语言动作——包括头部姿态调整、协调的面部肌肉运动和注视方向切换——与语音一起构成沟通行为不可或缺的一部分[15]。这些非语言线索不仅增强了口语内容的可理解性，还在传达语义强调、态度转变、疑问意图和情感动态方面发挥着关键作用[2], [7]。例如，当表达同一句话时，在语义重要时刻存在或不存在显著的副语言动作可以显著影响说话者意图的感知：协调的头部或上半身动作通常用于强化关键语义或情感内容，而缺乏此类行为则可能使相同的语音显得平淡或脱离语境。

如图1所示，在句子"假期是与亲人一起庆祝、享受节日气氛的时光。"中，在情感显著的关键词"享受"周围出现了较大的动作幅度，用于强化正面情感的表达。相比之下，对于句子"让我们先听听美国人民的声音。一次又一次的民调显示，他们不希望我们终结奥巴马医改。"，在短语"一次又一次的民调"处观察到明显的动作，该短语起到修辞强调的作用，加强了论述的说服力。这些观察表明，副语言动作并非对声学刺激的被动反应；相反，它们与说话者的语义意图、语用功能和沟通目标紧密耦合，构成了意义构建和交流策略的基本组成部分。

传统方法通常将头部动作和其他副语言动作视为音频驱动框架中的辅助输出[11], [24]。其生成过程主要依赖于对与声学节奏相关性的建模或应用时间平滑假设，而对嵌入在语音内容本身的表达意图关注有限。随着多模态建模的进步，一些研究开始将超越声学特征的高级语义信息引入说话头生成框架，以提高表现力和可控性[5], [21], [30]。

尽管取得了近期进展，现有的基于深度学习的说话头生成方法仍存在三个基本局限。第一，大多数方法将副语言动作视为音频驱动模型的辅助输出，缺乏对沟通意图的显式建模。第二，尽管一些工作纳入了高级语义信息，但这些信息通常与其他模态纠缠在一起，并未显式表示结构化的语义意图（如强调、语用或话语功能）。第三，高级语义与低级动作生成之间的交互仍然薄弱，导致可控性有限，生成的行为与沟通目标之间的一致性不足。

为解决这些局限，我们认为显式的语义意图建模对于生成自然且具有沟通性的副语言动作至关重要。本研究将范式从隐式语义相关性建模转变为显式意图驱动的动作生成。具体而言，与现有的音频驱动或隐式语义感知方法不同，我们的方法将语义意图显式建模为结构化且独立的表示，而非将其视为多模态融合的隐式副产品。

为此，我们提出了语义感知的副语言动作生成框架（SA-PMG）。通过联合建模低级语音-副语言映射和高级语义意图分析，所提出的框架显式捕捉了副语言动作与口语语义内容之间的关系，从而超越了仅依赖声学驱动的传统生成范式。此外，我们显式地将语义意图与低级动作生成解耦，并将其视为可控的中间表示，从而实现沟通目标与生成行为之间更精确的对齐。

所提出的SA-PMG框架采用分层跨模态建模范式，将副语言行为生成过程分解为两个互补阶段：低级声学驱动建模和高级语义意图建模。具体而言，我们首先引入音频到副语言映射模块（APM），该系统性地建模音频信号以逐步预测结构化的副语言特征，包括头部姿态、面部地标和注视方向。该模块专注于捕捉语音信号与动作行为之间的时间对应关系，提供稳定的动态基础，确保生成的副语言动作的时间连贯性和物理合理性。

在此基础上，我们进一步提出了语义意图推断模块（SIIM）。SIIM不依赖隐式语义线索，而是显式地将语义意图表述为编码语义焦点、语用功能和说话人特定特征的结构化表示。利用大型音频语言模型的语义理解能力，SIIM联合建模语义焦点、语用功能和说话人特定特征以生成高级语义意图表示。这些表示刻画了特定语境中的沟通目标和表达策略，并为副语言动作生成提供语义约束信号。

基于这两个模块的协同交互，我们设计了一个意图感知音频模块（IAM），建立了显式的自顶向下调制机制，使高级语义意图能够直接调节低级动作生成动态。与扩散模型中的传统条件策略不同，IAM对视觉和音频分支执行意图条件化的自适应归一化，实现了生成过程中的统一稳定语义控制。

总体而言，通过显式地将副语言行为生成置于语义意图控制之下，所提出的SA-PMG框架产生了具有更强语义连贯性、更高交互自然度和更好说话人一致性的面部动作序列。它为真实对话场景中的语义一致虚拟人表达提供了新的建模范式。本研究的主要贡献总结如下：

- 我们提出了一个语义感知的副语言动作生成框架，通过低级语音-动作映射和高级语义意图推断的联合学习，显式建模了口语语义意图与副语言动作之间的耦合关系。
- 我们设计了音频到副语言映射模块和语义意图推断模块，分层生成头部姿态、面部地标和注视方向，同时推断结构化的语义意图以指导副语言行为生成。
- 我们引入了一种意图感知的跨模态融合机制，将高级语义意图注入低级副语言生成中，实现对动作时序和表情变化的细粒度控制。
- 广泛的定性和定量实验表明，与现有方法相比，所提出的方法显著提高了语义一致性、交互自然度和可控性。

小节片段

音频驱动的说话头生成

近年来，研究人员广泛探索了从语音音频直接生成说话头。早期工作主要专注于针对特定身份的高保真音频到唇形同步，Suwajanakorn等人[19]证明了逼真的唇部动作可以仅由音频信号驱动。在此基础上，单次拍摄设置进一步推动了该领域向实际应用发展。Zhou等人提出了MakeItTalk[31]，该方法将语音内容与……

整体框架

我们方法的整体流程如图2所示。给定一张参考图像和一个驱动音频信号作为输入，我们首先使用变分自编码器[12]从参考图像中提取外观相关特征，这些特征在整个生成过程中作为身份和纹理先验。对于音频处理，我们设计了一个音频到副语言映射模块，该模块超越了传统的音频嵌入提取。该模块将驱动音频编码为结构化的……

实验设置

本研究的实验涵盖训练和推理两个阶段，在配备8块NVIDIA L20 GPU的高性能计算设备上完成。我们采用两阶段训练策略。在第一阶段，仅优化副语言适配器和投影，训练5000步，学习率为1e-5，以确保稳定的音频到副语言收敛。在第二阶段，文本融合模块和去噪U-Net联合训练20000步。为了改进……

结论

在本工作中，我们研究了传统音频驱动说话头生成方法在捕捉具有语义意义的副语言动作方面的局限性，特别是头部姿态和其他对于自然可信交流至关重要的非语言动作。我们认为副语言动作不仅仅是声学节奏的副产品，而是与说话者的语义意图、语用功能和沟通目标紧密耦合。受此观察启发……

CRediT作者贡献声明

Xiaodong Xiang：监督，资金获取。
Hanlei Shi：撰写——初稿，可视化，验证，方法论。

利益冲突声明

作者声明他们不存在已知的竞争经济利益或个人关系，这些利益或关系可能影响本文所报告的工作。

Xiaodong Xiang是浙江科技大学的副教授和研究生导师。他于1987年（工学学士）和1995年（工学硕士）从浙江大学电气工程学院获得学位。他的研究聚焦于嵌入式控制、物联网（IoT）、大数据和汽车电子。他已在SCI/EI收录期刊上发表超过10篇论文，并主持了一个由浙江省科技厅资助的重点国际项目。

Xiaodong Xiang | Hanlei Shi