SAFRG：基于语音的多重适当面部反应生成技术

《Neurocomputing》：SAFRG: Speech aligned multiple appropriate facial reaction generation

　　摘要在双人社交互动中，人类倾听者会不断展现出与非言语面部表情相协调的言语反应，以此传达他们对说话者的情绪、态度和意图。虽然面部反应生成技术近年来才受到研究关注，但现有的多合适面部反应生成方法并未考虑与倾听者预期言语反应的匹配，这可能导致非言语面部表情与其对应的言语反应出现不一致。为解决这一重要研究缺口，我们提出了一种全新的言语对齐面部反应生成框架——SAFRG，这是首个考虑言语反应的MAFRG框架，它能够根据倾听者的适当言语反应来指导MAFRG过程。通过与倾听者自身的言语节奏相契合，SAFRG能够生成一系列与倾听者意图一致的合适面部反应，从而实现多模态一致性。在技术层面，我们引入了一种新的会话级最佳反应匹配策略，以便在一对多的复杂环境中实现训练时的稳定配对；同时还提出了一种新的多模态训练方法，用于整合视觉和音频特征。大量实验表明，我们的SAFRG在生成更合适的面部反应方面优于现有的最先进MAFRG方法以及开源的IHG方法，这些面部反应在时间上与真实倾听者的面部反应更为一致。

引言人与人之间的对话是人类社交互动的基本形式，在这种互动中，除了言语交流外，双方还会不断交换非言语社交行为以及情感/认知状态[1]、[2]。这类面对面的交流使我们能够表达出语言无法完全呈现的细微含义[3]。尽管大型语言模型和机器学习方法的最新进展[4]、[5]、[6]、[7]使得基于文本的聊天机器人能够产生连贯的言语反应，但这些系统在表达非言语线索方面的能力仍然有限，导致其交互仅限于文本形式，缺乏足够的情感深度，难以实现精细化的沟通，从而限制了它们在现实世界中的应用。因此，具备自适应生成真实且符合语境的面部反应能力对于让这些聊天机器人超越纯文本交流至关重要，这不仅能够实现更加自然、有趣的人机交互[8]、[9]，还能为构建能够以更真实、连贯的方式参与人类社交的交互式虚拟代理提供可能。

早期的面部反应生成模型[10]、[11]、[12]、[13]通常是基于这样的假设开发的：面部反应生成任务是一种“一一映射”问题，即特定的说话者行为只对应一种特定的倾听者面部反应。因此，这些模型被训练成根据输入的说话者行为来再现单一的匹配真实面部反应，而忽略了人类行为反应的本质上的非确定性——同样的说话者行为可能会因情境因素和个人差异而引发多种面部反应[14]。为此，有研究正式提出了多合适面部反应生成任务，将面部反应生成任务重新定义为“一对多映射”任务[15]。具体而言，该任务要求模型为每种说话者行为生成多种不同的面部反应。现有的MAFRG方法采用了多种生成技术，包括基于Transformer的架构[16]、[17]、[18]、[19]、[20]，基于扩散模型的面部反应生成方法[21]、[22]、[23]、[24]、[25]，以及基于图结构的分布学习方法[26]。然而，这些方法仅关注生成多样且适合说话者的面部反应，却未考虑所生成的面部反应与倾听者预期言语反应的匹配程度，如图1所示。

实现这种匹配非常重要，因为面部表情作为强大的非言语信号，能够补充并强化言语所传达的意义。例如，一名倾听者可能在言语上同意说话者的观点，但却表现出怀疑或讽刺的微妙面部表情[27]；相反，真诚的共情往往伴随着一致的面部表情[28]。如果非言语面部反应与其对应的言语反应不匹配，就会导致感知上的不一致，降低真实性，从而在人工智能虚拟代理/系统需要充当可靠类人社交伙伴的互动场景中造成混淆和误解。

为解决这一根本性的匹配问题，本文提出了一种全新的言语对齐面部反应生成框架SAFRG，该框架能够生成与倾听者预期言语反应明确对齐的面部反应，如图1所示。与以往主要依赖说话者的视听行为来生成多样但无视言语意图的面部反应的最先进MAFRG方法[16]、[17]、[18]、[19]、[21]、[24]、[26]不同，我们的SAFRG能够根据倾听者的实际言语反应来指导面部反应的生成过程，从而捕捉他们的意图，实现多模态一致性。通过明确纳入言语信息，SAFRG生成的面部反应既合适多样，又在语义上与倾听者的意图（由言语反应体现）保持一致。这种对言语反应的考量代表了范式的转变，实现了以往方法无法达到的多模态一致性，为打造真正逼真的交互式人工智能代理奠定了基础。本文的主要贡献如下：
1. 我们提出了首个融入倾听者适当言语反应的言语对齐MAFRG框架，解决了现有MAFRG方法的匹配问题。该框架能够在保持多样性的同时，生成与倾听者意图高度对齐且动态匹配的面部反应。
2. 我们开发了一种全新的考虑言语反应的面部反应生成技术，它能将生成的面部反应与最相似的倾听者真实适当言语反应配对，从而对初始生成的面部反应进行优化，使其更具言语反应意识。
3. 我们提出了一种新的多模态数据训练方法，该方法能够有效融合说话者的视觉特征和倾听者的音频特征，同时还包含了在基于意图的条件空间中处理一对多映射问题的策略。
4. 实验和评估结果表明，与其他现有方法相比，我们的方法在生成的面部反应与真实倾听者面部反应的时间对齐度方面有显著提升。

本文的其余结构如下：第2节回顾了面部反应生成领域的相关研究；第3节定义了SAFRG任务；第4节介绍了我们所提出的言语对齐面部反应生成框架；第5节展示了性能评估结果并进行了讨论；第6节总结了本文内容并提出了未来的研究方向。

相关研究
早期关于面部反应生成的研究[10]、[11]、[12]、[13]、[29]将面部反应生成任务视为一种一一对应、确定性的映射任务。例如，黄等人[30]使用了两阶段条件生成对抗网络，仅根据说话者的面部表情和情绪来生成倾听者的面部反应。类似地，循环神经网络也被用来实时生成面部反应属性。

SAFRG任务定义
我们所提出的SAFRG任务的目标是学习一个模型，该模型能够根据说话者的视听行为以及一组候选的倾听者言语反应，生成一组面部反应。这里，每个生成的面部反应都与一个候选的言语反应相对应。每个候选言语反应都应与相应的面部反应在时间上和动态上保持一致，同时还要考虑到输入的说话者行为，确保面部反应的适当性。这里，该模型共同描述了说话者行为与倾听者反应之间的关系。

方法论
本节首先介绍了首个SAFRG处理流程（4.1节），该流程包含一种全新的考虑言语反应的面部反应生成器（4.2节），可用于生成在时间上与真实言语反应对齐、在语境上具有连贯性的面部反应。

实验设置
数据集：我们在多模态社交互动中的多合适反应数据集（MARS）[38]上进行了实验，该数据集为评估合适的面部反应生成模型提供了多模态基准。MARS数据集的设计提供了训练数据以及标准化的评估方案，有助于推动能够实现言语对齐、符合语境的面部反应生成技术的发展，这一特点也体现在它被用于REACT 2025挑战赛中[38]。这保证了实验结果的可靠性。

结论
本文提出了首个考虑言语反应的MAFRG框架，该框架明确纳入了倾听者的言语反应，从而解决了现有MAFRG方法在时间对齐方面存在的缺陷。特别是，我们引入了一种全新的言语反应感知生成模块，该模块将选择合适的倾听者反应与对齐过程分开处理，从而能够在面部反应生成本质上存在的一对多关系的情况下实现稳定的训练。在MARS数据集上的实验结果也验证了这一框架的有效性。

CRediT作者贡献声明
刘志哲：撰写——初稿、验证、方法论、正式分析、概念设计。孔祥宇：撰写——审阅与编辑、验证、软件实现。龙俊楠：撰写——审阅与编辑、软件实现。顾嘉燕：撰写——审阅与编辑。宋思阳：撰写——审阅与编辑、监督、项目管理、方法论、概念设计。

利益冲突声明
作者声明不存在任何可能影响本文研究的已知财务利益或个人关系。刘志哲是英国牛津大学计算机科学系的硕士生，他的研究重点是机器学习以及人类行为的生成模型，尤其侧重于生成多种合适的面部反应。他于2023年获得了英国学校研究协会（IRIS）颁发的最佳研究项目奖。

刘志哲|孔祥宇|龙俊楠|顾嘉燕|宋思阳
英国牛津大学计算机科学系，牛津OX1 3QD