交互式面部动画：通过实时外壳和接触模拟技术提升面部动画效果

《Proceedings of the ACM on Computer Graphics and Interactive Techniques》：Interactive Facial Animation: Enhancing Facial Rigs With Real-Time Shell And Contact Simulation

实时面部动画交互系统，基于壳模拟与接触物理，无需解剖学先验或人工干预。通过逆仿真重建非均匀刚度场，确保目标表情复现误差小于0.01米。采用两尺度方法，粗网格实时模拟结合高分辨率细节校正，支持2k-8k三角网格，单线程CPU更新率787-2564FPS，实现触觉反馈与高保真表达平衡。

　　虚拟角色的高质量3D形象在娱乐和交流领域的需求日益增长，而交互式虚拟形象更是成为这一趋势的重要组成部分。为了实现更加沉浸式的体验，传统的虚拟角色设计需要解决一系列技术难题，包括在消费者硬件上实现快速设置、实时高效运行以及在人类形象和幻想风格角色上均能良好工作。针对这些挑战，本文提出了一种名为“交互式面部动画”（Interactive Facial Animation，简称IFA）的全新方法，该方法通过引入壳模拟和接触机制，能够增强现有面部动画系统，同时无需依赖解剖学先验知识或艺术家干预。

IFA的核心理念是利用一种高效的壳模型来追踪面部动画系统，同时结合真实的接触效果。这种模型不仅能够实现实时运行，还能在不降低原始动画系统分辨率和表现力的前提下，为角色提供更自然的物理互动。在实际应用中，该方法通过将输入的面部网格简化为用户定义的三角形数量，从而减少计算负担。随后，利用逆向模拟技术，IFA能够从面部动画的几何形态中恢复出非均匀的弯曲和应变刚度分布，使得前向模拟能够在严格的小误差范围内重现原始动画效果。通过这种方式，IFA在保留面部细节的同时，还能实现动态的接触效果，如皮肤的拉伸、皱褶等。

与现有方法相比，IFA具有显著的优势。首先，它能够在单个CPU线程上实现每帧约1毫秒的物理模拟更新速度，从而确保与高刷新率设备（如VR设备）的兼容性。其次，IFA的设置过程可以在几分钟内完成，而无需耗费数小时，这大大提高了效率。此外，IFA的模拟结果能够保持原始面部动画的高分辨率和表现力，而许多现有方法在模拟过程中会因几何细节的丢失而影响效果。这使得IFA不仅适用于人类角色，也适用于高度风格化的幻想角色，具有更广泛的适用性。

IFA的设计还考虑到了对物理模拟的灵活调整。虽然该方法是“无干预”的，但用户仍然可以根据特定的角色或场景，对刚度、密度或阻尼等参数进行微调，以获得更符合需求的物理效果。然而，实验表明，一套统一的参数设置可以很好地适用于多种角色和分辨率，这使得IFA的使用更加便捷和高效。在实现过程中，IFA采用了基于经典混合形状（blendshape）动画系统的框架，这使得它能够方便地从行业标准格式中获取面部网格和表情数据。

在模拟过程中，IFA采用了一种表面仅有的壳模拟方法，这种方法通过施加作用力来追踪输入的面部动画，并在模拟中引入被动的应变和弯曲弹性，以模拟皮肤的形变。同时，模拟还能够处理与外部物体的接触，这使得角色在与用户互动时能够表现出更加真实的物理特性。为了实现这一目标，IFA在前向模拟中采用了不同步的位移更新策略，通过将当前配置与显式积分位置进行融合，从而改善惯性行为，减少数值阻尼的影响。这种方法在保持高效计算的同时，也能够确保模拟的稳定性。

为了恢复高分辨率的面部细节，IFA在模拟结束后，会将原始的面部网格与模拟得到的位移场进行变形，随后通过一个细部修正步骤，重新引入因网格简化而丢失的高频率特征。例如，鼻梁上的细小皱纹可以在修正过程中被恢复，从而提升最终的视觉效果。这种两阶段的处理方式，既保证了模拟的高效性，又保留了原始动画的高保真度。

在材料刚度的重建过程中，IFA通过逆向模拟方法，求解非均匀的应变和弯曲刚度分布，使得模拟在没有外部交互的情况下，能够严格地重现原始面部动画的效果。这一过程在预计算阶段完成，且能够自动进行，无需人工干预。通过这种方式，IFA能够确保在不同分辨率和角色风格下，均能获得一致的模拟结果。此外，逆向模拟的优化过程还采用了L-BFGS算法，并结合了牛顿求解器和共轭梯度法，以确保计算的稳定性和收敛性。同时，为了防止过度刚化的刚度参数导致数值不稳定，还引入了平滑正则化项。

IFA在不同角色和分辨率下的实验结果表明，该方法能够在保持高分辨率和表现力的同时，实现高效的实时模拟。例如，在Aura 2k角色中，IFA的模拟更新时间仅为0.39毫秒，而在Proteus 8k角色中，更新时间也仅需1.27毫秒。这些结果不仅证明了IFA在性能上的优势，也展示了其在不同场景下的适用性。通过将接触模拟与面部动画相结合，IFA为虚拟角色的交互体验提供了新的可能性，使得用户能够在虚拟环境中与角色进行更加真实的互动。

在实际应用中，IFA能够处理多种接触交互，如脸颊、额头、鼻子、嘴唇和耳朵等部位的物理变形。这些接触效果不仅自然，而且不会影响角色的整体表现力。此外，IFA还能够处理快速运动带来的动态效应，如嘴唇的快速移动，这些动态效应在某些情况下可能会导致微小的偏差，但通过调整壳密度或阻尼系数，可以有效缓解这一问题。这种灵活性使得IFA能够适应不同的应用场景和用户需求。

尽管IFA在许多方面表现出色，但仍然存在一些局限性。例如，由于IFA采用的是表面模拟方法，因此难以捕捉到体积效应（如体积保持）。未来的工作可以考虑引入体积相关的影响，例如通过分析在接触过程中表面扫过的体积，或在鼻部和嘴唇等突出区域加入体积元素。此外，IFA目前仅能模拟局部接触引起的变形，对于影响整个头部的运动（如强烈的额头推挤）则需要结合骨骼动画系统。最后，IFA的模拟过程还依赖于一些启发式方法，如最大深度的计算，这些方法虽然在实际应用中表现良好，但未来仍有进一步优化的空间。

总的来说，IFA为虚拟角色的交互式模拟提供了一种全新的解决方案，能够在不依赖解剖学先验知识和艺术家干预的前提下，实现高效的实时模拟和高质量的接触效果。这一方法不仅适用于人类角色，还能够处理高度风格化的幻想角色，具有广泛的适用性。未来，随着技术的进一步发展，IFA有望在更多领域得到应用，为虚拟现实、远程通信和游戏等提供更加真实和沉浸式的体验。