使用几何图像和Teichmüller细化的神经面部网格配准

《Computer Aided Geometric Design》：Neural facial mesh registration using geometry images and Teichmüller refinement

　　

• 通过将几何图像作为三维表示，我们将三维网格配准任务简化为一个二维图像配准问题。
• 我们训练了一个基于 Transformer 的神经网络，以预测不同表情的一对面部的几何图像之间的形变场。
• 我们通过计算 Teichmüller 映射来细化并平滑形变场，该映射在保持给定对应关系的同时最小化角度畸变。

引言

三维面部稠密配准是计算机视觉与图形学中的一个重要问题。给定一对面部三角网格，其目标是找出两个表面之间每一点的对应关系。设源面部为 S，目标面部为 T，理想情况下目标是找到 S 与 T 之间的一个微分同胚映射。这一任务对许多下游应用至关重要，包括三维面部跟踪（Zeng 等，2011；Yu 等，2017）、建模（Ferrari 等，2017；Booth 等，2018；Ploumpis 等，2020）、检索、与医学相关的面部分析（Baynam 等，2017）以及面部形态过渡（Campbell 和 Flynn，2001），并在游戏、影视和医疗行业中有广泛应用。

三维面部通常以三角网格表示，因为它们提供了一种显式的、灵活的且计算上便捷的复杂几何表示方式。作为表面配准问题的一个子问题，三维面部网格的稠密配准可能特别困难。首先，由表情变化引起的面部表面形变可能仅发生在局部小区域。当表面经历剧烈的表情变化时，许多局部几何特征（如同构性）可能无法保持（Yu 等，2017）。此外，所得到的对应关系应当是平滑的，即形变或变形后的三角网格不应包含自折叠或翻转的三角形。而且，随着网格顶点数量的增加，寻找全局微分同胚的计算成本会显著增加。

在过去几十年中，已提出了许多三维面部配准算法。许多研究者利用基于形变的方法，在某些约束条件（如几何特征和地标对应关系）下将源网格或模板网格形变至目标网格（Mohammadzade 和 Hatzinakos，2012；Patel 和 Smith，2009；Myronenko 和 Song，2010；Bahri 等，2021；Bolkart 和 Wuhrer，2015；Fan 等，2023）。给定一个源表面 S 和一个目标表面 T，这些方法寻求一个变换，使得形变后的源形状与目标形状对齐，通过估计位移概率并最小化某些能量来实现。基于形变方法的主要优势在于它们直接产生显式的形变场，因此可以生成形变后的源网格，并建立从源表面到目标表面的连续映射，且具有相同数量的顶点。此外，还有许多基于非形变方法的前期工作（Gilani 等，2017；Blanz 和 Vetter，1999；Sun 和 Abidi，2001；Salazar 等，2014），这些方法在不显式参数化和优化三维空间中的形变模型的情况下，估计源形状与目标形状之间的对应关系。这些方法不是通过预定义的变换来形变源表面，而是比较从两个形状中提取的几何、谱或学习特征，并根据特征相似性和结构一致性建立连续的一一对应关系。一种常见的非形变方法（Wang 等，2005、2007；Zeng 等，2008、2011；Yu 等，2017）涉及使用相同的方法在二维标准域中对三维源表面和目标表面进行参数化，然后执行二维配准。这种方法的优势在于通过降维减少计算开销，同时更好地利用表面的内在特征。此外，它通常不要求两个网格具有相同数量的顶点。近年来，深度学习已被引入到基于形变和非形变的框架中，用于预测形变场、学习形状描述符或直接估计对应关系（Eisenberger 等，2020b；Cao 等，2023；Liu 等，2025）。这些方法利用神经网络从大规模面部数据集中提取特征并学习特征对应关系或形变场，从而实现更精确的配准结果。

然而，这两种方法都存在一些缺陷。对于基于形变的方法，当源表面和目标表面具有不同数量的顶点或不同的网格离散化时，基于形变的方法主要产生一个形变后的源表面，而不是源表面与目标表面之间显式的逐点对应关系，因此难以建立逐点对应关系。其次，这些方法在推理时可能依赖于地标对应关系和良好的初始化。不正确的对应关系可能将优化引向不理想的结果。第三，迭代的对应关系估计和形变优化可能在计算上非常昂贵，特别是对于高分辨率网格。对于非形变方法，其性能严重依赖于所采用的二维配准模型或二维特征匹配算法的准确性和鲁棒性。此外，在推理时通常仍需要手动指定的地标对应关系来初始化或约束配准过程。对于基于学习的方法，大多数前期工作是为通用形状匹配设计的，而非专门针对三维面部配准，因此可能无法充分利用面部特有的特性（如面部几何结构和表情变化）。此外，神经网络直接处理三角网格作为输入表示仍然具有挑战性，特别是在高分辨率下。这一局限性往往导致巨大的计算开销，并可能需要将网格转换为替代的数据表示形式。

基于上述讨论，一种面部配准算法应具备以下特性：

• 准确性。算法应旨在生成具有不同表情的面部表面之间的准确逐点对应关系或形变场。估计的形变或映射理想上应是平滑的，具有有限的自折叠和自相交，以近似微分同胚变换。此外，当源表面和目标表面具有不同数量的顶点或不同的网格离散化时，期望算法能够建立逐点对应关系，而不是仅限于生成形变后的源表面。

• 易用性。算法应尽可能少地需要额外的假设和手动提供的输入，例如要求源表面和目标表面具有相同数量的顶点，或要求预定义对应的地标来初始化配准。减少这些要求可以促进可用性并最小化额外的误差来源，如由地标检测引入的不准确性。这一特性对于面部跟踪和建模等下游应用将特别有益。

• 效率。算法应实现实用的计算速度。

本文的主要目标是开发一种准确高效的三维面部网格配准方法，该方法能够在不同表情之间建立平滑的显式逐点对应关系，且推理时无需手动指定的地标。为实现这一目标并应对上述挑战，我们提出了一种推理时无需地标的网格配准框架，该框架产生显式对应关系并改善表情变化下的平滑性。该框架由两个阶段组成：一个基于 Transformer 的配准网络和一个使用 Teichmüller 映射的细化模块。为了降低计算成本并便于使用神经网络，我们利用几何图像（Gu 等，2002）将三维网格配准问题重构为二维图像配准任务，几何图像将三维面部网格及其相关属性编码为二维图像表示，可直接输入神经网络。给定每对面部的几何图像，我们训练一个可变形 Transformer 神经网络来预测对应的二维形变场。同时，引入基于 Teichmüller 映射的细化方法来减少形变场中的局部折叠并改善最终形变映射的平滑性。我们的贡献是：

• 我们提出了一种新的框架，通过将三维网格转换为二维几何图像表示，将三维面部网格配准问题简化为二维图像配准问题。

• 我们在几何图像上训练了一个改进的 Transformer 配准网络，以获得不同表情下的二维形变场。

• 我们使用 Teichmüller 映射平滑二维形变场，使诱导的映射尽可能接近微分同胚。

与之前的方法相比，我们的方法具有以下优势：

• 所提出的方法显式地建立了两个面部网格之间的连续逐点映射，无论它们是否包含相同数量的顶点。所得到的对应关系不限于顶点到顶点的匹配。

• 推理时无需手动指定的地标对应关系。

• 在保持配准精度的同时，我们的方法平滑了最终映射并减少了形变场中的自折叠。这个细化模块被设计为一个附加组件，可在需要时应用。当出现自折叠区域时，它可以通过更均匀地重新分布局部畸变来修复这些区域，同时保持局部网格拓扑结构，包括顶点数量及其连接性。

我们将我们的方法与之前的最先进方法进行了比较，实验结果表明，我们的方法在 Facescape 数据集（Yang 等，2020）上实现了更低的配准误差和更少的非平滑区域。

章节摘要

基于形变的方法：Mohammadzade 和 Hatzinakos（2012）计算迭代最近法线点来引导全局对齐。Amberg 等（2007）使用迭代最近点（ICP）算法（Besl 和 McKay，1992；Chen 和 Medioni，1992），通过逐渐降低刚度权重将模板向目标形变。Ovsjanikov 等（2012）提出了功能映射，通过选择每个形状上的函数空间基来构建两个形状之间的映射表示，例如：

交叉注意力：交叉注意力广泛用作基于 Transformer 的神经网络中的信息融合模块，尤其在多模态任务中。设 T1 和 T2 是两种不同模态的标记集合，具有 d 维嵌入。通常会应用全连接层来产生三种矩阵表示：查询、键和值。设 T1 表示基础模态，T2 表示参考模态，交叉注意力通过以下方式计算：

拟共形映射：拟共形映射是一种方法

方法

在本节中，我们详细说明所提出算法的细节，包括几何图像生成、基于 Transformer 的神经网络以及基于 Teichmüller 映射的形变场细化。流程如图 2 所示。对于每对表情，我们首先分别计算源面部和目标面部的均值参数化，以生成它们的几何图像。配准神经网络以这些图像为输入并预测二维形变场。我们

数据集：我们选择了 Facescape（Yang 等，2020），这是一个大规模三维头部数据集，具有统一的拓扑和纹理。它包含 847 个身份，每个身份有 20 种不同的表情。我们选择了主体 ID 为 1 至 359 的面部扫描，这些扫描未经历可能降低数据质量的模糊或马赛克处理。由于某些扫描存在缺陷，如几何结构损坏或扫描完全失败，我们手动检查了数据质量并删除了 1977 个失败扫描，剩余 5203 个

统计分析：我们使用单侧 Wilcoxon 符号秩检验将我们的方法与 Non-rigid ICP（Amberg 等，2007）和 Fan 等（2023）在同一测试样本上进行比较。在 Wilcoxon 检验中，零差异被丢弃，绝对差异相同的被分配平均秩次，且未应用连续性校正。鉴于配对的样本数量很大，计算了渐近 p 值。由于我们的方法与两个基线进行比较，应用了 Holm-Bonferroni 校正来考虑多重

几何图像的表示能力：几何图像通过在规则参数域上重新采样原始表面来表示三角网格。因此，从几何图像重建的表面与原始表面不完全相同，且不可避免地存在信息损失。在我们的工作中，我们使用 512×512 的 16 位几何图像来表示包含 11,740 个顶点的面部网格。这种表示可以视为将原始网格重新采样到包含 262,144 个样本的规则网格上，同时

结论

在本文中，我们提出了一种新颖的三维面部网格配准方法。通过利用几何图像，原始的三维网格配准问题被简化为二维图像配准问题。在几何图像上训练一个基于 Transformer 的神经网络以获得初始二维形变场，并计算 Teichmüller 映射来细化和平滑形变场。实验结果表明，我们的方法实现了令人满意的 L2 距离和损坏三角形率（Corrupted Triangle Rate, CTR）。

作者贡献声明：
Liu Yuanpeng：撰写 - 初稿，方法学，概念化。Gao Xiang：撰写 - 审阅与编辑，概念化。Yin Haotian：撰写 - 审阅与编辑，可视化。Wang Yue：数据整理。Lao Zhiqiang：撰写 - 审阅与编辑，项目管理。Yu Heather：撰写 - 审阅与编辑，项目管理。

谢锋·顾：撰写——审阅与编辑、监督、方法论。利益冲突声明：作者声明以下可能被视为潜在利益冲突的财务利益/人际关系：谢锋·顾报告称获得了美国国立卫生研究院的财务支持。谢锋·顾报告称获得了美国国家科学基金会的财务支持。若有其他作者，他们声明不存在已知的竞争性财务利益或可能影响本文所报告工作的个人关系。致谢：本研究由美国国立卫生研究院资助（资助编号R21EB029733）、美国国家科学基金会资助（资助编号CMMI-1762287）以及美国国家科学基金会资助（资助编号PFI-RR-2213852）。代码可用性：我们将在获得所在机构批准后发布我们的代码和预训练权重。元鹏·刘 | 相·高 | 昊天·尹 | 悦·王 | 志强·老 | 希瑟·余 | 谢锋·顾