FreqFLD：通过频率调制实现一体化人脸关键点检测

《Neural Networks》：FreqFLD: Towards All-in-One Facial Landmark Detection via Frequency Modulation

【字体：大中小】 时间：2026年09月12日 来源：Neural Networks 7.2

编辑推荐：

　　摘要深度学习的近期进展已显著推动了面部关键点检测的发展。然而，大多数现有方法在特定数据集训练范式下以空间域方式处理特征，忽略了面部关键点检测本质上由几何结构驱动且对频率变化敏感这一事实，从而限制了复杂场景下的跨数据集泛化能力，并阻碍了面部关键点检测模型的发展。为解决该问题，我

摘要

深度学习的近期进展已显著推动了面部关键点检测的发展。然而，大多数现有方法在特定数据集训练范式下以空间域方式处理特征，忽略了面部关键点检测本质上由几何结构驱动且对频率变化敏感这一事实，从而限制了复杂场景下的跨数据集泛化能力，并阻碍了面部关键点检测模型的发展。为解决该问题，我们提出了FreqFLD，一个面向All-in-One面部关键点检测的频率调制框架。具体而言，FreqFLD引入了频率调制模块（FreqMoM），通过解耦并调制低频与高频分量来显式地引入频率先验，随后将其注入后续的特征建模中，以实现对全局面部结构与局部关键点细节的均衡建模。此外，FreqFLD采用了频率调制混合专家（FreqMoE），其专家选择自适应地依赖于频率调制先验，从而能够灵活地建模多样化且具有挑战性的场景下异构的面部关键点模式。为了在All-in-One范式下规范频率一致的建模，我们进一步引入了频率一致路由（FreqCR）损失，该损失通过约束频率感知专家的路由与分配，促进不同面部场景下专家利用的均衡性，从而实现稳定的专家专业化并达成鲁棒的面部关键点检测。大量实验表明，所提出的FreqFLD在主流数据集上取得了具有竞争力的性能。代码可在以下地址获取：https://github.com/jkj1059657014/FreqFLD。

引言

面部关键点检测（FLD），又称人脸对齐，是计算机视觉中的一项基础任务，旨在定位面部几何与结构上的语义一致关键点（例如眼睛、鼻尖、嘴角等）。它是广泛下游应用的关键前提，包括人脸识别（Matsugu, Mori, Mitari, Kaneda, 2003, Yoo, Oh, Pedrycz, 2015）、表情识别（Ioannou, Raouzaiou, Tzouvaras, Mailis, Karpouzis, Kollias, 2005, Tang, Chai, 2024）、三维人脸重建（Basak, Corcoran, McDonnell, Schukat, 2022, Feng, Wu, Shao, Wang, Zhou, 2018a）以及虚拟化身生成（Chu, Li, Zeng, Yang, Lin, Liu, & Harada, Xu, Yang, & Yang）。

随着深度学习的发展，大多数现有FLD方法遵循特定数据集的训练范式（Kowalski, Naruniec, Trzcinski, 2017, Wan, Li, Lai, Du, Zhang, 2019, Wan, Xi, Yao, Sun, Lai, Zhou, 2025b），即模型针对各个基准独立优化。尽管该范式在单一数据集上取得了令人瞩目的性能，但它在跨数据集泛化方面通常表现有限，并且由于重复训练而带来相当可观的计算与维护成本。对多种FLD基准的对比表明，尽管各数据集的标注关键点数量不同（300W为68个、AFLW为19个、COFW为29个、WFLW为98个），但所有数据集所描述的都是相同的底层面部几何结构。特别地，不同数据集之间重叠的语义关键点跨越了一个共享的几何子空间，而该子空间会被特定数据集的模型重复学习。这种结构性冗余表明，可以跨异构数据集学习统一的表征，从而为FLD的统一架构提供了动机。此外，为提升跨域泛化能力，最近受底层图像复原（Chen, Li, Dong, Pan, Li, He, Chen, Li, Liu, Lv, et al., 2026, Hu, Ma, Wan, Min, Jing, Zhang, & Tao, Ma, Hu, Zhang, Wan, Huang, Zhang, & Khan）以及细粒度视觉理解（Wan et al., 2025a）进展的启发，All-in-One范式被探索用于在单一框架内处理多种退化。然而，将这些范式扩展到FLD，不可避免地会加剧由面部姿态、表情与遮挡的大幅变化所引起的特征冲突。

最近，混合专家（MoE）架构（Arnaud, Dapogny, Bailly, 2019, Hu, Qi, Wan, Huang, Zhang, Sun, & Tao, Tuzel, Marks, Tambe, 2016）在All-in-One范式下被作为有效机制加以探索，其通过多个专业化专家，借助自适应路由建模异构数据分布，以缓解特征冲突。然而，将现有MoE框架扩展到FLD面临着非平凡（non-trivial）的挑战。一方面，传统的独立专家主要基于空间域特征建模，这限制了它们捕捉面部内在几何结构的能力。另一方面，不受约束的专家路由会导致专业化不稳定，造成专家之间的不平衡或面部模式在专家间分配不一致，从而进一步损害训练稳定性与泛化性能。在All-in-One范式下的多数据集联合训练中，这些局限性会被进一步加剧。

基于上述观察，我们提出了FreqFLD，一个面向鲁棒FLD的频率调制All-in-One框架。FreqFLD集成了FreqMoM，将输入特征显式地分解为互补的低频与高频分量。通过分别建模低频结构信息与高频关键点敏感细节，FreqMoM构建了频率解耦的先验。此外，我们引入了FreqMoE，其中专家路由自适应地依赖于频率调制先验。通过利用频率感知的结构线索引导专家选择，FreqMoE促进了跨数据集一致的专家专业化，使不同专家能够捕捉异构的面部模式，同时保留共享的几何结构，从而缓解多样化面部条件引起的特征冲突。为了进一步在All-in-One范式下规范频率一致的专家专业化，我们提出了FreqCR损失。通过约束专家分配与频率感知的结构线索保持一致，FreqCR稳定了专家路由动态并防止训练过程中的专家不平衡，从而带来更稳定的优化与更佳的跨数据集泛化能力。通过联合集成FreqMoM、FreqMoE与FreqCR，FreqFLD在异构面部统计条件下实现了连贯的频率感知表征学习与稳定的专家专业化，从而取得了具有竞争力的FLD性能（图1）。本工作的主要贡献总结如下：

(1) 我们提出了FreqFLD，一个面向FLD的频率调制All-in-One框架，它通过将频率感知表征学习与基于专家的建模相结合，缓解了跨数据集特征冲突。所提出的FreqFLD与特定数据集训练方法相比，取得了具有竞争力的FLD性能。

(2) 我们提出了频率调制模块（FreqMoM）与频率调制混合专家（FreqMoE）这两个互补组件，它们分别实现了频率解耦的特征建模与频率条件化的专家专业化，促进了多样化面部条件下的鲁棒面部结构建模。

(3) 我们提出了一种频率一致路由（FreqCR）损失来规范专家路由，促进All-in-One范式下稳定且频率一致的专业化。

章节摘要

方法

在本节中，我们首先在第3.1节介绍统一的关键点索引，随后在第3.2节介绍整体流程。核心组件FreqMoM与FreqMoE分别在第3.3节与第3.4节中描述。最后，FreqCR损失在第3.5节中介绍。

实验

我们在四个广泛采用的FLD基准上对所提方法进行评估，包括300W（Sagonas et al., 2016a）、COFW（Burgos-Artizzu et al., 2013）、WFLW（Wu et al., 2018a）和AFLW（Zhu et al., 2016）。对比实验针对最先进的FLD方法进行，其中°和?分别表示热图回归方法与坐标回归方法。我们进一步提供了全面的消融实验与自我评估分析，以系统性地考察所提出的方法的

结论

在All-in-One FLD任务中，学习一个能够跨异构数据集泛化的统一模型仍然具有挑战性。为解决该问题，我们提出了FreqFLD，一个集成了FreqMoM与FreqMoE的All-in-One框架，以缓解由异构面部数据引起的特征冲突。具体而言，FreqMoM引入显式的频率调制以解耦低频与高频面部线索，在异构

CRediT作者贡献声明

Ren Shun（任顺）：写作—审阅与编辑，监督。Jin Kaijie（金凯杰）：写作—审阅与编辑，写作—原稿撰写，可视化。Hu Shengkai（胡盛恺）：写作—审阅与编辑，写作—原稿撰写，可视化。Song Beihang（宋北航）：写作—原稿撰写，可视化，方法论。Sun Hang：写作—原稿撰写，监督。Min Wenwen（闵文文）：写作—原稿撰写，监督。Liu Youfa（刘有为）：验证，监督。Wan Jun（万俊）：写作—原稿撰写，监督，方法论。

利益冲突声明

作者声明不存在可能影响本文所报告工作的已知竞争性经济利益或个人关系。

致谢

本工作受国家自然科学基金委（项目编号：62476172、62571555、62576192及62576257）和湖北省自然科学基金（2024AFB992）资助。

摘要

引言

章节摘要

相关工作

方法

实验

结论

CRediT作者贡献声明

利益冲突声明

致谢

热点排行