**用于可泛化注视点估计的多模态解耦表示学习** 逐词解析： - **Learning** — 学习 - **multimodal** — 多模态（指融合多种数据类型，如RGB图像、深度图等） - **disentangled representations** — 解耦表示（将数据中不同的特征因素分离开来建模） - **for generalizable** — 用于可泛化的（指模型能在新场景、新用户上保持良好性能） - **gaze estimation** — 注视点估计（预测人的视线/注视方向的计算机视觉任务） 整体含义：通过学习将多模态数据解耦为独立表征的方法，提升注视点估计模型在未见场景下的泛化能力

《Neurocomputing》：Learning multimodal disentangled representations for generalizable gaze estimation

　　

• •
  粗到细提示将视觉语言模型适配用于连续注视回归。
• •
  双流模块显式解耦纯注视与领域特定噪声。
• •
  对抗学习利用辅助领域强制领域不变性。
• •
  我们的方法在跨领域基准测试上实现了高达26.9%的相对误差降低。

引言

注视是人类交流中的重要非语言信号。高精度的注视估计为人类行为分析提供了基本支持，广泛应用于虚拟现实与增强现实[1]、人机交互[2]、[3]、驾驶员辅助[4]、[5]以及医疗护理[6]等领域。近年来，深度学习的进步显著提升了基于外观的注视估计方法的性能。尽管这些先进方法在域内设置中表现出色，但它们在跨领域场景下的准确率大幅降低[7]。域泛化（DG）旨在学习在源域间保持不变的表示并泛化到未见目标域，已成为注视估计领域的研究焦点。

除了与注视相关的线索外，面部图像本身还包含许多与注视估计无关的领域特定因素，如光照、肤色和配饰。这些因素与注视相关信息高度纠缠，给可泛化的注视估计带来了重大挑战。以往的DG方法通常采用对比学习[8]、[9]或特征纯化[10]来减轻域偏移。虽然这些方法有效，但它们试图在单一纠缠的特征空间中抑制域干扰。由于领域特定噪声与注视信息高度耦合，直接抑制干扰会导致关键的注视细节非预期地丢失。与早期在统一空间中过滤噪声的方法相比，更好的方法是将全局特征显式解耦为两个独立的子空间——一个用于纯注视表示，另一个用于吸收领域变化——从而更有效地保留关键的注视信息。

视觉语言模型如对比语言-图像预训练（CLIP）[11]有可能为显式解耦提供稳定的领域不变参考。由于注视方向的语言描述不随与注视无关因素的波动而改变，CLIP的文本表示可以作为理想的语义锚点，引导从纠缠的全局空间中解耦出纯注视特征。然而，直接将CLIP应用于注视回归面临粒度差距问题：自然语言本身是离散的且粗粒度的，而注视估计需要连续的、高精度的数值回归。因此，需要一种高效的策略来弥合粗粒度语言描述与连续注视标签之间的差距。

在本文中，我们提出了MD-Gaze，一种用于跨领域注视估计的新型多模态解耦框架。为了协调离散语言描述与连续注视标签之间的差异，我们提出了一种粗到细的连续提示学习策略。具体而言，我们将注视方向的粗粒度文本描述与通过基于可逆神经网络（INN）的注视编码器映射自注视标签的细粒度注视嵌入相结合。这种组合生成了混合嵌入序列，作为注视回归的精确、领域不变的语义锚点。基于这些语义锚点，我们引入了一个双流解耦模块，以显式地将纯注视信息与领域特定干扰解耦。该模块不是简单地过滤噪声，而是通过两个流重构全局特征空间为两个不同的子空间：一个用于精确回归的注视流和一个用于吸收领域依赖变化的风格流。为了监督这种分离，我们提出了语义解耦对齐（SDA）损失，通过交叉协方差优化有效地解耦特征空间。此外，这一解耦过程通过对抗域分类模块得到增强。通过使用辅助领域作为对比参考，这种对抗机制促进了注视流的领域不变性，同时引导风格流吸收领域特定属性。

我们的主要贡献可总结如下：

• $?$
  我们提出了一种粗到细的连续提示学习策略，以弥合离散语言描述与连续几何标签之间的粒度差距。通过将粗粒度文本描述与INN映射的细粒度注视嵌入相结合，我们构建了作为精确、领域不变语义锚点的混合嵌入序列。
• $?$
  我们设计了一个双流解耦模块，以显式地将纯注视信息与领域特定干扰解耦。通过提出的SDA损失监督，并由利用辅助领域的对抗域分类模块增强，该解耦架构有效地将全局特征重构为领域不变的注视流和吸收噪声的风格流。
• $?$
  在四个跨领域基准测试上的大量实验表明，所提出的MD-Gaze框架显著优于基线方法，并推进了域泛化注视估计的最先进技术水平。

章节摘要

基于外观的注视估计

基于外观的注视估计旨在直接使用深度神经网络从二维眼睛[12]、[13]或面部图像[14]回归注视方向。与早期明确重建三维眼球结构的模型方法[15]相比，后者需要专业设备或严格的校准[16]、[17]，基于外观的方法提供了更高的灵活性，并已成为非约束环境中注视跟踪的主流范式。

得益于深度学习的快速发展……

概述

在本工作中，我们提出了MD-Gaze，一个新颖的框架，旨在减轻跨领域注视估计中的特征纠缠，同时弥合利用CLIP语义知识所带来的粒度差距。如图1所示，该框架由文本分支和图像分支组成，并行处理文本和视觉输入。

文本分支执行粗到细的连续提示学习策略。具体而言，一个粗粒度文本描述$T_{coarse}$和一个

数据集详情

我们在四个跨领域注视估计任务上进行了实验，以验证MD-Gaze的性能。具体而言，我们采用ETH-XGaze[38]和Gaze360[19]作为训练数据集，MPIIFaceGaze[14]和EyeDiap[39]作为测试数据集。为简洁起见，我们将四个数据集记为$D_E$（ETH-XGaze）、$D_G$（Gaze360）、$D_M$（MPIIFaceGaze）和$D_D$（EyeDiap）。此外，我们选择GazeCapture[40]作为辅助领域，以在过程中帮助将注视信息与领域特定噪声解耦

结论

在本文中，我们提出了MD-Gaze，一个旨在利用CLIP语义稳定性解决跨领域注视中特征纠缠问题的新型多模态解耦框架。为了弥合离散文本描述与连续注视标签之间的粒度差距，我们提出了一种粗到细的连续提示学习策略。通过将粗粒度文本描述与由基于INN的注视编码器映射的细粒度注视嵌入相结合，我们构建了混合嵌入

CRediT作者贡献声明

黄浩冉：写作 – 初稿，可视化，软件，方法论，形式化分析，数据整理，概念构思。谢宇飞：验证，软件，形式化分析，数据整理。张东：写作 – 审阅与编辑，监督，项目管理，调查，资金获取，概念构思。Dah-Jye Lee：写作 – 审阅与编辑，资源。

利益冲突声明

作者声明不存在任何已知的竞争性经济利益或个人关系，可能对本论文所报告的工作产生影响。

致谢

本工作得到国家自然科学基金（62173353）、广东省科技计划（2023A1111120012）和广州市科技计划（2023B03J1327）的支持。

黄浩冉于2024年获得中山大学学士学位。目前就读于中山大学电子与信息技术学院，攻读研究生学位。他的研究兴趣包括情感计算和计算机视觉。

黄浩冉|谢宇飞|张东|Dah-Jye Lee