基于分布引导查询交互与残差定位解码的场景条件化注视目标预测框架

《Journal of Eye Movement Research》：Scene-Conditioned General Gaze Following in Static Images with Uncertainty-Preserving Geometry

　　

给定一幅静态图像和一名选定人物，一般注视跟随（general gaze following）预测该人物可能的注视目标。模糊的头部线索可能留下若干几何上合理的目标。研究人员开发了一个场景条件化定位框架，该框架保留方向不确定性，而非将其压缩为单一注视方向。在一个固定的、先前已发表的几何引导参考基础上，分布引导查询交互（Distribution-Guided Query Interaction, DGQI）利用场景证据精化方向—距离候选，分布条件化定位解码器（Distribution-Conditioned Localization Decoder, DCLD）通过残差预测调整参考热图（heatmap），选择性教师边际排序保持（Selective Teacher-Margin Ranking Preservation, STMRP）在训练期间保护选定的正确空间排序。在GazeFollow官方测试集上，最终模型达到合并/全局AUC为0.9190、原始分辨率逐图像AUC为0.9342、归一化距离误差为0.1289，而已发表基线值分别为0.9066、0.9214和0.1423。参考内对照将模块效应与场景骨干网络的跨代变化区分开来。DCLD产生最清晰的定位增益；DGQI贡献较小的判别增益；STMRP以定位代价改善逐图像AUC。这一分离揭示出判别与峰值定位未必同步改善。在VideoAttentionTarget和覆盖受限的ChildPlay子集上的零样本实验暴露出进一步的域敏感性。这些结果推动了对注视预测的协议感知、多指标评估。

**研究背景与问题**。人类注视是注意与社会互动的紧凑而高信息量信号，观察他人注视方向可引导观察者注意、支持共同注意并提示意图与互动目标。在一般注视跟随任务中，输入为场景照片与指定人物，输出为该人物可能注视位置的空间预测。与可见眼睛或面部的注视方向估计不同，该任务必须将不完整的人物线索与场景中可能的目标相连接：人物可能被从背后观察、眼睛可能被遮挡，或若干邻近物体位于合理注视方向上。GazeFollow建立了该图像任务的基准，后续方法将方向线索与场景显著性及空间目标信息结合。近年来，深度与几何感知建模约束搜索空间，块级分布预测放松了过严的单像素监督，物体感知与语义模型将关注区域视为有意义的目标实体，Transformer方法通过受控令牌或学习交互特征建模人物—场景交互，大规模预训练编码器提升了性能上限。然而，更强的场景表征本身并不能解决方向证据与最终目标选择之间的独特歧义：头部导出的证据可支持若干相邻方向，即使投影到图像后，多个物体或空间区域仍可能几何合理；将人物线索压缩为单一向量或单一空间先验，可能在场景证据有机会区分之前就移除备选方案。不确定性感知的CDDL–PGGM框架通过将注视方向表示为圆分布并将保留的方向假设投影为通道级空间几何体，解决了不确定性保持问题，但其几何刻意宽容：它识别合理空间区域，却不明确确定沿合理方向哪个物体或位置应获得最终承诺。由此引出本研究的核心问题：如何在不丢弃几何结构或不稳定已可靠空间关系的前提下，将不确定性保持的注视几何转换为场景条件化目标承诺。这是一项工程设计问题，受控实验刻画所提计算模型的行为与权衡，而非检验关于人类注视行为阶段的假设。

**研究方法与主要结论**。研究人员提出一个不确定性保持几何框架用于场景条件化目标承诺，建立在既定几何引导参考之上。模型首先保留合理注视区域，然后利用场景证据比较候选目标并精化预测位置。参考将继承的方向分布转换为全18概率几何体，并与GCViT-T/FPN场景表征整合。DGQI将保留几何分解为结构化方向—距离候选，并让其在几何偏置注意力先验下查询场景令牌，在合理候选间重新分配支持，返回空间候选图与后验加权上下文表征。DCLD利用这些输出预测参考热图的残差校正，将目标定位视为受控精化而非完全重预测。训练期间，STMRP保护教师正确的非局部目标对竞争者排序，同时保持局部目标邻域可编辑；STMRP仅用于训练，不增加推理分支。框架将方向不确定性保持、场景条件化候选消歧与最终定位分离。主要结论：在GazeFollow官方测试集上，最终模型合并/全局AUC达0.9190、原始分辨率逐图像AUC达0.9342、归一化距离误差0.1289，较已发表CDDL–PGGM基线（0.9066、0.9214、0.1423）在判别与定位上均有提升。参考内对照区分模块效应与场景骨干网络跨代变化：DCLD产生最清晰定位增益，DGQI贡献较小判别增益，STMRP改善逐图像AUC但带来定位代价；判别与峰值定位未必同步改善。零样本实验显示DCLD最具可迁移性，而DGQI与STMRP在最终输出层更具域敏感性。总体意义在于：保留几何备选直至场景证据可区分候选目标具有价值，且预测质量应同时用分布排序与定位指标评估。

**关键技术方法**。研究采用继承并冻结的CDDL分支（圆方向分布学习）产生72维方向logits并聚合为18方向组后验；继承的PGGM（概率注视几何建模）将分组后验转换为全18概率几何体，与RGB在输入级拼接为21通道早期融合，由GCViT-T/FPN场景编码器生成56×56场景特征与几何引导参考热图；DGQI构建216个方向—距离候选并在几何偏置交叉注意力下与场景令牌交互；DCLD以FiLM条件化与残差加法预测热图校正；STMRP作为仅训练用选择性排序目标。样本队列来源为GazeFollow官方训练与测试集，零样本评估使用VideoAttentionTarget官方测试划分及本地可用的ChildPlay子集；未见其他样本队列来源。

**研究结果**。4.2 GazeFollow基准性能：在严格协议匹配的合并/全局比较下，所提DGQI+DCLD+STMRP框架AUC为0.9190，优于已发表CDDL–PGGM基线0.9066与Lian等0.9060；相对基线，Dist由0.1423降至0.1289，MDist由0.0801降至0.0676，Ang由16.90°降至15.99°，MAng由8.23°降至7.27°，原始分辨率逐图像AUC由0.9214升至0.9342；与当代方法比较，原始分辨率逐图像AUC为0.9342，与无深度PDP报告值相当，但低于Sharingan、ViTGaze、Gaze-LLE等报告值。4.3 受控组件分析：静态几何DCLD相对几何引导参考使Dist由0.1297降至0.1269、MDist由0.0684降至0.0667、Ang由16.03°降至15.62°、MAng由7.32°降至7.00°，合并/全局AUC由0.9179升至0.9197，但逐图像AUC由0.9340降至0.9327；激活DGQI使逐图像AUC由0.9327升至0.9332（配对增益+0.000515），Dist变化不显著；以BCE+0.10 STMRP替换BCE-only使逐图像AUC由0.9332升至0.9342（配对增益+0.001010），Dist由0.1268升至0.1289，显示STMRP以定位代价增强排序判别。开发稳健性与架构控制显示STMRP方向在三个种子上一致，等 epoch 对照亦支持该权衡；仅早期融合与双注入数值近乎一致；ResNet-50/FPN桥接控制未复现DCLD在GCViT-T/FPN下的定位增益。4.4 机制分析：静态几何下DCLD平均绝对校正0.2194、最大绝对校正1.3393，表明仅凭场景特征与静态几何即可重塑参考热图；DGQI使期望候选—目标距离由0.3393降至0.2527（相对降低25.52%），93.83%开发验证实例向标注目标移动，同时保持分布性（归一化候选熵0.6331、top-1概率0.1120、top-5概率质量0.4127、与粗先验KL散度0.4170）；STMRP保护比例93.25%、主动违反比例11.76%、排序损失0.001823，教师与学生平均标准化边际分别为2.0555与2.1186，表明其施加选择性非局部排序压力而非全局logit匹配。4.5 标注歧义与参考难度分层：DCLD在三个歧义层均保持Dist正减少（+0.0018、+0.0036、+0.0029），逐图像AUC效应在各层为负且高歧义组最负（?0.0023）；DGQI逐图像AUC效应随歧义升高而增大（+0.00006、+0.00060、+0.00088）；STMRP在三个歧义层逐图像AUC均为正（+0.00077、+0.00053、+0.00173），Dist均为负；按参考难度四分位，DCLD的Dist效应由最简单四分位?0.0044变为最难四分位+0.0126，DGQI逐图像AUC在最难四分位达+0.00222，STMRP逐图像AUC各四分位为正且最难组+0.00236，其Dist效应由+0.00333变为?0.01293，最难样本同时暴露最大判别增益与最大定位权衡。4.6 跨数据集泛化：VAT上DCLD使AUC由0.8859升至0.8924（聚类感知平均收益+0.006442，79.3%人物帧改善）；加入DGQI使VAT AUC平均降低0.002621，STMRP进一步降低0.003730；完整模型相对参考VAT AUC近零（0.8860对0.8859），但基准距离与短边归一化距离获小幅支持性降低；ChildPlay覆盖受限子集上DCLD使AUC由0.9493升至0.9512（+0.001881），DGQI无稳定额外增益，STMRP相对BCE-only为负，完整模型接近参考（+0.000304）；跨域组件行为显示DGQI在VAT与ChildPlay上仍使期望候选—目标距离下降（0.3510→0.2610，88.18%实例向目标移动；0.3195→0.2139，96.90%向目标移动），表明中间机制迁移与端到端指标迁移相区分；框架层面相对已发表CDDL–PGGM在VAT AUC由0.8823升至0.8860、ChildPlay同子集AUC由0.9362升至0.9496。4.7 计算效率：相对参考，DCLD使参数量由55.470M升至55.794M（+0.58%）、批1延迟由31.95升至32.70 ms/样本（+2.36%）、批64吞吐由738.07降至692.81样本/秒（?6.13%）、峰值显存增3.74 MiB（+0.15%）；激活DGQI后参数量55.982M（+0.92%）、批1延迟34.61 ms/样本（+8.34%）、批64吞吐680.59样本/秒（?7.79%）、峰值显存2467.58 MiB（+0.18%）；BCE-only与STMRP正则化配置推理架构与参数量完全相同，确认STMRP无推理开销。4.8 定性分析与失败案例：代表性预测在紧凑与歧义标注下均保持集中且可解释，高歧义案例中模型仍能形成决定性目标承诺；失败案例显示当多个场景区域与估计注视方向几何兼容时，语义目标选择仍是核心挑战。

**讨论与结论**。讨论部分指出，实验刻画了不确定性保持几何框架内的场景条件化目标承诺，三个机制具有不同且部分相反的效果，而非一致加性增益。阶段式解释认为：DCLD提供最清晰的定位改善证据，其Dist增益主要来自径向误差减少且在困难参考案例上效应增大，补偿方向—区域建模的残余距离不确定性；DGQI的最强证据不是最终峰值距离大幅移动，而是中间候选证据的实质性重组，在歧义与困难样本的判别指标上更明显；STMRP不改变推理表征却提升逐图像AUC并扩大正AUC变化样本比例，表明目标承诺不仅受推理可用特征影响，也受训练如何保持或重塑空间响应相对排序影响，但其定位代价表明全局排序保持并非普适有益约束。判别导向AUC与峰值定位误差的持续分离并非矛盾：预测热图可在空间分散标注上改善排序而不将最大值移向质心，反之亦然；因此注视跟随目标应按意图改善的行为评估，精确峰值定位需Dist/MDist与角度误差，歧义场景中排序合理目标区域则需逐图像AUC，两种AUC构造亦不可互换。零样本实验显示DCLD最具可迁移性，DGQI与STMRP在最终输出层更具域敏感性；DGQI在外部数据仍使候选支持向标注目标移动，说明中间机制迁移与端到端指标迁移不同。计算上相对参考参数量增不到1%、峰值显存增约0.18%，主要成本在运行时（批1延迟约+9%、批64吞吐约?8%），STMRP无推理参数或分支。局限性包括：仅预测帧内空间热图而未处理帧外目标；继承CDDL分支与全18几何在目标承诺学习期间固定，无法在上游方向先验不准时校正；与已发表CDDL–PGGM的端到端比较并非纯组件消融，因场景骨干由ResNet-50/FPN变为GCViT-T/FPN，组件归因基于共同GCViT-T/FPN参考家族内的受控比较；几何本身无法在多个物体占据合理注视区域时确定语义目标身份；ChildPlay仅覆盖25/45官方测试片段且VAT与ChildPlay按帧评估未建模时间一致性；DGQI与STMRP的域敏感性提示需更自适应校准。结论部分译为：本研究将不确定性感知注视跟随从概率方向—区域建模扩展到静态图像中的场景条件化注视目标定位。在继承的CDDL–PGGM表征基础上，所提框架保留多个合理几何假设，同时利用场景证据精化候选支持与最终空间预测。DGQI通过场景交互更新方向—距离候选，DCLD对几何引导参考热图施加残差校正，STMRP在训练期间选择性保持正确空间排序而不引入推理分支。这些组件共同提供了一种结构化且可实验检验的场景条件化目标选择方法。在GazeFollow官方测试集上，最终模型相对已发表CDDL–PGGM系统将合并/全局AUC由0.9066提升至0.9190、原始分辨率逐图像AUC由0.9214提升至0.9342、Dist由0.1423降至0.1289，MDist、Ang与MAng亦改善；这些跨代增益包含几何引导参考网络变化，不应完全归因于新模块。共享GCViT-T/FPN参考内的受控比较识别出各自不同角色：DCLD提供最清晰定位改善，DGQI贡献场景条件化候选精化与较小的逐图像判别增益，STMRP进一步提升判别同时部分牺牲定位精度；排序AUC与峰值定位指标之间的分歧因此是重要评估发现，而非架构设计的单纯副作用。VideoAttentionTarget与可用ChildPlay子集上的零样本评估进一步表明组件收益并非跨域一致保留，DCLD较强迁移性与DGQI、STMRP较域敏感行为形成对比。所加组件相对共同参考需不到1%额外参数，并带来可测但适度的运行时开销。总体而言，结果证明保留几何备选直至场景证据可区分候选目标具有价值，同时说明为何预测质量应同时用分布排序与定位指标评估。未来工作可在不混淆此处所测贡献的前提下，以更强物体关系推理、帧外决策与时间证据扩展该框架。