你确定这条线是正确的吗?在阅读注视数据中,我们正采用基于信度的实时线条分配方法
《Proceedings of the ACM on Computer Graphics and Interactive Techniques》:Sure About That Line? Approaching Confidence-Based, Real-Time Line Assignment in Reading Gaze Data
【字体:
大
中
小
】
时间:2026年05月04日
来源:Proceedings of the ACM on Computer Graphics and Interactive Techniques
编辑推荐:
摘要:在多行阅读中,基于远程和网络摄像头的眼动追踪技术受到各种噪声因素和布局模糊性的影响,而这正是实时阅读支持需要可靠的单次注视点对应行分配的地方。以往的研究主要是在事后处理这个问题,或者通过限制行为(例如,不允许重读)来解决问题,这削弱了其交互性使用。我们提出了CONF-LA(
摘要:在多行阅读中,基于远程和网络摄像头的眼动追踪技术受到各种噪声因素和布局模糊性的影响,而这正是实时阅读支持需要可靠的单次注视点对应行分配的地方。以往的研究主要是在事后处理这个问题,或者通过限制行为(例如,不允许重读)来解决问题,这削弱了其交互性使用。我们提出了CONF-LA(基于置信度的在线注视点到行分配),这是一种原理性的、低延迟的方法,它结合了关于阅读行为的知识和每次注视点上的高斯线概率,以计算后验行概率,并在不确定性较高时推迟分配。在现有的开源数据上进行的评估表明,CONF-LA在事后分析中表现出稳定的性能,并缩小了在线和离线之间的差距(≤1-2%),平均每次注视点的延迟为0.348毫秒。我们的方法对阅读过程中的回退具有特别的鲁棒性,在儿童数据上的临时中位准确率(约95%)上显著优于所有测试过的算法。我们鼓励在这个方向上进行进一步的研究,并讨论了未来的发展可能性。
图1:在噪声多行阅读中实现可靠的实时分配。
1 引言
眼球运动反映了视觉信息收集的过程,从大规模的探索到精细的、有针对性的动作,如阅读[Rayner 2009]。阅读被定义为从一系列书面语言中提取信息的过程,这显然超出了识别孤立单词的范围[Blythe 2014; Protopapas等人2013]。这需要整合较长文本中的信息[Altani等人2017; Protopapas等人2013; van Viersen等人2025],对于初学者来说尤其具有挑战性,因为他们往往难以在保持注意力和空间定位的同时处理较长的段落[Gabrieli和Norton 2012; White等人2019]。虽然教育技术提供了有前景的阅读支持(例如:Rummens和Beier [2025]; Schiavo等人[2021]; Thaqi等人[2024]),但这些系统通常无法适应回退(例如,重读)或跳跃阅读,并且对注视数据中的空间噪声非常敏感。这对于儿童的眼球运动来说尤其成问题,因为儿童的眼球运动本质上更加多变且不那么系统化[Hindmarsh等人2021; Reichle和Drieghe 2015]。这些设计选择反映了多行阅读数据中的垂直漂移和空间噪声问题,需要加以纠正[Adedeji等人2024; Carr等人2022; Mercier等人2024b; Reichle和Drieghe 2015]。现有的解决方案主要集中在事后分析(例如,Al Madi [2024]; Carr等人[2022]; Vadillo等人[2015])。基于变换器[Mercier等人2024b]或CNNs[Shangareev和Stupnikov 2025]的最新进展提高了准确性,但仍然依赖于完成的阅读尝试或限制了重读,限制了它们在实时应用中的使用。儿童阅读数据显示出更多的噪声和回退[Blythe等人2011; Rayner等人2012],因此需要特别具有弹性的算法。手动校正仍然优于算法[Al Madi 2025],但在辅助技术中不是一个选项。为了填补这一空白,我们提出了CONF-LA(基于置信度的在线注视点到行分配),它将高斯线概率与行变化的行为先验相结合。更具体地说,在每次注视时,CONF-LA计算行的后验概率,并且只有当置信度超过某个正式阈值时才将注视点分配给该行,否则会推迟分配,并使用短期时间滤波器解决歧义。这种方法有三个实际的好处:(i)支持重读而不限制自然阅读行为,(ii)明确建模不确定性以提供可解释性,(iii)与布局无关,即插即用,兼容常见的眼动追踪器。我们的分析表明,CONF-LA是迈向实时注视驱动阅读的一个有前途的步骤。在Carr等人[2022]和Mercier等人[2024b]的基础上,我们在模拟和真实世界的眼动追踪数据上对CONF-LA进行了基准测试,证明了:(1)临时分析和事后分析之间的性能不变性。(2)在噪声较大和容易发生回退的数据上,临时准确率优于所有基准方法。(3)实时可行性,具有最小的延迟,并在模拟的实时环境中提高了准确性。(4)无需学习即可适应类似的阅读设置。除了准确性之外,CONF-LA还实现了注视对齐的适应性和可解释性,从而为新的分析打开了可能性,例如区分阅读和非阅读的注视行为[Rayner和Fischer 1996]。
2 相关工作
2.1 基于眼动追踪的阅读技术
最近在眼动追踪准确性和可访问性方面的改进推动了基于注视的界面发展,为基于注视的阅读支持工具铺平了道路。特别是初学者或神经多样性读者可以从引导注意力和保持参与度的辅助技术中受益[Keelor等人2023]。像注视驱动的单词高亮[Rummens和Beier 2025]和注意力驱动的朗读工具[Schiavo等人2021]这样的系统展示了基于注视的界面的潜力,但在实时推断读者在文本中的位置方面存在困难。这些方法通过修改视觉布局来补偿注视估计的不准确性,而不是对注视不确定性进行建模。例如,Schiavo等人[2021]扩展了单词周围的边界框以适应注视信号中的噪声,并将其系统限制在连续顺序中必须落下的基于短语的朗读单元内。因此,该工具无法捕捉到回退的眼球运动或重读行为。同样,Rummens和Beier[2025]要求儿童的注视点落在段落中第一个单词的边界框内以触发高亮,随后的注视点不能跳过一个单词以上。他们的方法也不支持重读或不连续的注视路径。其他辅助阅读系统采用了类似的启发式方法,如增加文本或行间距、扩大边界框或严格的校准程序[Minas等人2025; Morita等人2025]。虽然减少了追踪不准确性的影响,但它们并没有将注视数据视为一个噪声性的、概率性的信号。
2.2 自动化阅读注视校正
当前的基于注视的阅读技术受到缺乏稳定的、实时的行分配方法的限制,特别是对于噪声较大的注视数据。尽管文献中对临时映射的系统研究仍然很少[Shangareev和Stupnikov 2025],但大量的工作集中在事后行分配和记录的阅读轨迹的校正上[Al Madi 2024; Culemann等人2024; Hyrskykari 2006; Mercier等人2024b; Shamy和Feitelson 2023; Vadillo等人2015]。包括PopEye [Schroeder 2019]、GazeGenie [Mercier等人2024a]和Fix8 [Al Madi等人2025]在内的几个研究工具现在将这些算法纳入了标准化的分析流程中。Carr等人[2022]对该领域进行了重要的整合,回顾了一系列行分配策略,并将它们形式化为九种算法。比较算法[Sanches等人2015; Yamaya等人2017]的表现如此糟糕,以至于被排除在后续分析之外。连同他们新提出的动态时间规整(DTW)方法,这些算法被分为三个主要类别:(1)仅依赖于注视点和单词的时间顺序的顺序算法(warp [Carr等人2022],segment [Abdulin和Komogortsev 2015]);(2)结合部分几何信息的相对位置算法(cluster [Schroeder 2019],merge [?pakov等人2019],regress [Cohen 2013],stretch [Lohmeier 2015]);以及(3)主要依赖于与固定行坐标空间距离的绝对位置算法(attach [Carr等人2022],chain [Hyrskykari 2006; Mishra等人2012; Schroeder 2019],split [Carr等人2022])。后一组“相当保守”[Carr等人2022,第305页]引入了最小的校正偏差,但对非回退性失真类型(如漂移或倾斜)的不变性有限。attach算法简单地将每个注视点分配给最近的行,已成为事实上的基准,其启发式逻辑是许多辅助阅读技术中实际实现的基础。因此,Carr等人[2022]为评估和扩展行分配方法建立了共同的基础,使得可复制的基准测试和系统改进成为可能。他们的开放数据和代码资源已被后续研究[Al Madi 2024; Mercier等人2024b]用于在受控失真下测试算法的稳定性,并探索启发式、混合或基于机器学习的校正方案。除了这些确定性校正算法之外,其他研究还探索了注视-文本对齐的概率形式。Bottos和Balasingam [2019a; 2019b]提出了一种混合方法,结合了卡尔曼滤波器来去噪原始注视数据和使用离散隐马尔可夫模型(HMM)进行行识别。尽管这些模型在平滑轨迹方面有效,但它们假设逐行阅读,并依赖于完整的基于EM的参数训练,因此不太适合临时或上下文依赖的适应。相比之下,我们的方法保留了对行分配不确定性的概率处理,但用上下文敏感的、随时间变化的转换更新取代了全局训练,从而能够在非平稳的阅读动态下进行实时推断。
3 理论
CONF-LA基于这样的原则:只有当确定性足够高以确保这种校正能够产生正确的行分配时,才进行校正。我们首先介绍了这种方法的一般算法原理,然后提供了关于我们实现各个组件的详细信息。请注意,该原理被明确形式化,以便在未来的研究中探索特定步骤的不同实现。
3.1 CONF-LA:基于置信度的在线注视点到行分配
我们提出了基于置信度的在线注视点校正的通用算法原理。它假设参与者在阅读最多有M行的文本时记录了N个注视点,每行的最大长度为L。我们将注视点分为S个段落,其中fixation (yi(s), xi(s)),i=1,...,S是在该段落中记录的第i个注视点。
(1) 对于每个注视点,获取每条线l ≤ M的临时线距离概率 (dl)iM=di。
(2) 分析注视数据以获取与阅读上下文相关的信息,以修改行为先验。
(3) 将这些信息整合到段落中,以计算行的分配后验A(s),从而获得:
(a) 段落中所有注视点的行分配:ai(s)=arg?maxl≤MAi,l(s)
(b) 行分配的置信度值:ci(s)=maxl≤MAi,l(s)
(4) 只有当注视点的置信度值达到设定的置信阈值C时(即ci ≥ C),才会将其分配给一行(yi = yl)。
(5) 对于置信度ci < C的注视点,相邻行的分配可以更新置信度值ci,以可能超过置信阈值或指示不同的行l′ ≠ ai和置信度ci′。如果这些校正后的置信度值达到阈值C(即ci′≥C),则注视点的y值将相应更新。
(6) 否则,注视点坐标保持不变。
3.2 HMM-CONF-LA:生成模型和基于段落的推断
图2. 用于获取置信值的生成模型和推断过程的可视化。隐藏的线状态X随L提供的转换概率变化,并发出注视点的正态分布观测y位置。在推断过程中,我们在段落之间进行全局过滤(α),并在段落内部进行局部平滑(β)。
我们将行和注视位置之间的关系建模为一个非均匀的隐马尔可夫模型(HMM),其中隐藏状态Xi代表离散的行,观测Yi对应于注视点i的连续y位置。生成模型由以下部分组成:(i)所有行的均匀先验,(ii)连续的高斯发射概率分布,以及(iii)离散的、上下文敏感的转换概率分布。附录A.1提供了详细的数学规范。我们假设包含S个注视点的段落按顺序处理,以支持临时分配(即S < N)。推断使用分段的前向-后向消息传递来计算段落内的后验置信度。附录A.2详细说明了确切的推断方程。对于实时行分配(S = 1),推断变成了简单的过滤过程。对于事后行分配(S = N),推断变成了完整的平滑过程。图2可视化了生成模型和段落上的推断过程。
3.3 具有自适应位移的线距离概率
我们假设临时线距离概率是正态分布的[Niehorster等人2020b; Pekkanen和Lappi 2017]。标准差是线距离dl的比例,对所有线保持不变:σ = dl · σscale(σscale∈R+)。较高的σscale模型表示更大的偏离。均值是当前线的比例偏移中心yl:μl = yl · μshift(μshift∈R+)。对于μshift < 1.0,后行的上移增加,反之亦然。
对于S > 1,我们包括了使用自适应位移μshift的高斯线概率的选项。如果使用自适应位移,我们初始化μshift = 1。在修正了一个段落中的行分配后,如果大多数注视点被校正到了上面的行或下面的行,则会调整位移(即μshift = 0.99或μshift = 1.01)。我们在下一节中解释了这种适应性的动机,并明确说明了何时使用了适应性。
3.4 上下文和转换矩阵
熟练阅读的行为先验编码在转换矩阵L中,该矩阵模拟了注视点(yi, xi)来自与前一个注视点(yi ? 1, xi ? 1)不同行的概率。该矩阵与行无关,对所有线l ≤ M分配相同的值。这些先验和更新编码了对典型熟练阅读行为的假设,并不是从数据中学习得到的。在熟练读者的扫描路径中,大多数注视点出现在连续的前向线性阅读过程中(Ll, l = 0.85),最有可能的是移动到下一行(Ll, l + 1 = 0.1),但偶尔也会重新阅读前一行(Ll + 1, l = 0.03)。该矩阵会根据眼跳速度和突然的x位置变化动态更新,反映与前向线性阅读的偏差。最后,这个考虑上下文的转换矩阵会被标准化(∑Ll, : = 1.0)。3.4.1 返回扫视。根据Rayner [1998]的研究,眼跳峰值速度是眼跳幅度的单调函数,即较大的眼动速度会显著提高。虽然同行眼跳相对较短(30毫秒内2度的视角[Rayner 2009]),但返回扫视必须几乎覆盖整行的水平宽度[Slattery和Vasilev 2019]。在实验室环境中,这些运动的速度可以达到每秒500度[Rayner 1998]。由于在非实验室环境中难以获取角速度信息,我们使用了一个保守的线性阈值。当(估计的)峰值速度超过设定阈值(v^i>300厘米/秒)时,上下文应倾向于换行。这通过设置Ll, l = 0.05和Ll, l + 1 = 0.9来反映在转换矩阵中。3.4.2 x位置的突然变化。熟练阅读中的换行通常在行末前5-7个字符开始,并落在下一行的3-7个字符位置[Rayner 2009; Slattery和Vasilev 2019]。由于在非实验室环境中无法进行可靠的字符级跟踪,我们使用行长度的百分比作为一个通用的简化代理指标。Rayner [1998]明确指出,因为读者通常不会注视在行的边缘,“大约80%的文本位于极端注视点之间”[Rayner 1998, 第375页]。因此,如果连续注视点之间的x位置变化超过了行长度的80%(即xi ? 1 ? xi < ? 0.8 · llength),我们就倾向于换行。这通过设置Ll, l = 0.3和Ll, l + 1 = 0.7来反映在转换矩阵中。3.5 邻近节点投票对于S > 1的情况,我们对未分配的注视点应用窗口校正,使用未分配注视点i之前和之后的W个相邻注视点的信息。如果注视点i仍未分配给行l―(cl―Ω且l^≠l―),则将注视点i分配给行l^。如果l^=l―,则只有当cl―(1?ω)+cl^ω>C时,才会更新注视点的行分配。我们设置W = 5和ω = 0.4。4 方法我们对算法进行了各种测试,以(1)分析参数效应,包括段落大小;(2)将其与Carr等人[2022]基准测试的算法进行比较;(3)研究算法组成部分;(4)在不调整参数的情况下测试其泛化能力。基于Carr等人[2022]的实现,我们提供了开源代码[3]以复现我们的发现,并在阅读技术中使用了优化的CONF-LA实现。4.1 数据4.1.1 数据集。我们扩展了Carr等人[2022]的分析,使用了他们的数据集,该数据集是从Pescuma等人[2025]的数据中提取的5.5%子集,包含8至11岁儿童的24次无声阅读试验和成人的24次试验,共12段文本(约130个单词,10-13行)。文本以20号Courier New字体显示,行高为64像素,每行80个字符。使用EyeLink 1000 Plus(1000 Hz)设备记录了右眼的眼动数据。数据通过移除超出文本边界或在阅读前后发生的注视点进行了清洗。两位校对者手动分配了行,形成了一个黄金标准。对于被丢弃的注视点,校对者之间的分歧比对于已分配的行更为频繁。为了进行泛化测试,我们使用了MECOde数据集[Siegelman等人2022],该数据集由Mercier等人[2024b]处理,得到了最低的最优准确性。这提供了额外的648次成人阅读试验,涉及10-14行的段落。4.1.2 速度估计。与其他算法不同,CONF-LA需要眼跳信息来进行上下文提取。可以使用概率方法[Kasneci等人2014; 2015]有效地在线识别注视点和眼跳。我们估计平均眼跳速度为v―i=dscreen/(ti+1start?tiend)厘米/秒,其中dscreen是连续注视点之间的屏幕距离,假设tiend 0)移动,dshift ∈ [ ? 0.20;0.20]表示行间的增加向上(< 0)或向下(> 0)移动。对于回归失真,测试了20个值;对于其他失真,测试了40个值。如果当前没有进行测试,则参数被设置为没有效果。对于文本参数测试,我们使用了添加了噪声的虚拟段落(dnoise = 15)。行长度llength从15到110像素不等(测试了20个值)。行高度lhight每隔一个值进行测试,范围从28到104像素(测试了39个值)。无效果的文本参数对应于原始段落设置。4.1.4 增强低质量数据。目前,基于眼动追踪的阅读技术的广泛应用受到高精度硬件有限可用性的阻碍[Angele等人2025; Niehorster等人2020a]。因此,可扩展的行分配算法也必须在低频(30-60赫兹)、空间失真的阅读数据上表现良好。我们使用了一种适应性的“降级”方法[Angele等人2025]来模拟从低质量记录条件下获得的缺失和不准确的注视信息,应用了三个退化步骤(见附录C.2):(i)持续时间削减:移除所有短于一个模拟时钟时间步长的注视点,设置为33.3毫秒(30赫兹);(ii)时间分箱:将注视点的开始和结束时间对齐到最近的采样时钟时间;(iii)空间噪声:根据公式1向原始y坐标添加额外的空间失真,参数设置如下:dnoise = 10,dslope = 0.02,dshift = 0.02。这种方法保留了现有数据集上的原始手动校正作为黄金标准。4.2 性能评估性能通过将行分配的百分比准确性与黄金标准进行比较来评估。未分配的注视点被映射到最近的行,以便与总是为注视点分配行的算法进行比较。在阅读技术中,这样的注视点仍然会落在围绕单词的感兴趣区域内。我们强调,这种准确性是为了评估辅助阅读技术中的性能。需要不同的指标和数据集来评估例如非阅读注视点是否正确地保持未分配状态。4.3 参数选择和分析设计我们进行了网格搜索,以优化参数组合并评估它们对性能的影响。附录C.1详细说明了网格范围和结果。其他参数设置(例如上下文阈值、转换矩阵条目)保持第3节中描述的不变。我们为各种段落大小(S = N, 10, 4, 3, 2, 1)确定了最佳参数设置。我们在段落大小分析、消融分析和置信度校准分析中使用了最佳值(S = N)。段落大小分析还包括S ≤ 5的最佳值,以比较全潜力与次优参数选择。模拟、运行时间和退化分析使用了为Carr数据集优化的相应段落大小的最佳值。首次参数分析改变了置信度阈值范围或高斯值(μshift和σscale),分别使用其他地方的最佳参数。后续分析使用了自适应的偏移。5 分析结果5.1 参数分析图3.网格搜索结果平均显示了(a)置信度阈值(须状线:1.5 IQR)和(b, c)高斯行可能性参数的影响。结果表明,更大的不确定性可以实现更准确的行分配。成人显示出更稳定的阅读注视模式,而儿童的注视数据则更加分散,并且噪声变化更大。网格搜索分析揭示了各个参数在所有其他参数平均时对算法准确性的影响,包括段落大小。图3(a)显示,在纠正行之前允许更大的不确定性(C < 0.9)对于儿童和成人的阅读注视数据来说都是正确的行分配准确性的关键。这验证了我们基于置信度分数的方法。因此,我们限制后续分析中的C < 0.9。我们的方法还允许洞察阅读行为。特别是,最佳的高斯行可能性参数揭示了熟练读者和初学者读者之间的差异。图3(b,c)比较了平均网格搜索准确性。除了总体上更高的准确性外,成人(b)表现出更稳定的阅读行为,体现在两个维度上的方差较小,以及在最小漂移(μshift = 1.0)和最小噪声(σscale = 0.2)时的峰值准确性。儿童(c)在噪声(σscale)上表现出更多的变异性,表明注视数据的一致性较低,以及垂直漂移的增加,体现在μshift = 1.01时的峰值准确性上。为了解决初学者和熟练读者之间的μshift差异,我们在第3.3节中引入了自适应偏移。5.2 模拟分析图4.模拟分析测试了算法对不同类型失真的敏感性:一般噪声、偏移、斜率、同行内和行间回归。平均分配准确性在事后(S = N,左)和临时分配(S = 10,右)之间进行了比较。虽然所有其他算法在段落大小之间都表现出性能下降,但我们的基于置信度分数的方法(粗蓝线)几乎不受段落大小的影响。我们的模拟分析将我们的基于置信度分数的方法与现有基准进行了比较,重点关注不同段落大小下的性能。图4的行展示了七种类型的失真结果:(1)一般噪声,(2, 3)垂直漂移和斜率,(4, 5)同行内/行间回归,以及(6, 7)行长度和高度。列显示了事后校正(S = N)和临时校正(S = 10)的平均分配准确性。CONF-LA对段落大小的敏感性最小,因为在各种失真下的性能保持稳定。这种段落不变性使其与大多数竞争算法区分开来,后者在临时分配时显示出显著的准确性损失。对于一般噪声,分配准确性仍然很高(N:>88%,10:>83%),反映了模型捕捉垂直噪声的能力。然而,这些结果只能与真实世界阅读数据进行有限的比较,因为模拟引入了高斯噪声,这作为模型的发射分布。此外,CONF-LA在回归情况下特别稳定(同行内:N:>93%,10:>98%;行间:N:>94%,10:>98%),表明转换矩阵有效地捕捉了重读结构。它在后验分析中对短行(N:>80%,10:>92%)和小行高(N:>79%,10:>77%)表现出一定的敏感性。相比之下,高斜率(N:>17%,10:>30%)和漂移(N:>31%,10:>34%)会导致准确性显著下降。这些失真代表了CONF-LA的主要限制,可能源于发射适应性的限制。与其他测试的算法相比,CONF-LA在大多数失真类型下在临时分配中保持了更高的准确性,但在极端斜率和漂移失真下几乎没有优势。由于竞争方法依赖于顺序信息,它们在后验分配中表现出强烈的性能,但在段落大小减小时准确性下降。总体而言,模拟结果表明,结合空间可能性信息和行为转换假设可以在中等失真下实现稳定的临时分配。5.3 实时分析图5.上图:基准分析显示了(a)成人和(b)儿童阅读注视数据的中位行分配准确性。在后验分析中,置信度算法的性能在基准范围内。其性能在S = 1时低于(成人)或达到(儿童)的基线准确性,但在(成人)甚至超过(儿童)的基线水平。下图:处理时间与临时分析的中间准确性(S = 1,10(c)的毫秒数。图5(c)比较了标准笔记本电脑上的运行时间(每段毫秒数)和算法的中位准确性,以评估实时(S = 1,圆圈)和临时(S = 10,三角形)分配的可行性。CONF-LA所需的时间略长(1: 0.348毫秒,儿童组88% / 成年组95%;10: 1.835毫秒,儿童组94.2% / 成年组97.7%),相较于基于绝对位置的基线算法(1: 0.004毫秒,儿童组87.7% / 成年组94.8%)和链式算法(1: 0.013毫秒,儿童组87.7% / 成年组94.8%;10: 0.024毫秒,儿童组89.4% / 成年组96.6%)。这种运行时间适用于在标准CPU上的即兴部署。在即兴分配任务中(S = 10),CONF-LA在所有年龄组中的表现均优于基于绝对位置的算法和链式算法,尤其是在处理含噪声的儿童数据时效果更为显著。如图5(a)所示,这一优势在所有即兴段落大小(S > 1)中都存在,表明明确建模噪声和转换结构可以提高在信号变化较大情况下的稳定性,这在儿童数据中尤为明显。在实时分配任务中,由于时间信息的限制,CONF-LA在成人数据上的表现略低于基线水平(见图5(b)),只有在特定段落参数设置下才能达到基线性能(红色星号标记)。然而,当段落大小较小时(S ≈ 5),其准确性趋于稳定或超过基线水平。这些结果表明使用CONF-LA存在一定的权衡:较大的段落大小会导致处理延迟,不仅因为计算时间,还因为需要收集足够数量的注视点数据;而利用时间信息则可以提高准确性,尤其是在噪声环境下。
5.4 退化分析
为了模拟类似网络摄像头的条件,我们对Carr数据集引入了低保真度的退化处理。虽然这不能替代在完整标注的网络摄像头数据集上的评估,但它为算法对空间噪声和时间分辨率降低的敏感性提供了压力测试。如表1所示,CONF-LA和基于绝对位置的基线算法都对退化处理敏感。然而,CONF-LA的相对下降幅度较小,尤其是在段落大小S = 10, N的情况下;而纯过滤处理(S = 1)则没有显著提升。这进一步证实了由于注视点间信息整合,CONF-LA对空间噪声的抵抗能力更强。总体而言,该分析表明,在垂直精度下降的情况下,CONF-LA仍能改善即兴线条分配的准确性,尽管性能仍受噪声严重程度的影响。
5.5 泛化分析
表1显示了CONF-LA和基于绝对位置的算法在不同数据集上的平均分配准确性。较高的准确性表明CONF-LA能够在无需针对特定数据集进行参数优化的情况下实现跨数据集的泛化。到目前为止,我们的分析以及最佳参数的网格搜索(见附录C.1)都是基于Carr等人[2022]提供的标注数据集进行的。为了测试其在不同实验设置和阅读模式下的泛化能力,我们在未重新调整参数的情况下对MECOde数据集进行了评估。表1显示,CONF-LA在所有段落大小上均优于基线算法,尤其在S = 10时效果最为显著,表明中间层次的局部平滑处理具有明显优势。阅读进度矩阵(见附录B)表明转换矩阵能够充分捕捉阅读进展结构,从而实现泛化。总体而言,这项分析表明CONF-LA能够在无需显式训练的情况下在不同数据集上保持稳定的性能提升。
5.6 算法分析
图6(a)的消融分析显示,随着时间整合信息和引入上下文敏感性,CONF-LA的准确性得到了提升。(b)然而,置信度尚未进行最佳校准,这限制了其在下游任务中的可靠性。图6(a)展示了每个模型组件对分配准确性的贡献。仅使用高斯线似然作为置信度评分会导致较低准确性。使用静态的、无上下文的转换矩阵进行过滤可将准确性提升至60%以上,证明了信息整合对于正确分配的价值。上下文敏感的转换矩阵更新和反向传递进一步提高了准确性,具有叠加效应。通过邻居投票更新置信度值可以获得最佳准确性,尤其是在即兴分配任务中。
置信度评分不仅可以用于纠正性目的,还可以通过引入一个不仅能提供更准确结果,还能提供更多信息的模型来扩展其用途。与其将注视线分配视为离散决策,CONF-LA有潜力提供一种概率描述,旨在提供可解释的量度,以指导下游处理并增进对阅读行为的理论理解。为了探索这一潜力,我们评估了置信度校准情况。在当前实现中,CONF-LA的预期校准误差(ECE)对于S = N(ECE = 0.173)和S = 10(ECE = 0.160)都较高。图6(b)中的可靠性图表以Sigmoid形状反映了这一点:当准确性低于50%时置信度较低,而当准确性较高时置信度较高。我们怀疑这种校准不准确的主要原因是:首先,我们使用的数据集排除了非阅读注视点,导致置信度只能是阅读或未阅读的二元判断。这种方法在提高即兴线条分配准确性方面理论上是合理的,但它限制了算法的泛化能力和下游应用的可行性;其次,我们使用了硬编码的转换矩阵,其默认值仅在上下文指示线条变化时更新。这些转换分布是人为设定的,缺乏真实的不确定性度量。用参数化的分布替换它们可以改善校准并提升下游应用的适用性。
5.7 分析总结
虽然CONF-LA的置信度评分不足以直接用于下游任务,但它们为解读阅读行为提供了概率框架。发射参数反映了空间精度和注视点变异性,而转换矩阵编码了时间上的阅读模式。这些组件共同提供了对个体阅读动态的深入理解,超出了离散线条决策的范畴。我们的分析表明,CONF-LA已经能够支持准确的即兴校正,并且无需重新训练即能在不同数据集间泛化,但仍需要在延迟和准确性之间做出权衡。
6 讨论
6.1 概率建模视角
在当前工作中,我们使用了具有高斯发射的非均匀隐马尔可夫模型(HMM),并采用分析计算出的、上下文敏感且随时间变化的转换概率进行前向-后向推理。从概念上讲,这个模型与“Kalman + HMM”公式相关[Botos和Balasingam 2019a; 2020],不同之处在于连续和离散组件是整合在一起的,而不是级联的。这使我们能够在连续段落中进行连续的即兴过滤,并在段落内部进行局部离线平滑处理,以推断线条分配的置信度评分。然而,当前的置信度评分是模型内部的指标,而非校准后的概率。我们将基于置信度的线条分配与HMM实现分开有两个原因:首先,置信度测量本身与模型无关,即它不依赖于HMM进行计算,而可以表示似然值、后验概率或多个统计模型的投票结果;其次,定义的HMM只是提供线条分配后验的一个可能概率模型。尽管如此,这种形式主义可以扩展为完全参数化的模型,其中转换(例如Dirichlet)和发射(例如Normal-Inverse Gamma)的参数可以从数据中估计得出。这可能会改善校准,并为辅助技术中的下游模块提供更可解释和可靠的置信度。
6.2 将CONF-LA与基于学习的算法进行对比
重要的是,该框架中的推理基于隐含知识而非数据驱动的学习。尽管最先进的后期方法(Mercier等人[2024b];Shangareev和Stupnikov [2025])采用基于学习的架构,但CONF-LA的目标是辅助技术的线条分配,其中数据、计算资源和延迟都是限制因素。我们的分析表明,CONF-LA的准确性未能达到报告中的最佳水平(例如Mercier等人[2024b]在Carr数据集上的99.63%),但它解决了这些基于学习的方法的局限性。首先,基于学习的方法(包括Bottos和Balasingam [2019a; 2020])需要在大量标注的阅读试验数据上进行训练,而CONF-LA包含明确的行为假设,因此减少了为了最大化性能而进行的超参数优化需求。CONF-LA可以泛化到类似记录设置的未见数据,这在标注数据不可用的情况下特别有价值。其次,许多最先进的基于学习的方法通常需要GPU加速训练,可能会增加推理成本。相比之下,CONF-LA在标准CPU上只需大约1毫秒的延迟即可完成分配,得益于轻量级的推理过程。这与辅助系统的需求相符,因为最小延迟对于用户体验至关重要。第三,CONF-LA的概率框架不需要对注视信息进行预处理(如标准化),并且不受字体大小和类型的影响,与Mercier等人[2024b]的方法不同。因此,它是设置无关的,也独立于上下文。
最后,CONF-LA能够整合到真实的阅读行为中,其中阅读不仅包括跨越多条线的动作(Shangareev和Stupnikov [2025]明确排除了这种情况),还包括不代表阅读行为的注视点(Mercier等人[2024b]也明确排除了这种情况)。据我们所知,这是第一个允许注视点保持未分配状态的分配算法,从而考虑到了非阅读注视点的情况。这项分析在已建立的后期分配算法框架内评估了CONF-LA,因此对非阅读注视点的分析超出了本文的范围,但强烈建议作为下一步进行研究,并应包括额外的校准分析。
6.3 算法的扩展和改进
当前算法采用了一些基于典型熟练阅读行为的固定参数。尽管我们的分析验证了这些参数对于熟练读者的适用性,但它们的固定性质为改进提供了机会。具体来说,未来的研究应探讨是否以及如何调整参数以捕捉不同的阅读行为。虽然这不是强制性的,但调整参数可以提供对个体阅读模式的洞察。此外,CONF-LA覆盖了上下文信息,而不是随时间整合信息,从而丢失了关于扫视动态的细节,并引入了手动调整的常数。类似于测量噪声,线条转换的不确定性可以使用适当的概率分布来更好地建模。这将允许随时间整合关于注视行为的信息,而不是简单地替换它,可能产生更稳定的线条分配估计。一旦注视分配的不确定性被概率化量化,模型参数本身也可以变得具有适应性,从而反映个体阅读风格或变化的噪声条件。在这种意义上,适应性可能是完全概率建模的副产品。例如,均值漂移更新已经展示了适应性,其中似然分布会根据最近的注视行为和相应的线条分配进行微调。允许在更大范围内进行更渐进的调整(例如,通过μshift ∈ [0.85, 1.15]进行平均偏差调整),可以针对CONF-LA对极端斜率和变化的敏感性。或者,可以通过自适应的σscale(例如允许在较低线条上具有更多方差)来解决这些限制。总体而言,参数的调整应该是尽可能轻量级的,以确保校正的实时能力。
6.4 评估与未来工作
阅读支持系统不仅可以受益于CONF-LA的实时能力,还可以利用其与现有注视驱动交互范式的概率信息。这种整合需要校准后的置信度和更准确的区分真实阅读行为(即目标导向的文本处理)与非阅读注视活动(如心不在焉或探索[Rayner和Fischer 1996])。这样的整合需要校准后的置信度和更准确的区分。除了这种特定类型的数据集外,还需要在更多分辨率较低的数据集上进一步评估CONF-LA的方法,因为当前的评估使用了模拟的退化数据,而不是真实的网络摄像头数据。还应评估更多变量文本条件,包括但不限于:(i) 源代码阅读[Al Madi 2024; Shamy和Feitelson 2023],(ii) 非拉丁字母系统,特别是垂直和从右到左的语言,这可以通过调整行为先验(即镜像转换矩阵)来捕捉,以及(iii) 更密集和复杂的阅读环境。我们建议探索阅读之外的应用领域,例如在眼动数据中存在垂直噪声的情况。行为先验可以适应以捕捉垂直注视的进展,例如在社交媒体帖子中的滚动。我们还在完整数据集上测试了该算法的潜力,但强烈强调需要包括交叉验证和实时部署的更广泛研究。最终,将技术集成到辅助技术中将能够对技术性能(实时能力)和用户收益(可感知和可测量的改进)进行实际评估。我们强调,这种集成除了要确保可用性外,还必须始终保障隐私和可访问性。6.5 给实践者的建议:使用默认参数,其中 S = 10,并结合我们优化的超参数(见表3)。对于实时应用,可以考虑在重叠的注视时间段内进行数据处理平滑处理,或者根据您的具体设置来调整参数。根据眼动追踪器的噪声水平来调整发射值 σ。此外,如果预期会出现极端的变化趋势或漂移模式,允许 μshift 进行更大的、逐步的调整。对于非阅读任务(例如滚动),需要调整过渡矩阵。7 结论:在本文中,我们介绍了基于置信度的 gaze-line 分配方法 CONF-LA,该方法适用于多行阅读场景。我们的分析验证了 CONF-LA 在与其他后验算法相比的优越性,并认为它在辅助阅读技术所需的临时分配任务中具有特别大的潜力。8 社会影响声明:由于阅读是获取知识的基本途径,我们认为我们的研究有助于促进教育公平。然而,我们也认识到,检测精细的阅读模式以及由此获得的认知过程洞察可能会被滥用。因此,我们在处理 gaze 阅读数据时,无论是在研究中还是在利用这些信息的辅助技术中,都鼓励采取最高的隐私保护标准。致谢:我们感谢 Carr 等人 [2022] 中进行的基准研究的所有作者和贡献者的工作。这项工作的完成得益于他们的努力和开放的研究态度。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号