面向VR/AR显示的深度学习MicroLED投影与单像素传感紧凑眼动追踪系统

《Advanced Photonics Research》：Compact System for Eye Tracking With Virtual Reality/Augmented Reality Displays via Deep Learned MicroLED Projection and Single-Pixel Sensing

　　

在虚拟现实(VR)或增强现实(AR)头显(headset)中，快速且准确的眼动追踪(eye tracking)可改善显示性能，并实现新颖的用户交互方式。然而，对系统而言，将眼动追踪所需的运行速度和精度与足够小、足够轻以便轻松集成到用户友好型头显中的技术相结合仍是一项挑战。通过使用包含高帧率microLED阵列和快速单像素探测器(single-pixel detector)的轻量小型硬件，研究人员报告了一种基于单像素追踪和专门开发的一组深度学习(deep learning)照明模式的模型眼(model eye)追踪系统。该模型系统被用于演示眼动追踪，其角度精度(angular accuracy)优于1°，测量率(measurement rate)为2.33 kHz。

研究背景与问题：人眼视觉清晰度并非在视野中均匀分布，最高清晰视觉集中于中心凹，其对应约5.2°的高定义视觉锥。VR/AR头显若希望提升沉浸感或信息显示率，需要高分辨率、高帧率图像，但会给设备渲染能力和图像上传带来困难。由于观察者在任一时刻仅能看清显示图像的一小部分，若能够快速、准确检测眼位，就可仅对中心凹对应区域进行最高定义渲染，即注视点渲染(foveated rendering)，其余区域以较低分辨率显示而不影响体验。眼动追踪还可用于用户交互、协作虚拟环境、教育与训练、安全、营销和临床等。然而，VR/AR头显外形较小，常用眼动追踪方法均存在明显不足：眼电描记法相对无干扰但位置测量精度不足；巩膜搜索线圈精度高但需定制接触镜和外部线圈，难以普及；视频眼动描记法使用相机，是常用技术但需在头显中安装相机；基于MEMS微镜的系统无需相机，但需要敏感机械部件。

研究开展与总体结论：研究人员使用本课题组开发的CMOS控制高速microLED阵列，结合紧凑且商用可得的单像素探测器，对模型眼进行高速追踪。该系统基于单像素成像和追踪原理：用一组光模式照明目标，并记录单像素探测器信号，从而判断虹膜中心的角位置。研究使用两类照明模式基：Hadamard模式和新型深度学习模式。研究目标不是重建眼睛图像，而是以更少模式确定眼位。研究展示了两类方法：一是将眼位分类为中心、上、下、左、右区域；二是以回归模型预测两个角位移及误差。结果表明，深度学习模式在更少模式数量下取得优于Hadamard模式的表现，角度精度优于1°，测量率达2.33 kHz。该系统硬件小、功耗低，适合集成到VR/AR头显，并可经商用AR眼镜镜片完成测量，显示其用于VR/AR头显的潜力。

关键技术方法（不超过250字）：研究人员采用CMOS驱动microLED阵列，像素128×128、30 μm，间距50 μm，总尺寸6×6 mm²，输出450 nm，FPGA控制，模式显示典型330 kfps；光学经VUZIK Blade 2 AR眼镜镜片投射到16 mm直径模型眼，其7 mm黑色区域模拟虹膜/瞳孔，由两个正交DC伺服电机控制?、θ。回光由单像素探测器Onsemi Silicon Photomultiplier C-Series 10035采集。模式基包括压缩480个16×16 Hadamard模式和72个深度学习模式（最终128×128×72）。训练数据来自模型眼在1353个电机位置的测量，?从?40°到40°、θ从?40°到24°，每2°采样，100次测量；134 601个高质量样本，100 000训练、34 601测试，并在跨日数据上微调，测试集来自另一天。非人类临床样本。

研究结果：
3.1 分类（Categorisation）：研究人员将眼位分为上、下、左、右和中心五类，中心为±10°，其他类别由中心方形向极端角位置作直线界定。测试使用999个不同角位置，每个位置非连续测量12–15次。深度学习模式总正确分类比例为0.985，Hadamard模式为0.976。两类结果的错误分类多位于边界附近和极端角落；远离边界超过3°时，错误很少。角落误差可部分由几何因素解释：二维光模式投射到三维球面，高角度处角分辨率较低，且眼睛边缘略处于模式焦平面之外。混淆矩阵显示，错误多发生在共享边界的相邻区域，上下相互误分类很少。

3.2 回归（Regression）：同一测试数据也用于回归，以预测绝对角位置，并以均方根误差(RMSE)评价。深度学习模式全模式平均RMSE为0.753°，Hadamard模式为2.24°。RMSE随角位移偏离中心而增大，中心位置误差也较高，可能因中心位置主要照明模型眼暗部，到达探测器的光较少，信噪比较差。深度学习模式在各角度均优于Hadamard模式，但Hadamard模式在最低角度处并非相对更差，可能因Hadamard模式在整个视场均匀加权信息，而深度学习模式可能偏向中心位置。文中强调，角分辨率是传感子系统的组件级指标，不应与人眼受试者眼动研究中通常定义的注视精度混淆。

3.3 实时追踪（Live Tracking）：研究人员在电机运动过程中进行追踪测量。电机从起点移动到中间点，再移动到终点，三点运动约10秒。由于深度学习模式更准确且所需模式更少，仅用其进行实时追踪。模式连续循环，测量率3.59 kHz，约采集36,000个眼位。预测眼位较接近各点间直接路径。电机最高转速为25°/s，因此在最高测量速度下，两次测量之间眼睛最多移动0.0069°。检测点密度分布不均匀，中心带内点更多。实时追踪的一个示例在测量开始阶段存在噪声问题，可能与中心位置光弱有关；研究人员指出可通过滤波剔除不合理的位置大变化。单帧测量时间为0.279 ms，而在所用PC硬件上完成一次回归或分类处理需0.430 ms；若改进处理，追踪率可降至2.33 kHz以匹配处理速度，这仍足以测量高达700°/s的快速眼动。该工作未包含端到端延迟测量，但报告推理时间超过采集时间，提示计算处理可能是总体延迟的重要来源；基于现代FPGA实现时，探测器读出和数据传输相关的通信与数字化延迟预计相对较小，但未单独表征。

讨论部分总结：研究证明，单像素探测技术结合先进microLED阵列和深度学习模式，可通过商用AR光学器件准确确定模型眼位置，既可分类给出眼位区域，也可回归给出预测绝对位置。为本项目开发的深度学习模式优于常用Hadamard模式，尽管使用480个Hadamard模式而深度学习模式仅72个。更多Hadamard模式存在收益递减，因为大部分信息通常归因于空间频率最低的模式；深度学习模式被专门设计为对位置变化敏感，因此更适合该应用，但Hadamard模式对训练深度学习模式集是必要的。与相机眼动追踪相比，单像素追踪在数据流速度等方面具有优势，每次深度学习模式追踪仅需72次测量，而相机可产生数千像素读数。microLED显示技术可扩展为更大阵列，提示未来可能将同一阵列用于图像显示和追踪。该方法对一般眼动追踪应用具有鲁棒性，但尚不清楚同一深度学习模式集是否同等适合所有类型眼睛；未来可比较浅色眼与本文建模的较深色眼。尽管实验条件尽量保持恒定，测量间仍有信号小变化，并通过微调补偿，提示这些模式可在广泛相似情况下工作。若模式不能很好迁移，可使用该技术确定新的深度学习模式基；硬件可容易切换模式集。该方法对microLED阵列像素不均匀性具有鲁棒性，但本文高速高精度追踪是在假设阵列均匀的情况下实现的；所用阵列均匀性高，但仍有亮度变化和小于1%像素不工作。microLED阵列和单像素探测器均外形小、仅重几克，适合集成到VR/AR头显；通过集成商用AR眼镜镜片，研究证明该系统原则上可使用VR/AR头显已有光学器件。

研究结论翻译：本工作展示了使用先进microLED阵列和一组深度学习模式，通过商用AR光学器件，单像素探测技术如何用于准确确定模型眼的位置。这可以是分类形式，给出眼位区域；也可以是回归形式，给出预测绝对位置。为本项目开发的深度学习模式优于此类工作中常用的Hadamard模式，尽管使用了480个Hadamard模式而仅使用72个深度学习模式。关于Hadamard模式数量更多，使用更多模式可能存在收益递减，因为大部分信息通常归因于空间频率最低的模式。深度学习模式被专门确定为对位置变化敏感，因此比Hadamard模式更适合该应用。尽管Hadamard模式对于训练深度学习模式集是必要的。研究人员还表明，该系统追踪速度可达2.33 kHz，如果数据处理速度提高，使用该设备可达3.59 kHz。目前工作未包含端到端延迟测量。然而，报告的推理时间0.430 ms超过采集时间0.279 ms，表明计算处理可能是总体延迟的重要贡献。在现代基于FPGA的实现中，与探测器读出和数据传输相关的通信和数字化延迟预计相对较小，尽管本工作未单独表征这些贡献。这类测量总是在精度和测量时间之间权衡，系统可针对潜在应用微调。精度在低个位数度且测量率足够高时，系统能够实现最快眼动的有意义测量。然而，在VR或AR设置中，眼动追踪可能只需要匹配设备帧率。VR头显的典型目标显示帧率是120 fps，意味着以该速率进行眼动追踪测量仅对应总显示时间的3.3%。这里作为眼动追踪系统一部分展示的microLED显示技术可以放大以制造更大阵列，这提示未来可能使用同一阵列进行图像显示和追踪。单像素追踪系统在多个方面优于使用相机的眼动追踪系统，包括数据从设备流出的速度。使用深度学习模式，每次眼动追踪测量仅需72次测量，而使用相机时会产生数千像素的读数。这里展示的方法对眼动追踪的一般应用具有鲁棒性；然而，尚不清楚为本项目开发的同一深度学习模式集是否同样适合每种类型的眼睛。例如，未来研究比较这些模式在浅色眼睛与本文所建模的较深色眼睛中的性能将是有用的。尽管努力保持实验条件恒定，测量之间仍观察到信号小变化，这些变化通过深度学习模式的微调得到补偿，表明这些模式将在广泛相似的情况下工作。如果模式不能很好地转化到不同眼睛，本文描述的技术可用于确定新的深度学习模式基。研究人员使用的硬件可以容易地在模式集之间切换，因此更通用的Hadamard模式和针对此任务专门的深度学习模式都可访问，以及为不同眼型开发的任何未来模式集。未来重要步骤是用真实眼睛研究这项工作。所述方法将适用于真实眼睛；然而，研究人员预测需要开发新的校准技术。该技术还对阵列中不完美像素均匀性具有鲁棒性，这可能是microLED阵列的问题。像素亮度权重可以包括在模型中；然而，这里展示的高速高精度追踪是在假设均匀microLED阵列的情况下实现的。所用阵列确实显示出高度均匀性，但存在一些亮度变化，一小部分（小于1%）像素不工作。microLED阵列和单像素探测器都具有小外形尺寸，仅重几克，意味着它们适合集成到VR或AR头显中。通过将商用AR眼镜的镜片集成到此处所示光学系统中，研究人员证明这样的系统原则上可用于VR或AR头显中已有的光学器件。速度、精度和集成适用性的结合使该技术成为适应VR或AR型头显中真实眼追踪的有吸引力的解决方案。