编辑推荐:
可穿戴眼动追踪技术长期受限于笨重光学元件、高功耗及外部计算依赖。本研究通过硬件-软件协同设计,将超薄共形电子皮肤传感器与RRAM交叉阵列结合,构建神经形态处理流,实现实时视线解码。共形电子皮肤稳定采集垂直与水平眼动信号,经注意力引导脉冲特征提取,由轻量化脉冲神经网络分类,在噪声感知训练与量化权重部署下,系统实现低延迟、高能效推理。该框架支持本地边缘计算,保护用户隐私,消除云端依赖,为沉浸式计算、辅助接口与移动健康监测提供新方案。
眼睛是心灵的窗户,也是人机交互的重要通道。传统的眼动追踪技术,比如虚拟现实(VR)或增强现实(AR)头显中常用的光学追踪,需要依靠摄像头捕捉瞳孔-角膜反射。这套方案虽然成熟,但存在不少“烦恼”:在强烈阳光下容易“失明”,遇到灰尘、烟雾等视觉干扰物性能会大打折扣;更让人头疼的是,那些绑在头上的光学元件往往笨重、耗电,戴久了不舒服,还离不开外部电脑处理数据,既延迟了响应,又引发了隐私担忧。有没有一种方法,能让我们摆脱笨重的眼镜,像皮肤一样舒适、隐形地追踪视线,还能快速、私密地处理信息呢?
一项发表在《ACS Nano》上的研究给出了令人兴奋的答案。研究人员独辟蹊径,不再“看”眼睛,而是去“听”眼睛发出的电信号——这就是眼电图(Electrooculography, EOG)。他们开发了一套名为“事件驱动的神经形态视线解码”的系统,核心是两件“法宝”:一是薄如蝉翼、能像纹身一样贴合皮肤的电子皮肤(e-skin)传感器,二是模拟大脑运作、能效极高的神经形态计算芯片。这套系统成功实现了无需眼镜、低延迟、高能效且保护隐私的实时视线解码,为下一代可穿戴交互界面、辅助技术和健康监测打开了新的大门。
为了开展这项研究,作者团队主要运用了以下几项关键技术:首先,他们利用光刻和软光刻工艺,制备了具有仿生哑铃状非晶格结构的超薄、柔性、共形金基电子皮肤电极,用于稳定采集水平和垂直眼动信号。其次,他们设计了一种注意力增强的双向长短期记忆网络,从预处理后的EOG信号中提取关键的时域特征,并将其转化为脉冲序列。第三,他们构建了一个轻量化的脉冲神经网络,采用泄露积分激发神经元模型进行分类。最后,他们基于六方氮化硼/二硒化钨异质结构,制造了电阻式随机存取存储器交叉阵列,将训练好的SNN权重映射到该神经形态硬件上,以模拟存内计算,并进行了噪声感知训练和权重量化来提升硬件部署的鲁棒性。研究数据来自20名健康成人受试者,他们在微软HoloLens 2头显上完成了视线追踪任务。
研究结果
硬件-软件协同设计的EOG接口概述
研究人员提出了一种集成超薄共形电子皮肤传感器与基于RRAM的神经形态处理器的协同设计接口。如图1所示,该系统通过贴合眼眶区域的电子皮肤稳定采集信号,利用注意力机制提取关键特征并编码为脉冲,最终由部署在RRAM阵列上的轻量化SNN进行实时分类,实现了从生物信号采集到解码的完整本地化处理。
用于共形EOG采集的超薄电子皮肤
为了解决传统光学系统笨重、易受环境光干扰的问题,研究团队开发了超薄、柔性的电子皮肤电极。如图2所示,该电极采用哑铃状非晶格网格结构,能紧密贴合眼眶周围皮肤,实现稳定、舒适的长时程信号记录。实验表明,该电子皮肤能可靠地分辨出不同方向的视线移动,信号质量高,且不会引起皮肤刺激。
从EOG信号中提取注意力引导的特征
原始的EOG信号常包含运动伪影和基线漂移。研究人员采用了一种注意力增强的双向LSTM网络,如图3所示,该网络能自适应地加权信号中信息量高的时段,抑制噪声。基于此提取的关键特征被转化为脉冲编码。这种“关键脉冲”编码策略显著提升了后续分类的效率和准确率。
轻量化SNN实现:基于特征的编码与评估
为了满足可穿戴设备对低延迟和高能效的需求,研究实现了一个基于泄露积分激发神经元模型的单层SNN。如图3所示,结合“关键脉冲”编码策略,该轻量化网络在四区和八区视线解码任务中分别达到了98.2%和95.1%的分类准确率,性能优于或媲美多种传统机器学习模型,同时计算开销大幅降低。
面向AI驱动EOG接口的神经形态硬件感知模拟
神经形态计算以其存内计算、事件驱动的特性,非常适合边缘部署。本研究将训练好的SNN映射到基于六方氮化硼/二硒化钨异质结的RRAM交叉阵列上(图4a-d)。该RRAM器件表现出高开关比、良好的耐久性和稳定性。通过噪声感知训练和权重量化(图4e-h),系统有效缓解了硬件非理想特性带来的精度损失,在模拟硬件噪声下仍保持了约90.58%的推理准确率,验证了神经形态硬件实现的可行性。
基于电子皮肤与预训练SNN的实时视线追踪
最终,研究团队集成了共形电子皮肤、信号处理和预训练SNN,构建了一个实时视线解码演示系统。如图4k和附表所示,系统在在线推理阶段的端到端延迟仅约31毫秒,远低于人类视觉反应时间。在实时拼写任务中,该系统取得了平均91.7%的准确率,与使用传统湿电极的性能相当,同时具备了无凝胶、可长期舒适佩戴、运动耐受性强等显著优势。
研究结论与意义
本研究成功构建了一个融合共形电子皮肤传感、注意力引导特征提取与神经形态处理的一体化框架,实现了高性能、低功耗、保护隐私的无镜视线解码。其核心贡献在于,不仅从算法上优化了脉冲神经网络对眼电信号的处理流程,更在硬件层面实验性地验证了将SNN的核心计算(突触向量-矩阵乘法)映射到二维材料RRAM交叉阵列的可行性,为克服冯·诺依曼架构瓶颈、实现真正的边缘神经形态计算提供了具体范例。
这项工作意义深远。它为下一代可穿戴人机交互系统树立了新范本:通过将柔性生物电子接口与神经形态计算芯片协同设计,能够在本地实现高效、实时的生理信号解析,无需依赖云端,从而在降低延迟、保护用户隐私的同时,大幅提升设备的舒适度和续航能力。其应用前景广阔,不仅可用于打造更沉浸、更直觉的XR交互体验,还能在辅助沟通(为运动障碍人士提供控制通道)、临床监测(如神经系统疾病评估)、移动健康乃至户外、军事等极端环境下的可靠交互中发挥重要作用,标志着我们向实用化、人性化的生物集成智能系统迈出了关键一步。