《Array》：Gaze-adaptive neural pre-correction for mitigating spatially varying optical aberrations in near-eye displays
编辑推荐：
本文针对近眼显示器(NED)中因紧凑光学设计导致的空间变化波前像差和动态眼球运动引起的视觉模糊问题，提出了一种注视自适应的神经网络预校正框架。研究团队通过建立注视点关联的光学仿真模型，开发了集成模糊先验引导和注意力机制的网络架构，实现了视网膜图像清晰度的显著提升。实验结果表明，该方法在保持高计算效率的同时有效抑制了像差，为头戴式显示设备提供了实用的图像增强解决方案。
在虚拟现实(VR)和增强现实(AR)技术飞速发展的今天，头戴式显示器(HMD)已成为连接数字世界与现实世界的重要桥梁。从医疗模拟训练到沉浸式游戏体验，从工业设计到远程教育，这些设备通过精密的光学系统将实时生成的图像投射到用户眼中，创造出身临其境的视觉体验。然而，追求设备轻量化与便携性的设计理念，却为光学系统带来了严峻挑战——紧凑的结构限制了复杂透镜组的使用，导致图像边缘出现明显的模糊和失真，这种现象在光学领域被称为"波前像差"。
更复杂的是，人类视觉系统本身具有动态特性。当我们的眼球自如转动时，视线方向的改变会引发光学路径的变化，使得像差表现出空间异质性和动态变化性。传统的硬件解决方案，如自由曲面光学元件、折叠光路的薄饼光学或可调透镜等自适应光学技术，虽然能在一定程度上改善像差，但往往伴随着成本增加、结构复杂化和能耗上升等问题。
在此背景下，软件预校正技术应运而生。这类方法通过在图像显示前进行数字处理，反向补偿光学系统引入的失真，相当于为显示器配上了一副"数字眼镜"。早期的方法如维纳滤波等传统反卷积技术，虽然数学原理清晰，但在处理高频信息时容易产生振铃效应，反而会降低图像质量。随着深度学习技术的发展，卷积神经网络(CNN)等架构展现出强大的图像恢复能力，为光学像差校正提供了新的思路。
值得注意的是，人类视觉系统的灵敏度分布并不均匀。视网膜中央的黄斑区具有最高的视觉锐度，而周边区域的分辨率则显著下降。这一生理特性催生了注视点渲染技术，它通过眼动追踪实时确定用户注视中心，优先分配计算资源到高视觉敏感区域，既保证了中心区域的图像质量，又大幅降低了计算负荷。将注视点渲染与像差预校正相结合，有望实现"双赢"的效果——既提升视觉质量，又保持系统效率。
然而，现有的预校正方法大多基于一个理想化假设：用户的视线始终与光学系统主轴对齐。这显然与真实使用场景相去甚远。在实际的VR/AR体验中，用户的眼球会不断转动，导致像差模式随注视方向动态变化。如何准确捕捉这种注视依赖的光学特性，并实现自适应的校正，成为该领域亟待解决的关键科学问题。
针对这一挑战，中国研究团队在《Array》期刊上发表了题为"Gaze-adaptive neural pre-correction for mitigating spatially varying optical aberrations in near-eye displays"的研究论文。该研究创新性地将注视点追踪技术与深度学习相结合，开发了一套完整的注视自适应预校正框架，为近眼显示器的图像质量提升提供了新的技术路径。
研究方法上，团队首先通过Zemax光学设计软件构建了高精度光学仿真模型，模拟光线从显示面板经光学模块到人眼的传播过程。该模型整合了公开的人眼模型和可配置的薄饼透镜组，通过设置坐标断点表面模拟眼球旋转，实现了对不同注视方向下点扩散函数(PSF)的准确模拟。为处理几何畸变和色差，研究还引入了预失真校正和查找表(LUT)色彩预补偿技术。在此基础上，团队设计了一种物理信息引导的神经网络架构，包含三个核心模块：注视感知注意力模块(GAAM)通过嵌入注视坐标生成空间调制特征图；模糊先验引导模块(BPGM)利用PSF数据生成模糊程度图指导特征提取；多尺度特征细化模块则通过编码器-解码器结构进行分层特征融合。网络采用端到端训练方式，通过均方根误差(RMSE)损失函数优化参数，使校正后的图像经光学系统模拟后尽可能接近原始清晰图像。
研究结果部分，仿真实验在Flicker_HR数据集上进行训练，BSDS100数据集用于测试。定量分析显示，经过预校正后，峰值信噪比(PSNR)从27.78dB提升至29.56dB，结构相似性(SSIM)从0.8265提高至0.8861，学习感知图像块相似度(LPIPS)从0.2445降低至0.1372，表明算法在客观指标和主观感知上均取得显著改善。视觉结果对比显示，在不同注视象限内，预校正后的图像细节清晰度明显提升，边缘锐化效果显著。
消融实验进一步验证了各模块的贡献。单独使用GAAM模块时，PSNR达到29.79dB；单独使用BPGM模块时，PSNR为29.24dB；而完整模型取得了最佳性能(PSNR:29.87dB)，证明注视感知与模糊先验的协同作用。实验验证环节，团队采用商用VR光学系统和W200高分辨率仿生相机搭建测试平台，在15个注视位置采集空间变化PSF(SVPSF)。实际拍摄结果显示，经过预校正的视网膜图像模糊程度大幅降低，细节还原度接近理想图像，证实了算法在真实光学环境中的有效性。
研究结论与讨论部分指出，该注视自适应预校正框架成功解决了近眼显示器中空间变化光学像差的补偿问题。通过将物理光学模型与深度学习相结合，实现了对动态眼球运动引起的像差变化的准确建模和有效校正。在计算效率方面，基于NVIDIA RTX 4090GPU的测试显示，网络对280×280像素区域的处理延时约为11毫秒，经过优化后可进一步降至1毫秒级，满足实时交互应用的需求。这项研究的创新点在于：建立了注视点关联的光学仿真框架，为空间变化像差研究提供了新工具；设计了 gaze-aware 注意力机制，实现了注视位置自适应的特征调制；开发了端到端的可训练架构，避免了传统反卷积的振铃效应。这些成果为头戴显示设备的图像质量优化提供了重要技术支撑，对推动虚拟现实、增强现实技术在医疗、教育、工业等领域的深度应用具有积极意义。
