基于双输入神经网络的人眼屈光不正个性化图像预补偿方法研究

《Journal of Imaging》：Dual-Input Neural Networks for Personalized Image Precompensation

　　

： 针对人眼屈光不正矫正的图像预补偿技术旨在对显示图像进行变换，使得经观察者眼部光学系统模糊后投射到视网膜上的图像与原始图像高度匹配。由于最优预补偿方案随不同屈光误差而变化，因此将特定眼睛引入的屈光畸变纳入考量称为个性化。现有个性化预补偿方法依赖带内置约束的反卷积或后续色调映射，这要么产生伪影，要么导致对比度损失。本文提出一种方法，将面向非盲图像去模糊开发的现代双输入神经网络适配至个性化图像预补偿问题。双输入设计的优势在于能够独立地向神经网络模型馈送待处理图像与观察者眼睛的个性化特征函数。基于所提技术，研究人员开发了三种神经网络模型——USRNet-PC、DWDN-PC和KerUnc-PC，其适配过程更体现为统一方法而非对各架构的单独改造。随后，研究人员基于客观质量指标、计算性能及模拟人眼实验的结果，将这些模型与其他现代个性化预补偿方法进行了全面比较。研究表明，USRNet-PC在GPU上提供了最佳主观感知质量和最短处理时间，而DWDN-PC在x86和ARM CPU上展现出最高计算效率。由此，研究人员提出了一种解决预补偿问题的全新神经网络方法，其在质量上优于已知方法。

论文解读

一、研究背景与问题

视觉障碍如近视、远视和散光极为普遍，全球约22.9%的人口受近视影响。传统矫正方式如框架眼镜在虚拟现实头戴设备中使用受限，接触镜虽无此缺点但佩戴率较低。为此，研究者探索了图像预补偿技术：通过对显示图像进行特殊变换，使其经患者屈光异常的眼睛模糊后在视网膜上形成接近原始目标的像。然而，最优预补偿因个体屈光误差而异，这一过程被称为个性化。

现有个性化预补偿方法面临两大瓶颈：一是基于反卷积加色调映射的方法会产生明显伪影或对比度损失；二是基于数值优化的方法计算耗时严重，难以满足实时应用需求。深度学习虽被寄予厚望，但已有神经网络方法均需针对固定点扩散函数重新训练，无法在推理阶段实现个性化。此外，学界缺乏对不同预补偿方法的系统性基准测试，尤其在统一数据集、多维度指标和人眼感知验证方面存在空白。

二、研究目标与创新

本研究首次提出利用双输入神经网络解决个性化图像预补偿问题。双输入设计允许网络同时接收待处理图像和观察者眼睛的点扩散函数作为独立输入，从而在推理阶段实现个性化。研究人员通过统一适配策略，将三种代表性非盲去模糊神经网络——USRNet、DWDN和KerUnc——改造为预补偿专用版本（分别记为USRNet-PC、DWDN-PC和KerUnc-PC），并与三种经典优化方法（Montalto法、Ji法和Güzel法）进行了系统对比。

三、关键技术方法

1. 1.
   数据准备：训练集来自ImageNet-21k随机选取的1000张图像，经中心裁剪缩放至512×512像素；点扩散函数取自SCA-2023数据集中的384个样本（另384个留作测试）。测试集包含SCA-2023全部735张图像（涵盖肖像、自然、动物、城市、文本、图标六类）与384个测试点扩散函数，共形成282,240个图像/点扩散函数组合对。
2. 2.
   网络适配策略：在所有选定网络的末端添加Sigmoid限幅层，将输出值强制约束至[0,1]区间；固定网络中与预补偿任务无关的可调参数（如尺度参数设为1、噪声水平参数设为0）。
3. 3.
   损失函数设计：经初步分析发现单一指标（CORR、MS-SSIM、NRMSE）各有缺陷，最终采用加权组合损失函数COMB=α·(1?MS-SSIM)+β·NRMSE，平衡了结构保持、色彩保真与伪影抑制。
4. 4.
   训练与评估：使用Adam优化器，批量大小为2，初始学习率1×10??，在两张NVIDIA GeForce RTX 2080 Ti GPU上训练。早停准则为连续两个epoch验证损失不下降。分别在NVIDIA GPU、AMD x86 CPU和ARM嵌入式处理器上测量运行时间。

四、研究结果

4.1 定量评估

在282,240个测试组合对上，采用MS-SSIM、SSIM、STRESS、NRMSE、CORR、FSIM和LPIPS七种指标评价各方法生成的模拟视网膜图像质量。结果显示：Ji法在所有指标上表现最差甚至不如不做预补偿；其余五种方法（Montalto、Güzel、USRNet-PC、DWDN-PC、KerUnc-PC）指标接近，不同方法在不同指标上互有领先，但均显著优于无预补偿情况。

4.2 计算性能

在GPU平台上，USRNet-PC推理速度最快，比Güzel法快4.5倍以上；在x86和ARM CPU平台上，DWDN-PC表现最优，比Güzel法快7倍以上。经典优化方法（Montalto、Güzel）在所有平台上耗时均显著高于神经网络方法。

4.3 人眼感知实验

分三阶段进行2AFC协议的主观偏好测试：

• •
  第一阶段（19名参与者，460对比较）：比较三种经典方法，Güzel法获最多偏好。
• •
  第二阶段（27名参与者，673对比较）：比较三种神经网络方法，USRNet-PC获最多偏好。
• •
  第三阶段（80名参与者，1990对比较）：直接对比Güzel法与USRNet-PC。混合效应逻辑回归分析表明，USRNet-PC被显著偏好（选择概率62.5%）。进一步分析发现，图像类别是关键调节因素：对于图标和文本类图像，USRNet-PC优势尤为明显（偏好概率60.8%）；对于自然场景等真实物体图像，优势较弱但仍高于随机水平（52.7%）。点扩散函数参数（球镜、柱镜、轴向）对偏好无显著影响。个体间差异显著，反映感知策略的多样性。

五、讨论与结论

讨论指出：定量指标未能完全捕捉人眼感知差异，不同方法在指标上相近但在主观实验中呈现显著差异，凸显了人眼研究作为预补偿方法评估必要环节的重要性。研究局限性包括：参与者均为视力正常者且评估的是模拟视网膜图像而非真实患者体验；训练数据集规模有限，模型对未见点扩散函数的泛化能力尚待验证。

研究结论：本研究首次提出将双输入神经网络用于个性化图像预补偿，通过统一适配策略成功改造三种非盲去模糊架构。系统基准测试结合人眼实验证明，USRNet-PC在感知质量上超越现有最优方法，且在GPU上推理速度较Güzel法提升4.5倍以上，DWDN-PC在低功耗CPU上提升7倍以上，展示了神经网络方法在该领域的巨大潜力。