视网膜假体视觉的智能视觉优先级划分：基于上下文感知物体排序与深度感知phosphene生成

《Biomimetics》：Intelligent Visual Prioritization for Retinal Prostheses via Context-Aware Object Ranking and Depth-Aware Phosphene Generation

　　

来自高分辨率相机的图像被映射到视网膜上稀疏、低空间分辨率和低强度的图样，这限制了视网膜假体视觉中的视觉感知。当整个场景被转换为phosphene时，可能保留不必要的背景信息并造成视觉杂乱，使假体视觉用户难以理解场景。为解决该问题，研究人员提出一种上下文、深度与用户偏好感知的方法，用于在phosphene图像生成中选择感兴趣物体。所提方法不对所有物体等同显示，而是学习按照其与假体视觉的相关性对物体排序。研究人员对COCO图像的一个子集进行人工标注，依据环境类型、场景类型、用户模式、安全性、导航相关性、任务重要性与距离选择最显著物体。所有候选物体由全场景视觉特征、物体裁剪特征、手工优先级特征、上下文嵌入与单目深度特征描述。为预测物体级重要性分数并识别未知场景中的Top-1与Top-4重要物体，研究人员训练了结合双ResNet-18骨干进行场景与物体特征提取及基于嵌入的上下文编码的混合深度学习模型。随后利用所选物体掩码构建优先级图与phosphene图像，并进行深度加权。还生成两类phosphene表示：基于Canny边缘的与直接全图像。该框架用于抑制无关背景区域并增强重要且更近的物体，从而获得简化且信息丰富的假体视觉表示。实验评估包括Top-1准确率、Top-3准确率、平均倒数排名（MRR）与视觉比较，结果表明框架有效，Top-1准确率90.12%、Top-3准确率97.45%、MRR 0.9368。所提Canny优先级phosphene表示在正常人参与者中平均识别准确率约86%。该方法为视网膜假体视觉带宽严重受限下的场景信息选择与可视化提供用户自适应策略。

研究背景方面，失明是全球性重大残疾，视网膜假体（retinal prosthesis）面向视网膜内层回路尚存的疾病如视网膜色素变性（retinopathy pigmentosa）与年龄相关性黄斑变性（age-related macular degeneration）。已临床部署装置如Argus II使用眼镜外置相机驱动植入微电极阵列，但可用电极数通常只有数十到数百，且存在电极掉线（electrode dropout）问题，实际空间分辨率远低于标称值。将整幅高分辨率场景直接转为低分辨率phosphene会造成背景杂乱与场景不可读。传统方法多依赖边缘检测或任务专用处理，未区分物体级功能重要性；因此研究人员需要将场景简化问题转化为上下文、深度与用户偏好驱动的重要物体排序问题。该项研究发表于《Biomimetics》。

关键技术方法上，研究人员从COCO数据集中选取300幅图像由作者团队单一标注者按安全、避障、导航、任务、社交、场景上下文与感知距离标注最重要物体；用Segment Anything Model（SAM，实例分割模型）生成物体掩码，用MiDaS做单目深度估计（monocular depth estimation）得到相对深度，用双ResNet-18分别提取全场景与物体裁剪视觉特征，用手工优先级特征编码安全、距离、用户模式、场景上下文、位置与物体大小，用嵌入层建模环境类型、场景类型与用户模式，并以加权二元交叉熵训练混合排序网络，推理时按分数取Top-K并生成深度感知优先级图与四类phosphene表示，最后由正常视力参与者做模拟假体视觉（SPV，simulated prosthetic vision）人因实验。

1. 2.
   Proposed Methodology
   研究人员给出问题形式化：每幅图像含若干候选物体，每物体有语义类、边界框与二值掩码，目标是预测重要性分数并排序。整体框架含数据集准备、人工标注、物体级数据集构建、手工特征、深度估计、上下文感知深度感知物体排序与phosphene可视化。人工标注协议由单一标注者选每图最重要物体并记录环境、场景、用户模式、原因、距离与置信度。物体级数据集中被选项标正、其余标负。手工优先级特征含安全分、距离分、用户模式相关分、场景上下文相关分、位置分与物体大小分。深度估计用MiDaS得归一化深度图，物体级深度特征含均值、中位数、最大值与离散深度分。上下文建模范畴变量经嵌入层学习，如道路场景车辆更重要、室内行走椅子更重要。深度感知模型融合全场景特征、物体裁剪特征、优先级深度特征与上下文特征，经分类头与sigmoid输出重要性概率，训练用按图像ID划分的加权二元交叉熵以防泄露。
2. 3.
   Experimental Setup
   研究人员用COCO做底库并人工标注300图，SAM出掩码、MiDaS出深度，按图像身份分训练、验证与测试集。对比四类phosphene生成：直接phosphene、Canny phosphene、优先级phosphene与Canny优先级phosphene。刺激生成中优先级图由Top-K物体掩码乘排序权重与深度增强因子构成，Canny优先级仅保留重要物体区内边缘。phosphene仿真将输入图分低分辨率网格，每格局部亮度映射为高斯状phosphene斑，并用二值掉线掩码模拟电极掉线。
3. 4.
   Experimental Results and Evaluation
   实现采用PyTorch与双预训练ResNet-18，融合1152维特征后经全连接分类。重要物体排序结果显示完整模型Top-1准确率90.12%、Top-3准确率97.45%、MRR 0.9368；消融研究表明仅视觉特征不足，加入手工优先级、场景上下文与单目深度后依次提升，且上下文与深度互补。人因SPV实验中Canny优先级phosphene在20幅代表图、15名正常视力参与者下总体识别率约86%，Person、Zebra、Washroom等清晰轮廓物体识别率超88%，Clock因小而细节少表现最差。
4. 5.
   Discussion
   研究人员指出视网膜假体受限于空间分辨率、动态范围、视野、phosphene失真与掉线效应；过去方法多保留过多场景，而人类场景理解依赖少量相关物体与上下文。所提框架以用户偏好、环境、场景、用户模式与单目深度共同学习物体重要性，并用SAM精确掩码与深度引导抑制无关区。局限包括仅300图、测试45图、类别有限、静态图像、相对深度而非绝对深度、未测延迟与光照运动鲁棒性。讨论认为该研究是面向假体视觉的首个联合用户偏好、上下文与深度的可训练排序框架，结果为概念验证而非统计稳健估计。
5. 6.
   Conclusions
   研究人员总结：既往场景简化把物体重要性当作固定且与任务无关，本工作把假体视觉场景简化重构为上下文条件化物体重要性排序问题；据研究所知，这是首个在单一可训练排序模型中联合人工用户偏好标签、环境/场景/用户模式上下文与单目深度的框架。所选物体用于生成深度感知优先级图与Canny优先级图并转为phosphene图像，相较直接转换与全Canny边缘生成可抑制背景杂乱并突出重要且更近物体。该框架为低分辨率与低动态范围视网膜假体视觉提供用户自适应信息选择方案；实际部署需将优先级图与phosphene生成管线压缩并在外置可穿戴处理器内实时推理，再送入电极刺激编码阶段。
6. 7.
   Future Work
   研究人员计划从静态图扩展到视频场景，加入时间一致性、物体跟踪与运动估计；在类植入用户中做真实评估；将深度与上下文感知优先级图直接接入电极驱动刺激管线；在嵌入式硬件基准测试计算成本与推理延迟；在光照变化、运动模糊、遮挡与更多候选物体下测鲁棒性；做k折交叉验证并扩大标注规模与类别多样性；按用户画像个性化训练物体选择标准。