中央凹化光场复眼成像仪(Foveated Light-Field Compound Imager)

《SCIENCE ADVANCES》:Foveated light-field compound imager

【字体: 时间:2026年06月11日 来源:SCIENCE ADVANCES 12.5

编辑推荐:

  人工视觉系统在模仿并拓展生物眼睛能力方面,对生物医学成像、诊断和转化研究具有变革潜力。然而,现有技术常在空间分辨率、视场(FOV)和深度感知之间进行内在权衡,尤其在紧凑且具生物相关性的设置中。本研究提出FOLIC(中央凹化光场复眼成像系统,Foveated L

  
人工视觉系统在模仿并拓展生物眼睛能力方面,对生物医学成像、诊断和转化研究具有变革潜力。然而,现有技术常在空间分辨率、视场(FOV)和深度感知之间进行内在权衡,尤其在紧凑且具生物相关性的设置中。本研究提出FOLIC(中央凹化光场复眼成像系统,Foveated Light-Field Compound Imager),一种将复眼启发的广角覆盖与 Chamber 眼启发的空间敏锐度集成于统一多孔径凹面架构中的系统。FOLIC通过单次采集自然生成外周区、过渡区和中央凹区,实现从宽场全局背景到单细胞横向分辨率的、无缝的、深度扩展的多尺度可视化。研究人员在多种荧光和非荧光样本(包括细胞模型、组织切片及小型生物)上验证了FOLIC,展示了其在生物医学研究及相关转化应用中的通用性与可扩展性。研究人员预期FOLIC能为未来人工视觉系统提供受生物学启发的设计蓝图。
论文解读:中央凹化光场复眼成像仪(FOLIC)
一、研究背景与意义
生物视觉系统进化出了复眼(节肢动物)与单镜腔室眼(脊椎动物)两大类主流架构。复眼由大量小眼(ommatidia)呈凸面排布,擅长全景视觉与运动感知;腔室眼则通过单一光轴将像投影至凹面视网膜,实现高空间分辨率与深度感知。人工视觉系统长期试图模仿这两类优势:仿复眼装置强调超宽视场(FOV)、扩展景深与快速角采样,适用于机器人导航与广域监测;仿腔室眼系统引入中央凹视觉(foveated vision)、伪装突破与增强空间采样,服务于高精度分析与远距离识别。然而,既有仿生设计常继承其生物原型的短板:仿复眼受限于低数值孔径(NA)与分辨率,仿腔室眼通常需物理旋转或复杂组件以扩展角覆盖。近期混合成像系统尝试融合互补光学特征,但多依赖扫描棱镜对、鱼眼小球透镜或液体可调谐光学,硬件复杂、体积大,且主要面向宏观成像。能在紧凑平台上同时实现宽场大视场与单细胞级高分辨三维(3D)体成像的仿生平台仍待探索。
在此背景下,研究人员开发了FOLIC(Foveated Light-Field Compound Imager,中央凹化光场复眼成像系统),相关成果发表于《SCIENCE ADVANCES》。FOLIC将多孔径凹面架构、复眼的小眼模块化排布以及脊椎动物凹面腔室眼的高敏锐度轴上聚焦特性整合一体,通过单次光场采集自然形成外周、过渡(blend)与中央凹功能分区,兼顾宽场上下文、可扩展深度感知与高分辨3D体重建,在细胞与组织尺度验证了其性能。
二、主要关键技术方法概述
研究人员采用离线设计与增材制造结合的工作流:1)光学设计:中心与边缘微透镜采用定制对数轴锥(logarithmic axicon)轮廓,以产生准无衍射扩展焦深(EDOF),补偿凹面波前对接平面传感器的离焦问题;凹面阵列以六边形排布(100%填充因子),外围透镜以约7.057°倾斜使各光轴交汇于互成焦区(交半径R=3 mm),中心与边缘透镜焦距分别设计为1500 μm与1750 μm以补偿加工偏差。2)器件制备:对数微透镜阵列通过双光子聚合3D打印(Nanoscribe Photonic Professional GT2)于熔石英基底,光刻胶为IP-Q,后处理浸SU-8并异丙醇漂洗,表面形貌与强度分布用共焦显微镜及635 nm平面波标定。3)系统集成:拆除非红外滤光的OV5647传感器,将微透镜阵列、0°发射滤片(Chroma 89402m)与限孔(600 μm)装入3D打印(黑色PLA)外壳,限孔抑制图像串扰,整体尺寸约2.78 cm×3.72 cm×0.6 cm,可进一步裁剪至传感器侧向占地。4)成像与重建:采用光场射线光学框架,通过中心透镜点扩散函数(PSF)为基准,计算边缘透镜随深度的平移曲线并进行层间插值,完成合成重聚焦;处理流水线含背景扣除、孔径掩膜分割、深度相关平移、阴影图平滑、中心透镜特征图去伪、深度相关放大校正五步。样本涵盖荧光微球模型、水凝胶包埋活HeLa细胞、小鼠肾冰冻切片(WGA-Alexa Fluor 488)及膜翅目蚂蚁明场标本,对照为同几何的自定义宽场显微镜(4×/0.13 NA物镜)。
三、研究结果
FOLIC概念与表征(FOLIC concept and characterization)
研究人员构建了多孔径凹面眼架构,相比传统凸面或平面配置,凹面几何在近距离降低轴外像差,提升像素利用率与空-角分辨。六边形小眼排布促进径向对称与光子效率,所有透镜光轴汇聚于互成焦区,在中央形成角分辨高敏锐度中央凹区,外围自然过渡为混合与外周区。对数轴锥面形与理论吻合,将高NA(~0.105,直径370 μm,f~1.75 mm)微透镜的焦段延展,使平面传感器上所有元图像基本齐焦,高敏锐轴形成像范围达~1.6 mm,较球面微透镜提升六倍以上。系统横向分辨力4–11 μm(USAF 1951靶实测最小可辨4.38 μm),轴向分辨力由重建PSF的半高全宽(FWHM)评估为60–180 μm,随成像距离减小而提高,有效轴向探测~2 mm。视场随物距线性缩放,外周区直径可达~2 mm,过渡区~1 mm,中央凹区~600 μm,自动对焦深度估计误差<5%。
FOLIC的图像形成与重建(Image formation and reconstruction of FOLIC)
研究人员对元图像进行端到端处理(孔径分割、深度相关平移、强度阴影校正、特征图伪影抑制、深度相关放大),重建视场天然分三区:外周区由单/少数透镜观测,提供宽域2D背景,角多样性弱,无体检索;过渡区具小眼间重叠,中等角视差支撑基础3D重建;中央凹区由全部小眼密集汇聚,高角采样实现高分辨体重建,深度精度与对比度增强。三区统一于单次采集,理论预测与实验重建视场一致,平移估计(1.625 mm)匹配样品台移动(1.7 mm)。
具有扩展景深与单细胞分辨的体显微(Volumetric microscopy with extended depth and single-cell resolution)
研究人员用15 μm荧光微球3D分布模型验证:FOLIC元图像同时编码空间与角信息,一次光场捕获即可渲染外周、过渡与中央凹区。外周区直径~1.27 mm,过渡区体重建域0.89 mm×0.89 mm×0.6 mm,中央凹区~0.61 mm×0.61 mm×0.6 mm,横向与轴向分辨分别达~13.84 μm与119 μm,匹配表征的EDOF与宽场扫描对照。在水凝胶(2 mm厚藻酸盐)包埋活HeLa细胞模型中,对数轴锥微透镜的扩展景深克服常规宽场显微镜有限景深(典型4×/0.13 NA物镜~40 μm),以单帧~100 ms体采集时间检测到跨越~1.6 mm(约40倍增强)的3D细胞分布,细胞径12–17 μm,中央凹区3D重建细于过渡区,外周区同步给到宽2D上下文,与宽场轴向堆叠(1250层,步长2 μm)趋势一致。
组织样本与小型生物的宽场及3D中央凹成像(Wide-field and 3D foveated imaging of tissue samples and small organisms)
研究人员对15 μm厚小鼠肾冰冻切片(WGA-Alexa Fluor 488标记糖蛋白丰富区如远曲小管)进行FOLIC采集,毫米级FOV同时给出宽场背景与高分辨中央凹可视化,肾细胞形态与肾小球结构与常规宽场一致,空间细节优于10 μm。在非荧光场景,用光纤白光或手机闪光透过纸散射照明膜翅目蚂蚁标本,RGB传感器记录全色元图像,体重建在~170 μm深内合焦关键解剖特征(眼、上颚),外周FOV达~1.6 mm;简化照明下仍可分辨~42 μm厚的蚁肢节跨焦面结构并给出重建体,验证了FOLIC对荧光/非荧光生物样本及环境照明的稳健适应。
四、讨论与结论(总结翻译)
当前人工视觉系统在紧凑且具生物相关性的场景中,仍面临空间分辨率、视场与深度感知的内在权衡,制约了同时捕捉广域背景与高细度体信息的集成成像器发展。本研究提出的紧凑生物启发中央凹化光场复眼成像系统(FOLIC)将全景2D视觉与目标高分辨3D体重建结合,在多孔径凹面设计中融合复眼式角覆盖与腔室式空间敏锐度。单次采集自然形成外周、过渡与中央凹区,实现跨大深度的无缝多尺度成像至单细胞分辨,并在实验室与日常光照下于多种荧光/非荧光生物靶标中验证。由于以正交视图几何为主,系统轴向分辨略降;虽适用于深度复杂度有限或轴向形态非首要目标的样本,但可通过波光学建模或深度学习驱动体重建进一步提升。FOLIC框架本征可扩展,可与超构光学(metaoptics)、柔性光电子、传感内计算、新型相机架构、光谱复用、微型化模态及先进计算框架结合;其核心原理亦可推广至多类生物启发人工视觉系统。综上,FOLIC为生物医学研究及选定转化应用(组织绘图、细胞谱分析、现场可部署诊断)提供了一个多功能可扩展平台,同时为未来人工视觉系统提供了受生物学启发的设计蓝图。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号