《Nature Communications》:Retinocortical in-sensor neuromorphic vision platform for NIR-augmented artificial vision
编辑推荐:
为提升智能成像在弱光及多光谱环境下的性能,研究人员研发了一种基于上转换纳米颗粒与进化型突触晶体管的视网膜皮层双模视觉平台。该平台集成了进化型视网膜光学突触阵列,实现了感内预处理与存内分类的双重功能,显著提高了弱光条件下行人检测的准确率,并为集成化近红外敏感神经拟态视觉系统提供了可扩展的解决方案。
在弱光、夜间或复杂多光谱环境中实现可靠、高效的智能视觉感知,是当前人工智能与计算机视觉领域面临的重大挑战之一。传统的视觉传感与计算分离的架构,需要将海量的原始传感数据传输到后端处理器,这导致了巨大的功耗和延迟,难以满足实时、低功耗的边缘智能应用需求。与此同时,生物视觉系统,尤其是人眼视网膜与大脑视觉皮层的高效协同机制,为新型视觉计算范式提供了灵感。其中,感内神经拟态视觉(In-sensor neuromorphic vision)技术旨在将部分感知与信息处理功能直接在传感器端完成,模仿视网膜的预处理能力,从而减少数据吞吐和能耗。然而,现有系统往往在近红外(Near-infrared, NIR)波段灵敏度不足,限制了其在安防监控、自动驾驶、医疗成像等关键弱光场景的应用。为了突破这些瓶颈,一项发表于《Nature Communications》的研究,提出了一个创新的解决方案。
研究人员融合了材料科学、光子学与神经形态工程,开发了一个名为“视网膜皮层式感内神经拟态视觉平台”(Retinocortical in-sensor neuromorphic vision platform)的系统。该平台的核心目标是实现近红外增强的人工视觉,使其在低光照和多光谱环境下依然保持高水平的感知与分类智能。研究团队并非仅仅改进单个器件,而是从材料、器件到系统架构进行了多层次创新,构建了一个功能完整、性能显著提升的双模视觉处理平台。
为开展这项研究,作者主要运用了以下几项关键技术:首先,他们设计并制备了基于上转换纳米颗粒(UCNP)的进化型突触晶体管(Evolved-synaptic transistor, Evo-SynT)作为核心器件。其次,他们将此器件集成,构建了12×12规模的进化型视网膜光学突触(Evolved-retina optical synapse, EROS)阵列。最后,他们利用该阵列平台,在808 nm和940 nm两种近红外光照射下,系统评估了其突触特性(如成对脉冲促进指数)和阵列级的双模功能(视网膜式感内预处理与皮层式存内分类),并在模拟的低光行人检测任务中验证了其性能提升。
Evo-SynT器件的关键突触特性。研究首先在器件层面验证了其仿生计算能力。基于UCNP的Evo-SynT器件成功模拟了生物突触的关键特征。在特定的光脉冲刺激间隔下,器件表现出显著的短期可塑性。具体而言,在808 nm光照下,间隔0.5 s的成对脉冲促进指数超过183.93%;在940 nm光照下,同一间隔的指数也达到了136.36%。此外,该器件实现了精细的模拟权重调制,其电导状态可在多达512个等级中连续调节,这为高精度的类脑学习与记忆奠定了基础。
EROS阵列的双模操作与性能。将Evo-SynT器件集成为12×12的EROS阵列后,平台展现出两种核心操作模式。第一种是“视网膜式”感内预处理模式,该模式模仿视网膜对原始光信号进行局部、并行的初步处理,提取有效特征并压缩冗余信息。第二种是“皮层式”存内分类模式,该模式在阵列内部直接完成计算,实现了“感算一体”,避免了传感与处理单元间昂贵的数据搬运。在功能验证中,该平台在模拟弱光条件下的行人检测任务上表现优异。相较于基线,其检测准确率从0.7806提升至0.8481(808 nm光照)和0.9071(940 nm光照)。同时,在分类任务中,该平台也分别取得了77.19%和79.40%的准确率,证明了其处理复杂视觉信息的能力。
平台的可扩展性与应用前景。该研究不仅展示了一个功能原型,更论证了其架构的可扩展性。EROS平台作为一个完整的系统解决方案,从材料响应、器件物理到阵列架构,均为构建大规模、集成化的近红外敏感神经拟态视觉系统铺平了道路。其双模设计提供了灵活性,可根据不同应用场景在预处理强度与分类复杂度之间进行权衡。
该研究的结论与讨论部分强调,这项工作成功构建并演示了一个全新的、面向近红外增强人工视觉的视网膜皮层式感内神经拟态平台。通过引入UCNP材料与Evo-SynT器件设计,平台获得了优异的近红外光响应与丰富的突触行为。进而,通过EROS阵列的实现,验证了感内预处理与存内分类双模操作在提升弱光视觉任务性能方面的巨大潜力。与传统的视觉系统相比,该平台在降低功耗、减少延迟、增强弱光及多光谱环境下的鲁棒性方面具有显著优势。其重要意义在于,它为实现下一代高效、智能、适应复杂环境的机器视觉系统提供了一个切实可行的技术路径。这项研究是材料、器件与系统协同创新的典范,标志着神经拟态视觉从概念验证向实用化、集成化迈出了关键一步,有望在未来自动驾驶、智能监控、机器人视觉以及医学影像分析等领域产生深远影响。