超越像素限制：基于光电忆阻器阵列的人工视觉技术

《Materials Science and Engineering: R: Reports》：Beyond the pixel: Artificial vision based on optoelectronic memristor arrays

　　摘要
先进的光电集成技术结合了传感、存储和计算功能，在下一代视觉硬件中展现了巨大潜力。为了实现原位多功能和高并行性的突破性硬件设计，光电忆阻器的出现为加速视觉硬件的功能发展提供了非常有前景的途径。本文对基本光电忆阻器的特性和集成、其在不同视觉层面的阵列功能以及其在人工视觉系统中的应用路线图提供了新的视角。首先，详细回顾了光电忆阻器的工作原理和调制方式，并进一步探讨了器件物理模型及关键的人工突触特性。其次，介绍了光电忆阻器阵列的物理架构以及用于构建人工视觉系统的神经网络（ANN）计算框架。第三，讨论了集成光电忆阻器阵列在人工视觉系统中的应用，包括从感知和存储到低级预处理和高级计算的功能。最后，讨论了集成光电忆阻器的未来前景和当前面临的挑战，这些挑战是未来研究的关键焦点，需要研究人员的共同努力。

引言
人眼捕获了大脑接收到的大约80%的总信息[1][2][3]，视觉是人类感知世界最重要的方式之一，也是人与世界互动的基础之一。眼睛强大的信息收集和处理能力，加上与大脑的协作，构成了人类与外部世界互动的基础[4][5][6][7][8][9][10][11][12]。其神经机制为神经形态硬件提供了天然原型，并为构建人工视觉系统提供了宝贵的见解[13][14][15][16][17][18][19]。如何有效地构建人工视觉系统是当前神经形态仿真研究的重点之一。传统的视觉设备需要在不同单元之间传输信号以进行感知和图像特征提取[20][21][22][23][24][25][26]，这导致了信息冗余和延迟[27][28][29][30][31][32]。随着现代人工智能技术的发展，需要处理的图像信息量变得越来越复杂[33][34]。传统的人工视觉系统架构面临着计算需求增长与计算能力不足之间的矛盾[35][36][37][38][39][40][41][42]。为了满足人工视觉系统发展的需求，迫切需要一个集成的传感、存储和计算处理系统来应对未来智能、复杂和多场景的挑战[43][44][45][46][47][48][49][50][51][52]。

在传统的冯·诺依曼架构中，模拟信号通常通过传感器收集，然后使用模数转换器转换为数字信号，暂时存储在内存中，再发送到处理单元[53][54][55][56][57][58]。这种串行计算架构导致的传感、计算和存储的分离使得通信效率低下，限制了其进一步发展[59][60][61][62][63][64][65][66]。由于冯·诺依曼架构中感知、处理和存储的分离[67][68][69][70][71][72]，它在功耗和吞吐量方面存在限制。为了克服这些问题，有必要开发将感知、处理和存储集成到统一系统中的非冯·诺依曼架构[73]。忆阻器[74][75][76][77][78][79][80]作为结合传感、存储和计算的基本单元，代表了构建非冯·诺依曼架构的潜在有效核心[81]。1971年，Leon O. Chua假设除了电阻器、电容器和电感器之外，应该还存在另一种表示电荷和磁通量之间关系的组件。通过分析和推导，他证明了忆阻器组件的物理可行性[82]。2008年，Dmitri B. Strukov首次宣布实现了忆阻器器件的实验验证[83]。如今，研究机构和高科技公司正在竞相开发忆阻器。

忆阻器通常由金属-绝缘体-金属三层结构组成，其电阻状态可以通过外部信号调节到不同的状态[84]。尽管其他电子和光电平台也有显著进步，但在面向智能人工视觉时，它们在物理尺度、能效和功能集成方面面临不同的权衡：传统的CMOS图像传感器与数字处理器结合使用会导致重的模数转换器（ADC）开销、传输延迟和冯·诺依曼总线瓶颈；三端突触光晶体管提供了可调节的增益和解耦的写入/读取通道，但其扩展的单元面积和互连路由复杂性限制了高密度单片3D阵列集成[85][86][87][88]；光子集成电路（PICs）在线性操作中提供了无与伦比的太赫兹带宽和亚纳秒速度，但受到衍射限制的面积和缺乏固有非易失性局部保持能力的调制机制的制约[89][90]。然而，传统的电控忆阻器缺乏直接感知光的能力，通常需要引入额外的光探测器，这使得它们难以适应需要高效模拟视觉系统的任务[91][92][93][94][95][96]。通过修改电控忆阻器中的某些材料以赋予光子特性，可以将其转化为适用于人工视觉系统的光子忆阻器器件[97][98]。这些两端子的光电忆阻器在单一物理活性结中集成了宽带光传感、非易失性模拟导电调节和内存矩阵计算。通过在单个单元中同时实现光收集和突触可塑性调制，光电忆阻器实现了亚皮焦耳的编程能量、在光子接收期间进行零延迟的传感器内预处理以及无缝的交叉阵列扩展性，为能源受限的边缘人工视觉、高速生物启发式感知和高密度神经形态视觉加速器提供了独特的硬件优势。

光电忆阻器使用光和电信号作为输入，可以模仿人脑和人眼实现复杂的仿生视觉信息处理[99][100][101][102][103]，直接感知光刺激并将它们传输到传感单元进行处理，从而实现集成传感和计算，大大提高了系统效率。2012年，Ungureanu首次提出了一种使用光子信号调节忆阻器电阻的方法[104]。近年来，由于研究人员的努力，出现了许多具有不同特性的光电忆阻器，包括光耦合和完全光控的光电忆阻器。随着光电忆阻器在各种材料中的实现，已经有可能实现稳定且强大的光电忆阻器集成阵列，从而解决相对复杂的图像感知和计算问题，进一步发展人工视觉系统。

在神经形态视觉硬件中，在两端子（2T）和三端子（3T）架构之间选择存在结构集成密度和操作稳定性之间的关键权衡。在器件缩放中，阵列面积通常以最小光刻特征尺寸??（表示最小可打印线条宽度或半间距）进行标准化。两端子的光电忆阻器具有紧凑的垂直三明治几何结构，允许理论上的每个单元4??2的交叉阵列架构（2??字线间距×2??位线间距）[105]，并且具有很高的单片3D垂直堆叠潜力。然而，因为在2T结构中编程（SET/RESET）和读取操作共享相同的导电路径，被动交叉阵列在并行阵列计算过程中容易受到漏电流和写入干扰的影响[106]。相比之下，三端子突触晶体管/光晶体管将写入端子（栅极或光激发）与读取通道（源极-漏极）物理解耦。这种端子解耦的操作从根本上消除了写入干扰，确保了非破坏性读取，并提供了更好的导电线性和信噪比。尽管如此，额外的端子接触、隔离 margins 和复杂的互连路由不可避免地扩大了单个单元的面积（通常>6–10??2），在超高密度视觉阵列中带来了严格的缩放限制[107][108]。因此，在利用2T光电忆阻器的同时通过晶体管辅助集成（如1T1OEM阵列）来减轻操作干扰，已成为构建稳健、高分辨率人工视觉系统的突出路线图[109]。

本文全面概述了从单器件物理到系统级神经形态视觉应用的光电忆阻器阵列的发展路线图。如图1所示，首先通过光电和全光调制控制方案在器件级别评估光电忆阻器阵列，强调了它们的共位传感、存储和计算能力以及它们对基本生物突触功能（包括EPSC/IPSC、LTP/LTD和STM到LTM转换）的模拟。然后讨论了集成阵列的物理架构（线性、交叉阵列和忆阻器-晶体管阵列）以及神经网络计算框架。最后，概述了它们在人工视觉系统中的实际应用（涵盖低级图像预处理和高级图像处理），以指导下一代神经形态硬件的设计。

**光电忆阻器的技术路线图**
神经形态视觉系统的硬件核心是光电忆阻器，这是一种新兴的非易失性存储元件，它独特地将光感知与原位电阻切换相结合。与传统的光电探测器或仅生成易失性瞬态光电流的通用光电换能器不同，光电忆阻器本质地将光子收集与持久的内部状态动态（例如空位迁移、导电细丝演变）相结合。

**光电忆阻器集成阵列的视觉功能**
现实世界的视觉感知本质上是多维的，需要同时进行二维（2D）空间感知、高吞吐量特征提取和并行认知处理[247]。虽然单个光电忆阻器展示了多功能的突触可塑性和局部光调制切换，但要实现实际的人工视觉，需要将这些离散器件组织成可扩展的、密集连接的阵列。在传统的机器视觉架构中，

**光电忆阻器阵列在人工视觉系统中的应用**
随着新型材料系统和阵列架构的快速发展，集成光电忆阻器阵列已经发展到能够支持越来越复杂的视觉计算任务。如表2所总结的，代表性的光电忆阻器阵列展示了多种架构配置、光响应特性、映射的神经网络框架和能效处理能力。通过简单的光电耦合或全光控制，可以实现基本的图像感知。

**总结与展望**
光电忆阻器因其集成传感和存储能力而越来越受到青睐。本文首先回顾了忆阻器的机制和历史，然后进一步介绍了光电忆阻器，将其分为光电耦合类型和全光类型。其中，光电耦合类型根据不同的导电控制方法分为四种类型：电控-光辅助型、光控-电辅助型、CRedi...

**作者贡献声明**
Hongyi Li：撰写——原始草案、研究、形式分析、概念化；Zhexin Li：撰写——原始草案、研究、资金获取、概念化；Hailong Wang：撰写——原始草案、研究、概念化；Yongchao Yu：研究、概念化；Zheng Lou：撰写——原始草案、研究、资金获取、概念化；Lili Wang：撰写——审稿与编辑、监督、研究、资金获取、概念化。

**利益冲突声明**
作者声明他们没有已知的竞争性财务利益或个人关系，这些都可能影响本文报告的工作。

**致谢**
本工作得到了中国国家自然科学基金（NSFC项目编号62422409、62374159和62604313）、北京自然科学基金（项目编号JQ26029、4264145）、中国国家创新人才博士后计划（BX20250345）以及中国博士后科学基金会（证书编号：2024M763183）的支持。Hongyi Li是中国科学院半导体研究所的博士候选人，2024年获得吉林大学学士学位。他的研究兴趣是光电器件。

Hongyi Li | Zhexin Li | Hailong Wang | Yongchao Yu | Zheng Lou | Lili Wang
中国科学院半导体研究所半导体物理与芯片技术国家重点实验室，北京，100083，中国