《Current Opinion in Solid State and Materials Science》：Beyond photon detection: photodetectors as cognitive pixels in machine vision
编辑推荐：
•光电探测器正从被动传感器向信息处理元件演变。•本综述统一了光电子存储、传感、计算和安全领域。•通过器件、系统和集成需求对材料平台进行了比较。•识别了可扩展性、能耗、延迟和与CMOS兼容性方面的关键限制。•提出了一个CMOS集成的认知像素框架。引言光电探测器长期以来主要被设计
- •
光电探测器正从被动传感器向信息处理元件演变。
- •
本综述统一了光电子存储、传感、计算和安全领域。
- •
通过器件、系统和集成需求对材料平台进行了比较。
- •
识别了可扩展性、能耗、延迟和与CMOS兼容性方面的关键限制。
- •
提出了一个CMOS集成的认知像素框架。
引言
光电探测器长期以来主要被设计为光子-电流转换器，这使得在响应度、探测率、带宽、光谱覆盖范围和像素扩展性方面取得了重大进步。然而，这种定位已无法涵盖边缘机器视觉的核心限制。例如，在无人机、机器人和可穿戴节点等自主平台中，关键约束不仅在于光子转化为电荷的效率，还在于在昂贵数据传输开始之前，在焦平面上生成了多少有用的视觉信息 [1], [2]。
基于帧的CMOS图像传感器清楚地暴露了这一限制。它们以固定速率采集密集的空间帧，将整个像素流传输到存储器中，并在下游处理后才识别出决策相关的内容。由于自然场景往往是时间稀疏的，许多像素在连续帧之间报告几乎不变的背景，但它们仍被读取、数字化、存储和传输。相比之下，生物视网膜指向了一种不同的设计原则。它在视觉信号到达更高级的处理中心之前，就执行了适应性调节、对比度调节、时间滤波和早期特征编码 [3], [4]。这种生物组织方式启发了硅视网膜的研发——这种基础的神经形态视觉器件将视网膜处理转换成了模拟VLSI硬件 [5]。因此，高效的机器视觉需要有光电探测器的光子捕获在物理上与局部状态存储和基础计算耦合，如图1a,b所示 [6], [7]。
在近期的研究场景中，超越常规的光电探测器被定义为一种在执行光子检测的同时还执行至少一项额外信息功能的光电子器件。具体而言，这些功能包括在同一个物理平台中实现的光学存储、突触权重调制、神经元尖峰、传感器内和传感器近端预处理、光谱指纹识别、偏振解码、自适应操作以及物理不可克隆的光学响应 [6], [7], [8], [9], [10], [11], [12]。为了组织这些能力，该框架建立在四个轴上，即一种持续存在、可编程、瞬态且对光敏感的材料状态变量，一种允许通过光学和电学输入对该状态变量进行写入、读取、调制和重置的器件架构，以及器件物理上实现的视觉操作而非通过外部软件获取的操作，如对比特提、运动编码、光谱核形成、偏振解码和权重更新，还有一条可扩展的集成路径，该路径在阵列制造、外围读出和真实光学场景中依然可信。
最近的一些综述和共识声明已经整合了常规光电探测器的指标，如响应度、探测率、外量子效率和带宽，但对存储、计算和自适应等集成器件功能的关注有限 [13], [14], [15]。与此同时，在灵活和可形变的神经形态硬件方面取得了重大进展，近期的综述提供了对纳米材料和机械顺应性突触与神经元系统的器件概念的综合讨论 [16]。本综述通过专门聚焦于光学传感与存储、自适应或信息处理功能直接耦合的光电探测器，来补充这些进展。相比之下，其他综述广泛讨论神经形态器件，而将光学刺激主要视为另一种用于触发扬性的输入。同时，第三组从系统视角考虑传感器计算，但对使感知元件内部计算成为可能的器件物理关注较少。在这样的背景下，本综述做出了三项贡献。首先，它采纳光电探测器作为信息处理器作为核心理念。在此基础上，它引入了一个基于材料状态变量、器件架构、视觉操作和可扩展集成的四轴基准。在此基础上，它将近期进展整合到一个比较框架中，识别出已饱和的方向、未探索的组合以及接近实际转化的平台。因此，该框架突出了校准的多维像素、CMOS集成的光突触阵列以及生物相容的光感受界面作为未来十年富有成效的设计通道。全文中，器件级的性能指标与系统级的性能指标始终明确分开，因为响应度、探测率、每次突触事件的能耗、保持性、耐久性和数据集准确性描述的是元件，而光子到决策的延迟、全流水线能耗和任务准确性描述的是该元件旨在取代的系统。第5.10节说明了未来的每份报告应该包含哪些指标。除非相应图注中另有说明，本综述中的图均作为概念性示意图呈现。作者引入的定性评估、半定量比较或建议的性能目标均明确标注为作者主观意见，不应被视为已确立的标准或基于文献的统计基准。为保持一致性，每个后续章节都遵循相同的节奏：当前现状、根本挑战和带有具体解决方案的前进路径。本综述全文使用的总体报告矩阵如表1所示。
章节摘要
材料平台
此处材料空间按照每个平台所使光学可寻址的物理状态变量进行组织。每个材料类别的区分特征在于光可以写入、调制和读取的内部自由度。范德华晶体提供了各向异性、清洁的异质界面、栅极可调性和对缺陷敏感的激子响应 [9], [17]。卤化物钙钛矿提供了耦合的离子-电子存储、波长依赖的可塑性和手性光学
器件架构
架构决定了材料响应能否成为可用的计算功能，因为相同的状态变量会根据其受光方式、写入方式、读取方式和重置方式而成功或失败。以下七类架构定义了当前的设计空间，构成了表3和图9的主干，图9以密度、可编程性和集成成本为其轴来映射该设计空间。每个架构均以相同的三个步骤节奏进行考察：当前现状、根本问题和前进路径。
功能特性
第2节材料平台和第3节器件架构定义了超越常规的光电探测器由什么构成以及如何排列。第4节提出了更难的问题——它们能计算什么，使用表1的报告矩阵作为功能声明的交叉筛选标准。
应用前沿与交叉挑战
本节将主要的应用前沿和当前限制其发展的技术挑战汇集在一起。这两个方面在单一框架内讨论，因为许多应用受到相同的反复出现的问题的限制，包括变异性、稳定性、集成度、非理想器件行为和不完整的系统级验证。5.1 自主移动、5.2 微型机器人与仿生视觉、5.3 光子皮肤与可穿戴视觉、5.4
结论
第1节中引入的四轴综述规则定义了该领域的工作准则。一项高影响力的贡献应当同时完成四个轴，即一个独立表征的材料状态变量、一个超越生物类比的明确视觉操作、一个相对于具有同等成熟度的传统传感和数字推理流水线的系统级任务优势，以及一条可信的可扩展集成路径，其中报告了均匀性、良率和集成后
利益冲突声明
作者声明不存在可能影响本论文所述工作的已知竞争性经济利益或个人关系。
致谢
本研究得到大韩民国国家研究基金会 [RS-2023-NR076981、RS-2024-00336428 和 RS-2024-00403069] 以及 科学技术部的资助。
Mohit Kumar|Hyungtak Seo
