综述:面向机器视觉的感算融合:集成系统与新兴器件综述

《Advanced Photonics Research》:Sensing–Computing Fusion in Machine Vision: A Review on Integrated Systems and Emerging Devices

【字体: 大 中 小 】 时间:2026年04月23日 来源:Advanced Photonics Research 3.9

编辑推荐:

  这篇综述深入探讨了机器视觉领域的“感算融合”新范式,旨在解决传统架构在延迟和能耗上的瓶颈。文章系统梳理了实现融合的两大技术路径:基于互补金属氧化物半导体(CMOS)工艺的、自上而下设计的集成视觉芯片,以及基于钙钛矿、二维半导体等新材料物理特性、自下而上仿生的新兴器件。前者在像素、邻域、行/列、芯片等不同层次集成处理器,通过数字、模拟或混合信号处理实现灵活、可编程的并行计算。后者则巧妙利用离子迁移、陷阱态动力学等物理现象,在器件层面内嵌自适应视觉、事件驱动传感、卷积和特征提取等功能,为实现超紧凑、高效、自适应的新一代视觉系统提供了物理基础。综述展望了二者协同异构集成的未来方向。

  
随着自动驾驶、高速机器人等应用的飞速发展,机器视觉对处理速度、能效和适应性的要求达到了前所未有的高度。传统计算机视觉流水线依赖于帧式图像传感器(如电荷耦合器件CCD或互补金属氧化物半导体CMOS阵列)采集原始数据,再通过独立的计算单元进行数字处理。这种架构面临着固有的瓶颈:大量冗余数据移动和模数转换(ADC)导致的高延迟和高能耗。为了突破这些限制,一场向“感算融合”机器视觉的范式转变正在兴起。这一转变的灵感源自生物视觉系统的神经适应、稀疏编码和分层处理机制,其核心是将计算任务迁移到更靠近、甚至直接集成到传感元件中,从而实现现场数据压缩、最小化传输需求,并实现更高效、任务驱动的视觉感知。
实现感算融合主要有两条互补且充满希望的技术路径:集成CMOS视觉芯片和新型生物启发器件/系统。一方面,CMOS集成技术的进步使得计算硬件能够在从像素到芯片级别的不同层次上嵌入到光探测器旁。从像素级处理器阵列到近传感器、邻域级和列并行架构,这些设计在数字、模拟或混合信号域进行并行计算,实现了早期滤波、特征提取、卷积运算或神经网络推理等功能。另一方面,新兴材料和器件物理的探索催生了具有自适应和计算特性的生物启发视网膜形态和神经形态传感器。它们利用钙钛矿、二维半导体等新材料中的离子迁移、陷阱态动力学等现象,在器件层面模仿视网膜和皮层功能,内在地嵌入了自适应、事件驱动的传感、传感器内卷积和特征提取等特性,为实现超紧凑、自适应和高能效的视觉处理系统开辟了新道路。
CMOS视觉芯片
CMOS技术是现代电子学制造集成电路(如微处理器和存储芯片)的基础。图像传感器、模拟电路、数字处理逻辑和存储器可以大规模兼容地制造并集成在同一芯片上,具有巨大的设计灵活性和可编程性。基于CMOS技术制造的感算融合图像传感器,其优势主要源于技术的成熟度和高集成密度。
按集成层次划分的架构
根据CMOS视觉芯片中传感元件与处理单元(PE)之间的物理关系,集成架构可分为不同层次:像素级、邻域级、行/列级和芯片级处理。像素级处理架构在每个光探测器中直接嵌入一个处理单元。这种设计提供了高度的并行性和速度,因为每个像素可以独立执行操作,但代价是填充因子和分辨率降低,因为很大一部分面积被处理器占用。邻域级处理架构由一组像素传感器组成,每组包含一个物理嵌入的处理核心。通过利用光探测器之间的共享区域,可以实现具有更大内存和更强功能的更复杂处理单元,在性能和资源利用之间取得平衡。行/列级处理架构将处理单元放置在行或列级别。在这种情况下,处理器排列在光电二极管(PD)阵列上方。随着分辨率提高,每个处理器负责的像素数量也随之增加。这种方法提供了一定程度的并行性,但在高效处理极高分辨率图像时可能面临挑战。芯片级处理架构在芯片级别集成一个处理单元。这种架构提供了最高的成像质量和填充因子,以及高编程灵活性,但并行性最低,因为处理集中在芯片级。
模拟与混合信号处理
除了CMOS视觉芯片中对图像信号进行ADC后的传统数字处理,模拟或混合信号处理也得到了广泛研究。模拟或混合信号处理在感算融合中的主要优势在于,它能够通过消除与数字转换和数据传输相关的耗电和耗时的过程,大幅提高能效并降低系统延迟。通过在模拟域内直接执行计算(例如,使用电荷域计算、电流模式处理或像素内存储器),这些架构克服了通常由ADC和外部存储器访问主导的能耗瓶颈。此外,这种方法允许大规模并行处理,实现了传统冯·诺依曼架构无法实现的“常开”能力或实时处理,同时还在弱光条件下提供了鲁棒性,或实现了事件驱动传感和原位图像信号增强等仿生功能。
例如,一种像素级、全模拟动态背景减除视觉传感器,用于事件检测。每个像素嵌入两个数字可编程开关电容低通滤波器(SC-LPF)和两个时钟比较器。该架构执行自适应运行平均算法,创建一个动态的“灰色区域”,跟踪像素最近的照明历史,并通过将当前光电二极管电压与这些自适应更新的阈值进行比较,来稳健地检测“热点像素”。它在0.35微米CMOS工艺中实现了42 GOPS/W的高计算效率和13 fps下33微瓦的超低功耗。
新兴生物启发器件与系统
CMOS技术虽然是一个出色的感算融合视觉芯片平台,但固有限制依然存在。例如,为了在像素中集成处理单元,存在架构功能性与填充因子之间的权衡,因为传感器之间数字逻辑和存储器占据了很大面积,这限制了传感器分辨率和能效。此外,高级算法需要随机的全局数据访问,这增加了CMOS工艺中金属层的布线拥塞和布局复杂性。
最近出现的新兴器件,利用二维半导体、钙钛矿和忆阻器等新型材料,超越了单纯的集成,模仿了人类视网膜和大脑的生物机制。稀疏编码、神经适应和事件驱动传感等功能可以在物理器件层面实现。对这些具有新颖物理机制和异构集成的生物启发器件的研究,可以为具有视网膜形态视觉传感和神经形态信号处理的高效机器视觉提供有前景的途径。
传感器内视觉适应
人类眼睛具有很强的视觉适应能力。这一关键功能主要由视网膜中特化的感光细胞——视杆细胞和视锥细胞——协调。视觉适应包括明视觉(视锥主导)和暗视觉(视杆主导)机制,防止在明亮环境中感觉饱和,并增强在黑暗中的信号检测,这对于在巨大的环境照明范围内保持最佳视觉灵敏度至关重要。视觉适应对于人工视觉系统也很重要。光敏性应能根据环境照明的变化进行动态调制。最先进的硅图像传感器通常仅提供约70分贝的动态范围,远小于自然场景的280分贝。模仿这一仿生原理对于推进机器视觉至关重要。
例如,基于二维二硫化钼(MoS2)光电晶体管的视觉传感器,通过引入电荷陷阱态,实现了像素级、栅压控制的光敏性调制,用于实现传感器内视觉暗适应和明适应。通过调节栅极偏压,单个器件可以在负偏压下模拟高灵敏度的视杆细胞样模式,或在正偏压下模拟低灵敏度的视锥细胞样模式,表现出类似于感光色素再生和漂白的时间依赖性激发和抑制特性。这种传感器内适应策略实现了高达199分贝的有效感知范围,并在极端照明下提供自动图像对比度增强。
图像处理
在传感器级别进行图像处理,通常在光捕获点通过典型的卷积操作,能够实现对视觉信息的实时预处理和图像质量改善,例如在数据传输前选择性放大微小的强度梯度。卷积处理是机器视觉中的基本数学运算,主要用于通过计算局部像素强度与预定义核之间的相关性,从视觉数据中提取关键的空间特征,如边缘、角点和纹理。传感器级别的图像处理之所以重要,是因为它能够在数据传输之前,对视觉信息进行即时、实时的预处理和增强。这种早期处理充当了一个关键过滤器,有选择地放大有意义的信号,同时抑制噪声和冗余数据。
例如,一种基于甲基铵碘化铅钙钛矿(MAPbI3)和二维Bi2O2Se的动量守恒可重构范德瓦尔斯异质结构,被研究用于高级神经形态视觉传感,特别是在传感器内图像卷积处理方面。该晶体管在532纳米照明下表现出电压控制的双向净光电流。这种双向和可调响应有利于在乘积累加(MAC)操作期间实现正负权重。制造了一个3×3的光电晶体管阵列,可以作为可重构的传感器内模拟MAC算子进行卷积。它通过动量守恒的热载流子提取和栅极可调带对齐,实现了高达6×107A W?1的超高双极性光响应度和110分贝的宽动态范围,允许每个像素的光响应度通过栅极电压线性调整,作为卷积核的可编程突触权重,从而消除了对独立传感和处理单元的需求,减少了数据传输和能耗。
运动检测
基于有机半导体、钙钛矿和量子点等材料的新兴先进传感器也被研究用于模拟生物视觉系统(如果蝇视觉系统或人类视网膜)的并行处理功能,以实现高效的运动检测。这些器件可以内在地提取时空特征,如运动方向、物体轨迹和动态手势,通过双向光突触行为、时间滤波和事件驱动脉冲生成等机制实现。这种能力对于实现鲁棒、低延迟、低功耗的智能感知系统至关重要,特别是在自动驾驶和监控等复杂动态环境中,实时运动分析和高动态范围至关重要。
例如,一种受果蝇视觉系统中并行ON和OFF运动处理通道启发的双极性有机场效应晶体管(OFET)。该器件利用p型并五苯和n型C60的双层半导体架构,结合近红外PbS量子点电荷陷阱层,实现栅极可调的双向光响应。在正负栅极偏压下,可以定制光子产生的电荷分离,实现双向光响应。这种双通道OFET阵列可用于仿生双向成像求和,直接在传感器内编码时空视觉信息,模仿果蝇的运动检测。这种设计增强了运动物体与背景之间的对比度,使得运动方向识别和动态手势分类等任务在人工神经网络(ANN)处理后实现了高准确率。
特征提取
图像特征可以通过神经网络内的乘积累加(MAC)操作来提取,这些特征可以作为下游推理任务的输入。在传感器内计算和视网膜形态视觉系统的背景下,瞬时特征提取可以直接在光学传感域内执行,实现将原始光模式实时直接分解为稀疏、信息丰富的特征向量。可以在像素级别实现高通量、并行处理,消除了将海量原始图像数据传输到独立处理单元所带来的延迟和能耗成本。在实践中,这是通过在光电转换过程中执行加权求和来实现的,其中Pi和Ri分别是第i个像素的光信号和光响应度,而光电流Pi×Ri的总和可以通过基尔霍夫电流定律测量总电流得到。MAC特征提取已在钙钛矿基传感器、硅光电二极管-阻变随机存取存储器(RRAM)串联连接和全光调制光电探测器等平台中得到演示。双向可重构光响应度作为突触权重的能力至关重要,它允许传感器阵列充当可编程的时空信息过滤器,从而为具身、智能和实时决策提供必要的第一阶段“看见并识别”能力。
例如,一种传感器内计算架构,将光电二极管与RRAM集成在一个单元中。串联的RRAM电阻可以被编程以调整单元的光响应度,直接作为模拟MAC操作的乘法权重。这种通过MAC操作进行的特征提取可用于字母识别应用。基于测得的PD-RRAM阵列总光电流作为MAC输出,实现了字母识别。
多模态适应
除了视网膜形态和神经形态感算融合的基本功能外,通过设计具有多模态适应能力的生物启发器件,可以构建能够处理复杂、真实世界多模态数据流的、更具仿生性和紧凑性的器件。这种功能复用的传感-存储-处理集成器件的概念可以改变下一代智能系统的范式。实时、自适应和上下文感知的信息处理可以在物理边缘实现,这对于自主系统、神经机器人和普适可穿戴电子设备中的应用至关重要,并且可以直接解决“内存墙”和能效瓶颈。
例如,一种基于改性丝素蛋白(MSFP)的多模态RRAM器件。该器件表现出两种不同的操作模式:光电RRAM(ORRAM)模式和电学RRAM(ERRAM)模式。ORRAM模式具有独特的光强依赖双向自适应光电导记忆,包括正光电导记忆和负光电导记忆效应,支持全光学置位和复位操作。ERRAM模式展示了模拟电阻开关特性。基于这种多模态RRAM,提出了一种受人类视觉系统启发的系统架构,它集成了两个相同的MSFP基交叉杆RRAM阵列,分别以不同模式运行:前端的ORRAM模式阵列通过新颖的光学卷积算法执行传感器内图像预处理任务,如对比度增强、背景去噪和特征提取;后端的ERRAM模式阵列执行近传感器、存内计算,进行高级图像识别。构建了一个完整的硬件系统,模拟视网膜的传感器内预处理和视觉皮层的近传感器高级处理,实现了97.3%的图像识别准确率。
前景与挑战
具有感算融合的机器视觉可以克服传统计算机视觉的瓶颈。综述了两种技术策略:即CMOS视觉芯片自上而下的以架构为中心的范式,以及新兴生物启发器件自下而上的以器件物理驱动的范式。这两种途径虽然方法不同,但有着共同的目标:在图像捕获点嵌入智能和效率。CMOS视觉芯片在架构上将数字和/或模拟处理单元(从单比特处理器到RISC核心)嵌入到相对于像素阵列的不同层次。得益于数十年高度标准化的CMOS技术的成熟性和灵活性,从基本滤波到复杂特征提取甚至脉冲神经网络(SNN)推理等各种视觉算法都可以基于CMOS平台集成并在单一可重构硬件上执行,这对于像素级或邻域级视觉芯片尤其具有先进的并行性。相比之下,新兴生物启发器件的策略是在材料和器件层面对生物传感和神经机制进行自下而上的物理模拟。利用新材料特性(如二维半导体、钙钛矿、忆阻器、离子导体)和独特的物理现象(如离子迁移、陷阱态动力学、异质结构中的激子解离),内在地将计算功能(如适应、事件驱动传感、卷积和特征提取)直接嵌入到光电探测行为中。尽管生物启发器件的研究仍处于早期的实验室功能演示阶段,系统性能(特别是在制造可扩展性、功耗和集成密度方面)尚未得到充分工程化或优化,但这种基于物理的模拟可以通过将信号处理作为传感过程的直接、被动结果来提供显著的能效。此外,它可以通过最小化CMOS方法中像素内ADC、逻辑或存储器的面积开销来实现极高的功能密度。总之,CMOS视觉芯片通过成熟平台上的架构创新,提供了一个强大、灵活、可编程的并行计算引擎;而生物启发器件则通过材料和器件创新,为实现紧凑、自适应和高效的传感奠定了基础。
CMOS视觉芯片和新型生物启发器件都为感算融合提供了有前景的途径,但各自都伴随着必须应对的挑战,以释放其全部潜力。对于CMOS视觉芯片,行/列级和芯片级架构牺牲了细粒度并行性,在全局操作和非本地数据访问时面临布线拥塞问题。像素级和邻域级处理架构的一个基本限制是像素内晶体管、存储器和逻辑电路所占用的面积,这会直接减少感光面积(填充因子),并降低光学灵敏度和空间分辨率。此外,在减少数据传输能量的同时,大规模并行像素处理器阵列可能导致显著的在片功耗。对于生物启发器件,它们从概念验证演示向实用、可扩展系统的过渡面临着几个关键障碍。首先,几乎所有新材料系统(包括低维材料、钙钛矿、有机半导体和离子导体)中反复出现的一个限制是,将概念验证器件扩展到大规模、均匀、高产率的像素阵列,并与工业制造兼容的挑战。此外,这些器件的自适应和计算功能通常依赖于固有的物理机制,如离子迁移、陷阱态动力学或离子跳跃。虽然功能强大,但这些机制可能在适应/收敛速度、长期稳定性和读/写控制复杂性方面带来限制。最后,复杂的视觉任务,如大规模卷积和频繁的特征提取,如果仅仅依赖于使用基尔霍夫电流定律的生物启发传感器内器件,可能会受到像素密度、寻址复杂性、光响应度重配置速度和功耗的限制。
CMOS技术和新兴生物启发器件的协同集成可以发挥两个平台的优势。成熟的CMOS基础设施非常适合提供可扩展、均匀、可靠的有源矩阵读/写控制电路、高性能的模拟-数字转换和存储器,通过提供精确的像素寻址和信号调节,解决生物启发器件的控制复杂性和可扩展性问题。新型生物启发材料和器件可以在光子检测的最前端提供超高效率、基于物理的预处理,例如高动态范围适应、传感器内模拟卷积和事件驱动稀疏编码。一个引人注目的协同设计策略涉及基于每种技术固有优势的清晰功能划分。新兴生物启发器件应作为智能传感前端,负责在光子检测点进行基于物理的、模拟域的预处理,压缩数据并提取显著特征,仅输出与任务相关的信息(如事件流或去噪后的图像块),且能耗和延迟极低。然后,CMOS平台充当可编程计算和控制后端,执行需要全局数据访问和可重构性的复杂、算法驱动的任务,如高级神经网络推理、物体识别和系统级决策。这种混合方法可以克服填充因子的限制,同时保持复杂的功能,例如,以最小的静态功率执行关键的数据压缩和特征提取,仅将稀疏的、高价值的信息传递给CMOS数字处理器,以进行更高级别的、可编程的算法处理。
为了实现这种划分,集成可以遵循两条主要路径。在异构集成方案中,预制的生物启发器件阵列被转移并键合到包含读出和控制电路的CMOS晶圆上。或者,可以将新兴材料直接沉积在预加工的CMOS晶圆上,在后端工艺中制造功能性生物启发器件。这两种方法都需要材料科学家、器件工程师和电路设计师之间的紧密跨学科合作,以共同设计材料堆叠、器件几何形状、电路接口和系统架构。未来的研究工作应侧重于:1)开发可扩展的、与CMOS兼容的、用于生物启发器件的材料沉积和图案化技术;2)优化材料和器件物理,以实现更快的切换速度、更高的耐用性和更好的可重复性;3)设计高效的模拟和混合信号接口电路,以桥接模拟生物启发前端和数字CMOS后端之间的域;4)创建协同设计框架和工具,以探索性能、功耗、面积和功能之间的权衡。通过解决这些挑战,CMOS和生物启发技术的协同融合有潜力开创机器视觉的新时代,实现真正紧凑、高速、低功耗和自适应的人工视觉系统,能够满足从移动机器人和增强现实到物联网和自主系统等广泛应用领域日益增长的需求。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号