《Nano-Micro Letters》:In-Sensor-Memory Computing for Post-Von Neumann Intelligence: A Perspective
编辑推荐:
本文深入探讨了传感内存一体化计算(ISMC)这一突破性范式,旨在解决后摩尔时代冯诺依曼架构在处理人工智能、泛在感知和边缘计算任务时面临的能效、延迟和可扩展性瓶颈。通过融合材料科学、器件物理、架构创新与算法-硬件协同设计,研究人员揭示了ISMC在构建高能效、低延迟、分布式智能系统方面的巨大潜力,为下一代边缘智能硬件的发展指明了方向。
随着人工智能(AI)、物联网(IoT)和高速通信技术的爆炸式增长,我们对计算硬件性能的渴求仿佛永无止境。然而,支撑现代计算的经典“冯诺依曼”架构,其内在的“分离”设计正日益成为发展的枷锁。在这种架构中,负责感知外部世界的传感器、存储数据的内存单元和执行运算的处理器是物理分离的。每一次计算,数据都需要在这三者之间来回“奔波”,这种“长途跋涉”不仅消耗了大量能量,也带来了显著的延迟,形成了著名的“内存墙”、“功耗墙”和“带宽墙”。更令人担忧的是,随着晶体管微缩(即摩尔定律)的步伐显著放缓,我们不能再单纯依靠制造更小的芯片来获得性能提升,硬件本身已成为AI发展的根本性速率限制因素。
为了突破这些瓶颈,学术界和工业界正在加速探索“后冯诺依曼”计算范式。早期的尝试,如近传感器计算(NSC),将处理器挪到传感器旁边,缩短了数据传输距离。更进一步的存内计算(IMC)则直接将内存和计算单元物理合并,缓解了数据移动开销。然而,这些方案大多仍依赖于高能耗的模数转换器(ADC)和后续的集中式数字处理。研究表明,在基于阻变存储器(RRAM)的架构中,ADC的能耗可占总读出能耗的88%。传感内存一体化计算(ISMC)应运而生,它代表了一种更彻底、更根本的架构演进。ISMC的理念是将感知、存储和计算功能,在器件和系统架构层面进行深度融合与协同定位,从而在数据源头实现原位信号处理、模拟-混合信号计算和事件驱动的智能。这就像是为人造系统装上了类似生物视网膜的“本能”,在光信号转换为电信号的瞬间,就并行完成了边缘检测、特征提取等预处理,大大减少了不必要的数据生成和传输。
本文发表在《Nano-Micro Letters》的综述性视角文章,系统性地梳理了ISMC这一新兴领域。研究人员从技术基础、架构趋势、应用前景、全球发展格局以及面临的挑战等多个维度,全面阐述了ISMC如何通过跨维度的功能材料、混合架构及算法-硬件协同设计等协同创新,来解决冯诺依曼瓶颈,并赋能超低延迟的边缘应用,为自主系统、生物集成医疗和去中心化群体智能铺平道路。
为开展此项研究,作者主要采用了文献计量学分析、架构对比分析与案例研究等方法。通过对Web of Science核心合集中2015年至2025年间共3681篇ISMC相关出版物进行调研,分析了该领域的全球研究热点、地域分布和发展趋势。同时,文章从基本原理出发,对比分析了传统冯诺依曼、近传感器计算、存内计算和传感内存一体化计算等不同架构的能效、延迟和集成密度等关键指标。文中还重点引证和剖析了多个标志性的ISMC硬件实现案例,例如基于忆阻器交叉阵列(CBA)的全硬件卷积神经网络(mCNN)、基于相变材料(PCM)的光学张量核心、以及单芯片三维(3D)集成的传感-存算系统等,用以具体说明ISMC的技术实现路径和系统级优势。
研究结果
2.1 ISMC的硬件基础
ISMC的硬件灵感源于早期细胞内存阵列的概念和卡弗·米德在加州理工学院开创的神经形态工程。其核心思想是“感知即计算,内存即处理”,利用与传感元件紧密集成的存算器件的固有物理动力学,直接对传感输入进行模拟或混合信号处理。如图2所示,ISMC直接从生物系统(如人类视网膜)中汲取灵感,旨在将感知、记忆和计算操作通过器件-架构协同设计,折叠到一个统一的物理堆栈中。
架构上,ISMC系统采用类似于生物神经系统的大规模并行和空间分布式拓扑。视网膜就是一个典型的ISC例子。受此启发,现代ISMC平台越来越依赖于三维(3D)异构集成,以垂直堆叠传感、存储和计算层。如图3所示,这种架构不仅缩短了信号路径,还实现了高密度互连和跨层并发数据处理。其制造流程展示了如何通过单芯片3D垂直堆叠技术,将传感器、计算核心和逻辑电路集成在一起。
2/TaOxRRAM的TEM图像。b IGZO-FET材料堆栈的TEM图像。c 1T1R(一晶体管一阻变存储器)单元的3D示意图和背栅IGZO-FET的TEM图像。d 芯片上3×3光传感器阵列的假彩色SEM图像。e 在IMC阵列上卷积神经网络(CNN)的一个卷积核映射。f M3D-SAIL芯片的3D示意图。">
在器件层面,忆阻器由于其在电或光刺激下具有连续可调的导电状态和非易失性保持特性,仍然是ISMC的核心。忆阻器交叉阵列通过直接利用欧姆定律和基尔霍夫定律,实现了大规模并行的模拟计算。Yao等人实验演示了一个完全由硬件实现的忆阻器卷积神经网络(mCNN),通过在多个忆阻器交叉阵列上进行混合训练和并行计算,消除了重复的模数转换和集中式处理,在硬件层面实现了高并行度和高能效。
此外,低维和异质结构系统、自旋电子学概念(如畴壁器件、赛道存储器和斯格明子结构)等新兴器件平台,不断丰富着ISMC的设计空间,推动其向更高功能密度、更低功耗和更具自适应性的行为发展。
2.2 ISMC的系统级优势
与传统冯诺依曼架构相比,ISMC通过将感知、存储和处理整合到统一的物理基底中,在能效、计算速度、系统延迟和集成密度方面实现了显著提升。其核心优势如图5所示。
能效:ISMC通过消除冗余数据移动来降低能耗。忆阻器基ISMC器件已实现亚10 fJ/比特的能效,接近生物突触的能耗水平。这对于分布式物联网节点、可穿戴电子设备和自主传感器网络等超低功耗领域至关重要。
计算速度:ISMC架构通过原位计算,绕过多级模数转换流程,大幅加速数据处理。光电子忆阻器就是一个典型例子,它可以在同一器件堆栈中感知光子、暂存视觉信息并执行加权计算。基于微梳的光子卷积加速器实现了11 TOPS(每秒万亿次操作)的处理速度,而全模拟光电芯片ACCEL则展示了4.6 Peta-OPS的系统级吞吐量。
系统延迟:在冯诺依曼架构中,系统延迟主要源于数据在传感器前端、内存层次结构、总线和处理器之间的传输。ISMC遵循“在源头处理”的设计原则。例如,Gong等人提出的6×6视网膜启发ISMC阵列,在图像采集的同时执行识别任务,完全避免了传统视觉系统昂贵的传输和转换流程。Chen等人使用全模拟光计算架构,实现了仅72纳秒的传感-处理延迟。
集成密度、可扩展性与安全性:ISMC的功能一体化设计实现了更高的集成密度。例如,全硬件mCNN的面积效率性能密度达到商用GPU的30倍以上。通过将计算分布在器件阵列中,性能几乎随阵列大小线性扩展。此外,在数据源头附近处理数据,最大限度地减少了片上传输路径,降低了被拦截或篡改的风险,为金融分析和机密信息处理等安全计算应用提供了天然优势。
文章还总结了ISMC芯片的性能比较,并提出了以应用为中心的基准测试框架,其核心原则包括:1) 能量到决策(EtD),量化将物理刺激转化为有效推理结果所需的总能量;2) 有效带宽压缩(EBC),定义为原始传感数据量与传输的特征向量大小之比;3) 任务级准确性与效率的权衡,在模拟基板固有的随机性与资源消耗之间绘制帕累托前沿。
3.1 ISMC系统的架构创新
ISMC的架构创新本质在于功能边界的模糊和集成维度的升级。其演进如图7所示,从电子、光子到光电混合系统。
电子ISMC架构:其基础可追溯到惠普实验室在2008年制造的第一个忆阻纳米器件。主流的二维交叉阵列架构包括RRAM交叉阵列、n晶体管n电阻(nTnR)交叉阵列和忆阻晶体管交叉阵列。近年来,3D垂直集成通过金属通孔互连垂直堆叠多个二维阵列,其集成密度比二维对应物高3-6倍,且其运行机制密切模仿大脑皮层的分层和柱状结构。
光子ISMC架构:在光域内完成传感信号的采集、特征提取和计算处理,充分利用了光子高带宽、低延迟和并行传输的内在优势。基于相变材料的光学忆阻器是目前唯一能够实现全光调制和操作的主流技术平台。例如,Feldmann等人展示的集成光子张量核,其执行并行卷积处理的速度和能效远超电子GPU。为支持通用人工智能(AGI),还提出了基于集成衍射-干涉混合设计的大规模光子芯粒“Taichi”。
光电混合ISMC架构:巧妙地结合了光子和电子的优势,包含两种主要模式:1) 电控光读模式,利用电信号调制材料的光学特性,光信号仅用于读出或传输,易于与CMOS电子系统集成,适用于全光域计算、高速光通信等场景;2) 电光共调制模式,仅当电和光输入信号同时存在时才触发突触增强,适用于复杂的神经形态计算和光电混合ISMC。例如,Huang等人开发了用于ISMC的多模态光电忆阻器阵列,在单芯片上集成了1千比特(1024单元)的一晶体管一光电忆阻器阵列与硅基CMOS电路。
3.2 ISMC的材料与器件基础
材料对其性能至关重要。如图8所示,ISMC材料沿维度转变轴线,从块体硅基平台向低维和异质结构系统发展。
零维材料(如纳米颗粒、量子点)在所有三个维度上都受限,表现出显著的量子限制效应,可用作电荷捕获中心,用于制造光控、可编程的突触器件。
一维材料(如碳纳米管、纳米线)在两个维度上受限,在一个维度上延伸,具有定向载流子传输特性,适合用作低电阻导电通道。
二维材料(如石墨烯、MoS2)具有原子级薄层,表面效应占主导,能带结构由层数决定,可用作通道、隧穿层等,是应用最广泛的低维材料。
三维材料(如块体/薄膜金属氧化物)在三个轴上都具有宏观尺寸,表现出体相载流子传输行为,制造工艺成熟,适合大规模集成,是忆阻器电阻切换层的主流材料。
在功能多样化方面,则从纯电切换机制转向光电和多物理场耦合。其工作机理包括:基于离子迁移的器件,通过电场驱动的离子迁移形成或断裂导电细丝来实现电阻切换;相变器件,利用焦耳热诱导硫族化物化合物在晶态和非晶态之间的可逆相变;铁电器件,依靠铁电材料的极化反转来调制电流,具有高开关速度和可靠性;基于磁化反转的器件,通过自旋转矩基于隧穿磁阻效应来调节铁磁层的磁化方向。
3.3 从神经形态器件到本征智能
神经形态器件创新的轨迹,如图9所示,反映了从模拟基本生物功能到实现基于材料的内在智能的根本范式转变。这一演进可分为三个重叠的阶段。
第一阶段(2010-2022年):专注于寻找能够模仿神经可塑性的物理基板。研究主要验证新兴非易失性存储技术和低维材料中的基本突触行为,如长时程增强和滞后效应。虽然这些努力成功地在单器件层面展示了电导可调性,但仍以组件为中心。
第二阶段(2023-2025年):标志是集成智能的出现。研究重点从单器件转向功能性阵列和子系统。例如,Mennel等人利用单层二硫化钼(MoS2)光电传感器阵列,在传感器内实现了可编程的神经网络权重,进行了超高速图像分类。Wan等人开发了基于柔性碳纳米管晶体管的可重构人工躯体感觉-记忆系统,可同时处理触觉和疼痛感知。Qu等人报道了一种具有触觉感知功能的人工智能角膜,可实现感官扩展和交互。这些工作展示了ISMC在机器视觉、触觉感知和生物集成系统等领域的应用潜力。
第三阶段(2026年及以后):展望“物质内计算”的终极愿景。其目标是开发出能够表现出类认知特性(如学习、适应和决策)的智能物质系统,而无需明确的预编程数字算法。例如,自组织的神经形态纳米线网络可以被建模为随机动力系统,展示出新兴的复杂动态特性。这代表了从“在物质中计算”到“物质本身就是计算机”的范式转变。
研究结论与重要意义
本文系统性地阐述,传感内存一体化计算(ISMC)代表了后冯诺依曼时代一种至关重要的硬件范式,旨在为能源高效、分布式的智能系统提供解决方案。它通过跨材料、器件、架构和算法的协同创新,直接应对冯诺依曼架构在感知、内存和计算物理分离所带来的根本性效率瓶颈。
ISMC的核心意义在于其系统性优势:通过最大限度地减少数据移动和模数转换开销,实现了数量级提升的能效和极低的处理延迟;其高并行模拟计算特性特别适合边缘智能应用;通过三维异构集成,显著提高了系统集成密度和功能复杂性。从忆阻器交叉阵列到全光计算芯片,多样的硬件实现路径展示了该技术的灵活性和广阔前景。
然而,将ISMC转化为可扩展的商业化部署,仍面临器件差异性、可靠性、可扩展性以及缺乏标准化基准测试协议等关键挑战。解决这些挑战需要全球范围内的产学研合作,建立以应用为中心的基准测试框架,并发展跨学科的生态系统使能技术。
总之,ISMC并非单一技术的突破,而是一个集材料科学、器件工程、集成工艺、电路架构和算法创新于一体的完整技术体系演进。它正从实验室的原理验证,走向面向自动驾驶、生物医疗电子、分布式物联网等真实场景的探索与应用。随着后摩尔时代对算力能效要求的不断提高,ISMC有望成为构建下一代高能效、低延迟、自适应智能系统的关键使能技术,推动人工智能从集中式的“云计算”向分布式、嵌入式的“万物智能”深刻演进。