《IEEE Journal on Emerging and Selected Topics in Circuits and Systems》:Guest Editorial In-Memory Computing (IMC): From Technology to Applications
编辑推荐:
当前计算机体系结构正处于关键十字路口,传统基于互补金属氧化物半导体(CMOS)的算力提升路径遭遇多重瓶颈。过去四十年,计算系统性能年增速从20–50%降至近年的3%,而人工智能(AI)等复杂应用对高性能、低功耗的需求持续攀升,形成尖锐矛盾。现有架构与器件同时面
当前计算机体系结构正处于关键十字路口,传统基于互补金属氧化物半导体(CMOS)的算力提升路径遭遇多重瓶颈。过去四十年,计算系统性能年增速从20–50%降至近年的3%,而人工智能(AI)等复杂应用对高性能、低功耗的需求持续攀升,形成尖锐矛盾。现有架构与器件同时面临“内存墙”(处理器与存储器速度差扩大、带宽受限)、“功耗墙”(散热限制时钟频率提升)、可靠性墙(工艺微缩导致器件寿命下降、失效率升高)、泄漏墙(静态功耗占比上升)及成本墙(几何微缩收益饱和)五大挑战。为延续算力可持续发展,研究人员亟需探索新型计算范式与器件技术。本期特刊聚焦存内计算(In-Memory Computing, IMC)这一突破性路径,覆盖从成熟存储技术(SRAM、DRAM、FLASH)到新兴非易失性存储(阻变存储器RRAM、相变存储器PCM、磁随机存储器MRAM、铁电场效应晶体管FeFET)的全栈创新,旨在推动IMC从器件、电路到系统、应用的落地。
本研究由《IEEE Journal on Emerging and Selected Topics in Circuits and Systems》出版,针对传统冯·诺依曼架构的性能与能效瓶颈,系统梳理了存内计算(IMC)领域的最新进展。研究人员指出,随着CMOS工艺微缩逼近物理极限,传统架构的“内存墙”“功耗墙”等问题已成为制约人工智能等复杂应用发展的核心障碍,IMC通过将计算功能嵌入存储器内部,有望从根本上突破数据传输瓶颈。本次特刊共收到104篇投稿,经严格评审录用39篇,覆盖从器件到应用的六大方向。研究人员首先验证了基于果糖忆阻器的神经形态系统、HfOx基1T-1M单元等新型器件的性能优势;其次开发了无模数转换器(ADC)的时间数字转换(TDC)架构、电容耦合型计算宏等电路创新;进一步构建了面向大语言模型(LLM)的异构加速框架与映射优化工具;最终在癫痫预测、Ising机求解SAT问题等场景中实现了能效突破。研究表明,IMC可在保持兼容现有工艺的前提下,实现数量级的能效提升,为边缘智能与高性能计算提供了可行路径。
关键技术方法方面,研究人员采用全栈协同设计思路:在器件层,制备并表征天然有机果糖忆阻器、HfOx基阻变单元及CRFET可重构晶体管;在电路层,开发基于MRAM、SRAM、ReRAM等多种存储介质的计算宏,引入TDC量化、电容耦合、无ADC计算等创新架构;在系统层,构建异构IMC/近存计算(NMC)架构,设计自适应映射框架与数据流优化算法;在应用层,针对Transformer、大语言模型及生物医学信号处理等场景进行定制化加速验证,所有实验均基于实际流片测试或标准数据集(MNIST、CIFAR-10、ECG5000等)评估。
研究结果分为六个部分。第一部分为新兴存储器件与位元设计,研究人员通过实验证明:基于79核IMC片上系统的实测性能可支持边缘机器认知需求;天然有机果糖忆阻器神经形态系统在MNIST与CIFAR-10数据集上展现出可持续计算潜力;采用栅源控制关态复位(GSOSR)方案的HfOx基1T-1M单元,其开关电阻比相较传统1M单元提升约2.2倍,显著降低能耗;CRFET混合6T SRAM位元在不增加面积的前提下,读噪声容限提升24%、单次操作能耗降低18%;可重构SRAM架构在标准6T单元内统一实现常规存储、三态内容寻址存储器(TCAM)及原位逻辑运算,二值/三态内容寻址搜索能耗仅0.44 fJ/比特。
第二部分为存算一体(CiM)宏与电路技术,研究人员提出多项高能效设计:基于磁随机存储器(MRAM)与非(NAND)交叉阵列的AM5架构,在视觉Transformer推理中较其他基于磁隧道结(MTJ)的设计能耗降低约6倍、速度提升约1.3倍;采用电容耦合原理的无IR压降CiM架构,基于28nm CMOS工艺实现的16kb原型在CIFAR-10任务下达到230 TOPS/W能效与32.19 GOPS吞吐量;TDC-CiM谐振架构通过消除ADC并配合权重驻留映射策略,在TSMC 28nm工艺下实现320 GOPS吞吐量与38.46 TOPS/W能效;全模拟CiM宏在TSMC 0.18μm CMOS工艺下实现INT8乘累加(MAC)操作1880 TOPS/W的系统级能效;带PVT鲁棒性的8管SRAM CiM宏将位元电流波动降低达54倍,在0.65V–1.2V电压范围内MNIST精度损失小于0.8%;基于22nm FDSOI的6T-SRAM CiM与二值神经网络(BNN)加速器实现8 TOPS吞吐量与200 TOPS/W能效,MNIST精度达96.85%;紧凑型6T SRAM模拟IMC宏采用无ADC计算方案,在65nm工艺下实现47.06 TOPS/mm2的面积能效;ReRAM基CiM加速器通过子网分组调度策略,较CPU+GPU基线实现196.6倍加速与1200倍能耗降低。
第三部分为存内逻辑与算术加速器,研究人员探索了阵列内状态逻辑与算术优化:基于忆阻器IMPLY逻辑的模块化分层树比较器,将比较延迟从线性缩放优化为对数缩放,能耗降低7.8%–21.9%;结合近似计算的MAGIC状态逻辑全加器,较精确设计延迟缩短37.3%–68.6%、面积缩减19.6%–49.6%、能耗降低20%–54.4%;ShiftMUX可重构4:1复用器架构仅需3个周期完成乘法操作,实现最高9倍乘法加速;混合模拟-数字IMC架构配合非关键维度压缩(NKDS)模型压缩技术,在40nm eFlash原型上实现16 TOPS/W系统能效与约83.3%的模型体积压缩;抗变异在线学习框架用于忆阻器迹-脉冲时间依赖可塑性(trace-STDP)脉冲神经网络(SNN),在仅增加0.02%功耗与0.01%面积的代价下,精度提升最高达16.97%。
第四部分为系统、架构与数据流优化,研究人员解决了系统级部署挑战:TetrisG-SDK框架通过自适应窗口提升卷积层映射效率,在CNN8、Inception、DenseNet40上分别降低70%、68%、36%的能量-延迟积(EDAP);JADE联合架构-数据流探索框架覆盖异构IMC/NMC系统的计算/存储组织、互连拓扑、矩阵展开与注意力机制优化;TRAM异构加速器集成高带宽存储器存内处理(HBM-PIM)与传统双列直插内存模块(DIMM),批量嵌入向量归约任务实现最高2.8倍加速与3.0倍能耗降低;基于高层次综合(HLS)的非理想感知建模框架,支持SRAM基模拟IMC加速器的精度-阵列尺寸权衡设计空间探索;NMPHDC可重构多端口SRAM基近存超维计算架构在12nm FinFET工艺下实现ECG5000数据集93.33%准确率,100MHz频率下功耗约19.7mW;基于单片1D1R堆叠的互补交叉阵列与可编程外围电路,实现边缘视觉处理的336 fps运动提取速度与1.89 nJ/像素能耗。
第五部分为面向Transformer与大语言模型的IMC,研究人员针对性优化大模型加速:ROSETTA 3T–2R自旋转移矩磁随机存储器(STT-MRAM)CiM阵列采用串联电阻感知与TDC技术,较8T-SRAM设计节省约47%面积,内置ROM位实现阵列内softmax表;FP8 CiM加速器采用位并行可重构多米诺逻辑乘法器,40nm CMOS测试芯片实现E5M2格式42.13 TFLOPS/W与E4M3格式38.23 TFLOPS/W的宏级能效;可扩展稀疏Transformer加速器采用蝴蝶网络前馈IMC引擎,四芯片系统在28nm CMOS工艺下较A100 GPU实现4.2倍加速与27.6倍能效提升;面向IMC的softmax近似方案将复杂度从序列长度依赖转化为注意力头维度依赖,数字与模拟实现均降低超过20倍的能量-延迟-面积积;异构多芯粒加速器配合软硬件协同设计,较H100 GPU实现最高4倍令牌吞吐量与30倍能效提升;EFFP-NMC高效灵活浮点框架用于近MRAM计算,通过核级字线映射与增量指数感知读取,实现10.1–2041倍能效增益;忆阻器交叉阵列IMC电路用于大规模多输入多输出(MIMO)预编码,通过矩阵尺寸缩减与电导映射优化降低编程延迟。
第六部分为应用、安全与设计方法,研究人员拓展了IMC的应用边界:基于RRAM交叉阵列的癫痫预测系统在CHB-MIT脑电图数据集上实现超过75%的预测准确率,读能耗达皮焦耳级;平衡混淆路径与毛刺感知两种对策可有效防护SRAM基CiM架构的功耗侧信道攻击;MoF-LoRA设计时解决方案通过低秩适应(LoRA)集成混合故障容忍专家,在混合非理想条件下将RRAM基IMC推理精度提升最高76%,且无运行时开销;压缩存储中心高阶伊辛机架构针对SAT问题,实现对数线性硬件面积缩放与最高75%的单元利用率;近实时权值修改单元(WMU)用于电荷陷阱晶体管(CTT)基神经形态系统,实现脉冲依赖突触可塑性建模,面积较现有技术缩减1.6–17.9倍;采用双栅薄膜晶体管(TFT)的跨阻电流累加器(TIA)成功演示16幅二值图像分类;3D NAND闪存存内计算平台复用现有页缓冲器与坏位计数器,支持批量位运算、存内搜索与向量相似度搜索;通用多稳态忆阻器反馈方案无需平衡点即可生成可控多涡卷混沌系统,由无平衡种子系统、忆阻反馈网络与状态反馈控制器构成。
研究结论表明,存内计算已突破单一技术环节,形成从器件材料、电路设计、架构优化到系统部署、应用落地的完整创新链。研究人员强调,IMC并非对传统架构的简单替代,而是通过成熟与新兴存储技术的协同,在特定场景实现数量级能效突破,尤其为边缘智能与大模型推理提供了可行路径。本次特刊收录的工作证实,IMC在神经形态计算、低功耗嵌入式系统、高能效数据中心加速等领域均具备显著潜力,未来需进一步解决非理想效应建模、工具链完善与标准化问题,以推动技术从实验室走向产业应用。