输入稀疏感知存内计算:一种双向可跳过模数转换器设计及其在深度学习能效提升中的应用

《Advanced Intelligent Systems》:Input Sparsity-Aware Computing-In-Memory with Bidirectional Conversion-Skippable Analog-to-Digital Converter

【字体: 大 中 小 】 时间:2026年04月19日 来源:Advanced Intelligent Systems 6.1

编辑推荐:

  本研究针对传统模拟存内计算(CIM)架构中模数转换器(ADC)因固定分辨率在处理稀疏输入时产生不必要的延迟和功耗问题,提出了一种具有双向可跳过转换功能的ADC(BCS-ADC)和相应的输入稀疏感知CIM宏。该设计实现了块级和元素级双粒度转换跳过,在45 nm CMOS工艺下,相较无跳过基线,最高可实现1.95倍加速和2.44倍能效提升。这项工作为解决CIM中ADC的效率瓶颈提供了高效、可扩展的解决方案。

  
随着深度神经网络(DNN)在计算机视觉、自然语言处理等领域的广泛应用,其模型规模和计算复杂度呈指数级增长,对硬件的能耗、资源和延迟带来了严峻挑战。传统计算平台如CPU和GPU受限于计算单元与存储器分离的“冯·诺依曼瓶颈”,频繁的数据搬运导致高延迟和高能耗。存内计算(Computing-in-Memory, CIM)是一种突破性的架构,它将计算直接置于数据存储的位置,从而大幅减少数据移动,并利用存储单元实现高度并行的计算,特别适合DNN的乘积累加(Multiply-Accumulate, MAC)运算。
然而,模拟CIM架构的潜力受到其关键组件——模数转换器(Analog-to-Digital Converter, ADC)的严重制约。ADC的功耗和面积随着其分辨率(位数)的增加而呈指数增长。在DNN推理中,由于ReLU等激活函数的使用,输入激活(Input Activation, IA)通常具有很高的稀疏性(即包含大量零值)。在传统的CIM中,无论输入是否稀疏,ADC都必须以固定的最高分辨率完成所有转换,这导致了大量冗余的转换操作,浪费了时间和能量。如何让CIM架构智能地感知输入的稀疏性,并动态调整计算和转换的粒度,从而跳过不必要的操作,成为提升能效的关键。针对这一问题,Choongseok Song、Yonguk Sim和Doo Seok Jeong等研究人员在《Advanced Intelligent Systems》上发表了他们的研究成果。
为了开展这项研究,作者主要采用了以下几种关键技术方法:1. 基于8T-SRAM的模拟CIM阵列设计:采用权重固定的8晶体管SRAM单元实现模拟域内的位级MAC运算。2. 双向可跳过模数转换器(Bidirectional Conversion-Skippable ADC, BCS-ADC)设计:在传统逐次逼近寄存器(Successive Approximation Register, SAR) ADC的基础上,通过集成额外的“跳过路径”、“MSB跳过控制器”和“LSB跳过控制器”逻辑,实现对最高有效位(Most Significant Bit, MSB)侧和最低有效位(Least Significant Bit, LSB)侧转换的动态跳过。3. 输入激活驱动器与人口计数器集成:在IA驱动器中集成人口计数器,实时统计并行输入的32个IA中“1”的个数,以此判定输入稀疏度,并决策块级或元素级(Mskip)跳过模式。4. 系统级性能评估框架:构建了一个Python仿真框架,将CIM特定的MAC计算流程与INT8量化的DNN推理环境集成,用于在多种模型(VGG16, GoogLeNet, ResNet18, ResNet50, ViT)和数据集(CIFAR-10, CIFAR-100)上分析精度、速度提升和能效。实验基于45 nm CMOS工艺进行设计和仿真。
研究结果
1. 平均比特分辨率与精度损失分析
研究人员首先量化了输入稀疏性对所需计算精度的影响。他们发现,在并行度为M的MAC运算中,由于零值操作数的存在,产生的MAC值实际所需的平均比特分辨率Ravg远低于M。例如,当并行度M=32时,平均分辨率Ravg可能仅为约5.5位。然而,如果为适配稀疏输入而全局性降低ADC分辨率,会导致传感范围缩小,最高有效位被截断,从而造成严重的精度损失。在ResNet50模型上的实验表明,将ADC分辨率降低1-2位会导致明显的准确率下降。
2. 提出的CIM架构与BCS-ADC设计
文章提出了一种支持双级(块级和元素级)跳过的SRAM基权重固定CIM宏。其核心创新是BCS-ADC。该ADC能够根据IA稀疏性(通过人口计数器得到的Nones)跳过MSB侧的转换(Mskip模式),例如当Nones≤8时,最高两位转换可被跳过。同时,它还支持无条件跳过LSB侧的转换(Lskip模式,相当于向下取整),以进一步换取效率。BCS-ADC的逻辑通过修改传统SAR逻辑,添加少量额外组件实现,其面积开销仅为传统SAR-ADC的0.28%。转换示例和时序图清晰地展示了不同跳过模式下转换周期和功耗的减少。RBL范围。">
3. 功耗、面积与延迟评估
在45 nm CMOS工艺、100 MHz频率下,BCS-ADC的功耗随跳过位数增加而显著降低,从无跳过(Mskip0+Lskip0)的5.3 μW降至Mskip4状态下的3.2 μW。集成人口计数器的IA驱动器及八个BCS-ADC带来的总面积开销相对于传统模拟CIM基线仅约1%。转换周期的减少直接转化为整体操作延迟的降低。
4. DNN工作负载级性能
在多个模型上的评估表明,双级跳过模式(Mskip + 块跳过)在不损失精度的前提下,对VGG16、GoogLeNet、ResNet等具有高输入稀疏性的模型,可实现最高1.95倍的加速和2.44倍的能效提升。进一步,选择性应用LSB跳过(Lskip1)可以在仅损失约0.1%精度的情况下,带来额外的约7%加速和约6%能效提升,尤其当应用于输入的低有效位时效果更佳。
5. 与先进ADC设计的比较
与两种先进的ADC设计相比:一种是基于低MAC感知阈值的方案,另一种是可重构分辨率ADC方案。BCS-ADC在能效和功耗上展现出显著优势。相比可重构分辨率ADC,BCS-ADC功耗降低高达90.82%;相比低MAC感知方案,其转换延迟和能效分别提升14.82%和21.02%,功耗降低21.02%。
6. 对模拟MAC操作可变性的鲁棒性
BCS-ADC通过根据Nones限定MAC值的理论上限,并对低于该范围下限的模拟输出进行“限幅”,将其转换到该跳过模式对应的最大数字值。这一特性有助于缓解模拟MAC运算中固有不可控的电路可变性甚至最坏情况下存储器位单元短路所造成的影响,从而提高了系统的鲁棒性。
结论与讨论
本研究成功提出并验证了一种创新的输入稀疏感知存内计算架构。该架构的核心——双向可跳过模数转换器,以极小的硬件开销(仅增加0.28%的面积),实现了对输入稀疏性的智能、动态响应。通过块级和元素级(MSB侧)的双粒度跳过,该设计能从源头上避免大量冗余的模拟转换操作,从而在保证模型精度的前提下,大幅提升计算速度和能量效率。此外,可选的LSB侧跳过机制为进一步权衡效率与精度提供了灵活性。与现有先进方案相比,该设计在功耗、能效和易用性(无需离线阈值分析)方面具有综合优势。
这项工作的意义在于,它精准地击中了模拟CIM走向实际部署的一个关键瓶颈:ADC效率。所提出的BCS-ADC设计概念清晰,实现优雅,易于集成到现有CIM框架中,为开发下一代高能效、低延迟的深度学习加速器提供了切实可行的硬件解决方案。它不仅适用于当前基于ReLU的卷积神经网络,其元素级稀疏感知机制也为处理其他具有不同稀疏特性的模型(如ViT)提供了潜在的优化空间。最后,其内在的模拟信号限幅特性还增强了对硬件非理想因素的容忍度,提升了系统的实用性。这项工作标志着在实现真正高能效的存内计算智能芯片道路上迈出了坚实的一步。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号