《AI》：Improving Accuracy and Efficiency in DNNs with Approximate Multipliers: Insights from Information Bottleneck Theory
编辑推荐：
近似乘法器有望提升深度神经网络（Deep Neural Networks, DNNs）的能效，但会引入计算误差从而降低精度。本文提出一种新方法，利用近似乘法器在提升计算与能量效率的同时提高精度。研究人员提出一种层间异构方法，在DNNs中使用量化近似乘法器（IN
近似乘法器有望提升深度神经网络（Deep Neural Networks, DNNs）的能效，但会引入计算误差从而降低精度。本文提出一种新方法，利用近似乘法器在提升计算与能量效率的同时提高精度。研究人员提出一种层间异构方法，在DNNs中使用量化近似乘法器（INT8），在各层应用不同水平的近似。该方法在评估的所有配置中实现了高达44.75%的估计能量节省，其中VGG模型最高达43.72%，同时相对于对应的精确INT8基线，Top-1精度最高提升2.07个百分点。借助信息瓶颈（Information Bottleneck, IB）理论，研究人员分析了近似乘法器所增强的信息流与特征提取能力。通过信息平面（Information Plane, IP）分析，研究人员深入理解了DNN行为，并展示了该方法如何克服精度限制。一项分析型MAC计数比较表明，在所考虑的实验设置下，仅前向传播的遗传算法（Genetic Algorithm, GA）搜索所需的MAC操作数比相应的基于梯度的训练方案少146倍至22,500倍；该比较反映的是计算工作量，而非等效目标下的算法加速。
深度神经网络（Deep Neural Networks, DNNs）在计算机视觉、自然语言处理等领域取得了突破性进展，但其参数量和计算规模急剧增长，在边缘设备等资源受限场景中面临严峻的能耗挑战。近似乘法器通过简化硬件设计降低功耗，但传统上被视为以牺牲精度换取效率的手段。本文旨在打破这一权衡，提出一种层间异构的近似乘法器配置方法，在提升能效的同时改善模型精度，并借助信息瓶颈（Information Bottleneck, IB）理论揭示其内在机制。
研究人员选取了20种来自SCDM8系列的量化（INT8）近似乘法器，针对每个计算层分配不同的乘法器变体，利用遗传算法（Genetic Algorithm, GA）以验证集Top-1精度为适应度，搜索最优层间组合。实验涵盖CNN、MLP、VGG11和VGG13等架构，数据集包括MNIST、Fashion MNIST、CIFAR-10和CIFAR-100。主要技术方法包括：基于前向传播的GA搜索，无需反向传播；信息平面（Information Plane, IP）分析，其中CNN和MLP采用精确的量化IB方法，VGG模型采用互信息神经估计（Mutual Information Neural Estimation, MINE）；能耗估算采用MAC加权归一化能量系数，依据各层MAC操作数和乘法器能量系数计算。所有最终精度均在独立的测试集上评估，验证集仅用于配置搜索。
研究结果显示，异构配置在多个模型和数据集上同时实现了精度提升和能耗降低。具体结果如下：
5.1 精度提升
通过GA搜索，研究人员为每个案例研究确定了四组代表性子配置。在独立测试集上，这些配置相对于对应的精确INT8基线均提高了Top-1精度，最高提升达2.07个百分点，同时保持INT8量化域的一致性。所有精度改进均以精确INT8模型为基线计算，FP32模型仅作为量化参考。
5.2 对DNN信息流的影响
通过信息平面分析，研究人员发现：均匀使用近似乘法器（同质配置）通常使互信息I(X;T)和I(T;Y)同时下降，意味着压缩增强但任务相关信息保留减少；而异构配置则实现更低的I(X;T)和更高的I(T;Y)，即同时增强压缩和任务相关信息保留。这一现象在CNN、MLP和VGG模型上均一致出现，表明层间异构的近似计算能够改善信息流。
5.3 能量利用优化
采用MAC加权能量模型，研究人员估计所有异构配置的能耗相比精确INT8基线节省最高达44.75%，其中VGG模型最高为43.72%。由于每个近似乘法器的能量系数低于精确乘法器，任何层间组合都会降低总能耗，而GA搜索进一步保证了精度不损失。
5.4 计算成本分析
GA仅需前向传播评估适应度，不执行权重更新或反向传播。在所采用的实验设置下，GA的MAC操作数比对应梯度训练方案少146倍至22,500倍。但该比较仅反映计算负载差异，不代表二者在等价优化目标下的算法加速。
5.5 与相关工作的比较
与近期使用同质近似乘法器的研究相比，现有方法普遍报告精度下降，而本文提出的异构配置在降低能耗的同时实现了正向精度变化。尽管各研究的基线模型和超参数不同，无法进行严格的数值对比，但定性差异明确：异构近似能够避免同质近似带来的精度退化。
讨论部分指出，信息平面上的变化支持IB理论视角——异构近似使网络内部表示更压缩且更具任务相关性。但研究人员谨慎强调，互信息估计依赖具体方法，不同模型使用了不同估计器（量化IB和MINE），因此结果应视为与IB解释一致，而非证明压缩直接导致泛化提升的普适因果证据。此外，近似乘法器引入的是确定性、与操作数相关的误差，而非随机噪声，不能视为随机正则化机制。该方法的主要局限是信息平面计算和近似乘法器模拟的密集计算成本，以及配置对模型和数据集的特异性。
结论：研究人员引入了一种将近似乘法器集成到DNN中的新方法，同时实现了精度提升和估计的乘法器能耗节省，克服了近似计算中传统的精度-效率权衡。通过信息平面分析，在异构近似下观察到与压缩增强和任务信息保留改善一致的表示变化。作为一种训练后配置搜索方法，其估计MAC负载低于相应的梯度训练方案。本研究的关键贡献在于提供了一个存在性证明：通常与精度下降相关的近似乘法器，在特定配置下能够提升精度并改善资源效率，颠覆了近似必然导致精度损失的传统假设。研究结果提示，受控的乘法器异构性可为DNN带来新的优化机会，并为节能AI硬件设计开辟了道路。未来工作将扩展至更复杂的架构（如ResNets、MobileNets），并探索硬件在环模拟和代理数据集以降低计算成本。
