人工智能（AI）与硬件的协同进化：塑造未来计算格局的特刊

《IEEE Micro》：Special Issue on AI for Hardware and Hardware for AI: A Coevolution Shaping the Future of Computing

　　

如今，人工智能（AI）正无缝地融入日常生活的方方面面。从自动驾驶和实时医疗诊断，到无处不在的智能助手和个性化内容推荐，AI的社会足迹要求前所未有的计算规模和效率。随着为满足这些需求而产生的工作负载在规模和复杂性上的增长，通用处理器中传统的“一刀切”处理模式已很大程度上让位于专用的、为应用定制的硬件。AI与计算机体系结构的共生进化最为清晰地体现了向专用硬件的转变，其中快速的算法进步和巨大的计算需求已将硬件加速置于计算创新的中心。现代AI加速时代是由卷积神经网络（CNN）的突破所催化的，最著名的是Krizhevsky等人提出的AlexNet¹和He等人提出的ResNet²。这些模型证明了深度、计算密集型的架构可以在计算机视觉领域实现超越人类的准确度。计算机体系结构界对这一算法飞跃做出了迅速响应。学术里程碑，例如DianNao系列加速器³，开创了专用神经网络架构的设计空间，而Eyeriss项目⁴则形式化了数据流和空间数据重用对于最小化高能耗内存访问的关键重要性。这些学术基础与专用硅芯片（例如Google的张量处理单元⁵）的工业部署相辅相成。

随着Vaswani等人在开创性文章《Attention Is All You Need》⁶中引入Transformer架构，计算格局再次发生剧变。通过用高度可并行的自注意力机制取代顺序递归，Transformer为当今主导讨论的大规模生成式AI模型铺平了道路。随着研究界采纳了Kaplan等人⁷详述的经验性缩放定律——证明更大的模型和更大的数据集能产生可预测的更好性能——AI的硬件需求急剧增长。部署数十亿和数万亿参数的大语言模型严重制约了计算和内存带宽，并暴露了严重的低效问题，例如自回归生成过程中的键值缓存瓶颈，这催生了软件-硬件协同创新，例如Dao等人的FlashAttention⁸。维持这一发展轨迹现在需要超大容量内存、高度协调的调度技术以及高效的非传统数字系统来处理不断扩展的上下文窗口。

与此同时，业界认识到AI并非铁板一块。在超大规模云环境中，推荐系统——以Naumov等人⁹介绍的Meta深度学习推荐模型为典型——消耗的计算周期通常比视觉或语言任务的总和还要多。由于这些流水线依赖于海量、稀疏的嵌入表和复杂的检索阶段，它们是内存受限的，并且暴露了仅优化加速器的局限性，证明孤立地优化神经处理单元已不再足够；我们现在必须转向平衡的、全栈的硬件/软件协同设计。

在另一极端，将智能直接部署到用户设备上的推动力催生了边缘AI和微型机器学习（TinyML）。在MobileNets¹⁰等高效架构的推动下，研究人员意识到，弥合大规模模型与高度受限的微控制器或现场可编程门阵列（FPGA）之间的差距需要激进的算法-硬件协同设计。基础性工作，例如Han等人的深度压缩¹¹，证明了剪枝、权重共享和量化等技术可以在不牺牲准确性的情况下将网络规模减少一个数量级。随后，仅整数量化框架，例如Jacob等人¹²详述的方法，提供了必要的数学变换，将复杂的浮点运算映射到高效的边缘硬件上。在这些环境中，硬件灵活性已成为一流的设计理念，要求边缘加速器在运行时适应变化的数据分布。

AI与硬件之间的关系已变得深度双向。正如硬件正在进化以支持AI一样，机器学习也正在成为计算机体系结构和系统研究的变革性工具。

此外，随着这些无处不在的模型被部署到关键基础设施中，它们也引入了复杂的新威胁向量。Szegedy等人¹³和Goodfellow等人¹⁴首先强调的神经网络对对抗性攻击的固有脆弱性，已演变为物理现实，攻击者可以通过故障注入和隐蔽的硬件木马来利用硬件漏洞。因此，硬件安全性和可信性已从次要考虑因素提升为基本的设计要求。

AI与硬件之间的关系已变得深度双向。正如硬件正在进化以支持AI一样，机器学习也正在成为计算机体系结构和系统研究的变革性工具。这一概念在体系结构界有历史根源——例如Jiménez和Lin¹⁵率先将神经感知器用于动态分支预测——但最近其范围迅速扩大。AI正在加速设计空间探索、改进验证流程，并自动化现代流水线所需的全栈协同设计。计算的未来将由为AI构建的硬件和应用到硬件设计的AI共同塑造。本期《IEEE Micro》特刊捕捉了这一关键时刻。其中的10篇文章涵盖了这种共生关系的两个方面，探讨了AI驱动的体系结构优化、自适应加速器、边缘部署、新型计算技术以及对安全AI硬件日益增长的需求。

**研究背景与问题**
人工智能（AI）的快速发展及其在自动驾驶、医疗诊断、智能助手等领域的广泛应用，对计算系统的规模和效率提出了前所未有的要求。传统的通用处理器“一刀切”模式已难以满足AI工作负载，尤其是深度神经网络（DNN）和大语言模型（LLM）的复杂性与规模需求。这催生了向专用硬件加速器的转变，形成了AI算法与计算机硬件架构之间深度的共生进化关系。然而，这种进化也带来了一系列挑战：AI模型（尤其是生成式AI）的规模扩大导致严重的内存带宽瓶颈和能耗问题；将AI部署到资源受限的边缘设备（边缘AI/TinyML）时面临功率、面积和内存的严格约束；AI硬件在从云端扩展到边缘和关键任务部署时，其安全性与可信性成为日益严峻的挑战；此外，针对复杂AI工作负载（如推荐系统）的优化往往局限于加速计算单元本身，而忽略了数据检索、特征移动等非DNN阶段可能成为整个流水线的性能瓶颈。因此，孤立地进行硬件或软件优化已不再有效，迫切需要一种全栈的、跨算法、软件、架构和电路的协同设计与优化方法。

**研究目的与意义**
本期《IEEE Micro》特刊旨在探讨和展示AI与硬件协同进化的前沿研究。研究人员通过一系列文章，从多个维度（包括体系结构智能优化、可重构边缘计算、硬件安全以及新兴高效计算技术）回应上述挑战。这些研究不仅致力于设计更高效、更灵活的硬件来加速AI，也探索利用AI（如机器学习）来优化和自动化硬件设计过程本身。其重要意义在于推动计算系统从孤立优化范式向整体协同创新范式转变，为下一代可持续、安全、高效且适应性强的人工智能计算基础设施奠定基础。

**主要关键技术方法**
研究人员采用了多种关键技术方法来应对挑战。在体系结构优化方面，利用轻量级强化学习和基于感知器的策略，实现自适应的内存层次管理（如预取、缓存），以动态适应工作负载。针对边缘AI，通过设计可运行时动态切换数据流模式的加速器、采用自适应位分配的对数数字系统（Logarithmic Number System）以及基于FPGA的亚秒级CNN模型微调（使用参数高效适配器学习），在资源受限下实现高效与灵活性的平衡。在安全领域，通过构建针对特定硬件（如量化神经网络在TinyML设备）的威胁模型和攻击管道，以及分析硬件木马在注意力机制、脉动阵列等关键模块中的植入与影响，进行领域特定的安全评估。为了突破生成式AI的内存墙，研究人员协同设计了协调的打包-预取调度器与超大容量3D嵌入式存储器。此外，还开发了基于查找表的近似浮点乘法器等新型算术单元，以降低计算能耗。

**研究结果**
1. **AI驱动的体系结构与整体优化**：Bera等人^A1的研究表明，采用数据驱动的机器学习策略进行内存管理（预取、缓存、存储放置）能够持续超越传统基于规则的启发式方法，且硬件开销最小，为自主调优的体系结构指明了方向。Hu等人^A2通过对大规模推荐系统推理流水线的端到端分析发现，非DNN阶段（如数据检索）往往是实际延迟瓶颈。他们提出的模块化全栈硬件/软件协同设计框架，通过联合优化流水线各环节，成功降低了延迟并提升了吞吐量，证明了整体流水线感知的协同设计比狭隘的以加速器为中心的优化更有效。
2. **可重构计算与边缘AI加速**：Yang等人^A3针对边缘语言模型推理，通过动态调整缓存一致性模式以匹配特定工作负载需求，相比静态商用边缘GPU获得了显著的效率提升。Kim等人^A4设计的LogFlex加速器，利用具有自适应位分配的对数运算系统，在保持模型困惑度（perplexity）的同时大幅降低了功耗，在浮点精度和整数能效之间取得了良好平衡。Kalay和Ozturk^A5设计了一种数据流可重构的CNN加速器，能够在精心选择的高影响力数据流模式之间动态切换，以最小开销实现了优于单一数据流设计的性能提升。Sugiura等人^A6提出的基于FPGA的InstantFT技术，通过加速参数高效的适配器学习，使边缘设备能够在亚秒级时间内完成CNN模型的微调，从而实时适应不断变化的数据分布。
3. **AI硬件中的安全与可信性**：Huckelberry等人^A7的研究挑战了高度量化模型天生能抵抗逃避攻击的普遍假设。他们揭示，在资源受限的TinyML硬件上部署量化神经网络会引入独特且未被充分探索的漏洞，并演示了一种能有效绕过当前最先进防御的、针对硬件定制的攻击流程，强调了需要针对边缘硬件现实进行领域特定安全评估的紧迫性。Dharavath等人^A8将安全焦点从传统的软件攻击（如模型提取）转向隐蔽的物理威胁，展示了恶意嵌入Transformer、CNN和脉动阵列设计中的硬件木马如何能在保持几乎不可检测的同时，悄然引发灾难性的模型精度下降。这些研究共同警示，随着AI深度融入基础设施，系统可信性必须从算法到逻辑门进行严格保证。
4. **高效AI的新兴技术**：Lee等人^A9针对长上下文生成推理中键值缓存传输导致的严重内存墙问题，通过协同设计协调的打包-预取调度器与先进的超大容量3D嵌入式存储器，有效绕过高带宽内存限制，实现了显著的吞吐量和执行速度提升。Kelayeh等人^A10针对浮点运算的高能耗特性，提出了一种基于查找表的近似浮点乘法器（ELA-FPM），通过智能简化尾数计算，大幅降低了延迟、功耗和芯片面积，同时保持了近乎完美的模型精度。

**讨论与结论总结**
本特刊内的贡献共同强调了一个重要教训：孤立优化的时代已经结束。无论是解决云端生成式AI的巨大内存瓶颈，为受限的边缘设备嵌入自适应逻辑，还是保护物理硬件免受新的隐蔽威胁，解决方案都需要统一的视角。计算系统未来的进步将不依赖于在真空中设计更好的神经模型或更快的硅芯片，而是依赖于跨算法、软件栈、体系结构、电路和设计方法的整体、协调的创新。

作为计算机体系结构界的研究人员，在这个关键时代肩负着一项重要使命：为下一代计算构建有韧性的基础。这一双重使命要求我们不仅设计可扩展、安全且可持续的硬件来加速日益复杂的AI工作负载，还要积极利用机器学习等新方法的力量来自动化、优化并从根本上重塑硬件设计本身。

研究人员希望本期特刊能成为在这个快速发展的交叉领域（AI与硬件架构持续相互塑造）进一步研究的催化剂。