从Chiplet到未来AI生态系统：第七届IBM IEEE CAS/EDS人工智能计算研讨会亮点与启示

《IEEE Circuits and Systems Magazine》：7th IBM IEEE CAS/EDS AI Compute Symposium (AICS’24) (Global Industry-University Brain Storming Kumbh Mela) [CASS Conference Highlights]

本次研讨会聚焦“从Chiplet到未来AI生态系统”主题，汇集了来自IBM、三星、英特尔、SK海力士、英伟达等业界领袖及学术界专家，共同探讨了AI算法、芯片架构、先进封装、HBM内存等关键技术挑战与发展路径。会议指出，面对AI算力需求的爆炸式增长，Chiplet技术和异构集成是超越摩尔定律、实现可持续AI缩放的关键，为半导体产业的未来方向提供了重要洞见。

　　

人工智能（AI）的浪潮正以前所未有的速度席卷全球，从消费电子到高端服务器市场，对计算能力的需求呈现出指数级增长。这种增长对底层硬件提出了极其严苛的要求：需要更多的算力、更大的内存带宽、以及更高的能效。然而，传统的半导体制造工艺正逐渐逼近物理极限，单纯依靠晶体管微缩的“摩尔定律”（Moore's Law）已难以独立支撑这场AI革命。如何突破瓶颈，构建能够满足未来AI应用需求的计算系统，成为整个半导体产业面临的紧迫问题。在此背景下，芯片设计范式从单一、庞大的单片系统级芯片（SoC）向模块化、集成化的“小芯片”（Chiplet）架构转变，被视为一条充满希望的新路径。通过将复杂功能分解为更小、更易制造和优化的Chiplet，再利用先进的封装技术将它们重新聚合，有望在提升性能、降低成本的同时，加快产品上市速度。

为了深入探讨这一关键转型，2024年11月19日，第七届IBM IEEE电路与系统/电子器件协会人工智能计算研讨会（the 7th IBM IEEE CAS/EDS AI Compute Symposium, AICS'24）在IBM T. J. Watson研究中心以线上线下结合的方式成功举办。本次研讨会以“从Chiplet到未来AI生态系统”（From Chiplets to Future AI Ecosystems）为主题，吸引了全球超过900名参与者，包括9位来自产业界和学术界的杰出演讲者、30个现场学生海报展示、最佳海报颁奖以及小组讨论，成为一场行业与学术界的思想碰撞盛宴。会议在IEEE电路与系统协会（CAS）、电子器件协会（EDS）和IBM的共同支持下，由IEEE Fellow Rajiv Joshi博士致开幕辞，他回顾了研讨会的历史，并强调了产业界与学会之间的紧密合作。

研讨会的核心议题围绕如何构建未来的AI计算基础设施展开。IBM研究的副总裁Raghavan博士在题为“从生成式AI到生成式计算”（From Generative AI to Generative Computing）的开场主题演讲中，重点讨论了大语言模型（LLM）对未来AI的影响。他指出，虽然增大模型规模是提升能力的一种直接方式，但规模庞大的模型往往优势短暂。相反，经过定制的小型语言模型（SLM）在某些方面可以超越前一代的LLM。他介绍了IBM的Granite模型在多项任务上的卓越表现，并探讨了模型定制技术，如使用合成数据生成和评论模型（critic model）进行人工数据验证。此外，他还提出了一种名为“推理缩放”（Inference Scaling）的有前景技术，即通过单次查询触发多次推理，让LLM“更深入地思考”，从而提升性能。最后，他展望了生成式计算的前景，包括交织传统命令式计算与生成式模型的潜力。

半导体制造环节的智能化升级是另一个焦点。三星电子（Samsung）技术副总裁Jae-Yong Park博士在报告“人工智能转型半导体制造：从Chiplet到自主工厂和数字孪生”（Transforming Semiconductor Manufacturing with AI: From Chiplets to Autonomous Fabs and Digital Twins）中强调，AI和机器学习（ML）正在深刻改变半导体制造业。他探讨了生成式AI，包括多模态基础模型和检索增强生成（RAG），在先进工艺和设备控制中的应用。这些AI方法通过实现实时优化、预测性维护和自适应控制策略，有效提升了良率、质量和效率。他进一步描绘了AI驱动的自主工厂（autonomous fabs）和数字孪生（digital twins）作为行业终极目标的愿景，这将加速下一代芯片的开发。

英特尔（Intel）半导体研发副总裁Lalitha Imaneni博士则从技术演进的角度阐述了“芯片到Chiplet：超越晶体管微缩的‘摩尔’价值”（Chips to Chiplets: "Moore" Value Beyond Transistor Scaling）。她指出，随着计算需求飙升，半导体行业正在寻求创新以补充摩尔定律。其中，将单片芯片分解为更小的Chiplet，再通过先进封装技术进行“再聚合”（re-aggregation），已成为重要方向。这需要全行业共同努力，建立允许设计师无缝混搭Chiplet的系统和标准。她讨论了封装技术如何以总拥有成本（total cost of ownership）为核心，创新性地满足对更多计算和内存的需求。

内存带宽是AI计算的关键瓶颈。SK海力士（SK Hynix）HBM PI负责人Unoh Kwon副总裁在其报告“AI时代的高带宽内存：赋能以内存为中心的AI创新”（High Bandwidth Memory (HBM) in the AI Era: Empowering Memory-Centric AI Innovation）中，勾勒了从AI到人工通用智能（AGI）的五个步骤，并指出AI处理器面临性能、功耗、内存带宽和散热的巨大挑战。高容量、高带宽且高能效的内存至关重要。他展示了SK海力士从GDDR6到HBM3E的显著进展，其容量、带宽和能效分别提升了6倍、18.3%和70%。未来，HBM4及更远代际的内存将带来新的实施挑战和系统机遇。

英伟达（NVIDIA）电路研究高级总监Tom Gray博士的演讲“从芯片到Chiplet的电路研究：赋能下一代AI数据中心”（Circuit Research from Chips to Chiplets to Enable Next Generation AI Datacenters）指出，GPU系统的AI应用对算力的需求几乎无限。过去十年，单芯片推理性能提升了1000倍，这需要数万个数据中心互联GPU来训练和推理最先进的生成式AI模型。每一代产品的带宽密度需求约增长2倍，从芯片级到数据中心级的供电系统都面临压力。这迫切需要在计算/内存、通信、供电和散热等所有领域进行面向缩放和降耗的未来研究。

IBM研究院高级架构师Ramesh Narayanaswamy博士在“芯片设计中的生成式AI：需求、机遇与挑战”（GenAI for Chip Design: Need, Opportunities, & Challenges）的报告中提到，电子工程专业入学人数的下降预计到2030年将导致20-30%的人才短缺，而生成式AI（GenAI）和高性能计算（HPC）驱动的计算需求增长又要求设计周期缩短30-40%。GenAI为自动化设计流程提供了机遇。他描述了如何将GenAI智能体（agent）和智能体工具组合成设计师助手，用于诸如断言创建和性能优化等任务，同时也指出了面临的挑战，如公开领域数据集和评估基准有限，需要产学界合作解决。

约翰斯·霍普金斯大学的Andreas G. Andreou教授带来了学术界的视角，他的报告“3D CMOS中的神经Chiplet与硅脑”（Neurochiplets and Silicon Brains in 3D CMOS）指出，大脑无疑是解决机器感知和机器学习问题的最强大计算机。他回顾了Chiplet研究的历史，并介绍了其团队在脑启发芯片设计方面的创新，包括nano-Abacus芯片组神经形态架构和SEE-THINK Chiplets等设计，以及利用LLM生成Verilog代码用于脉冲神经网络（spiking neural network）应用的硅片流片工作。

Meta Reality Labs的硅研究总监Edith Beigné则聚焦于“Meta的AR/VR应用：深入探讨AI的硅挑战”（AR/VR applications at Meta: deep dive into silicon challenges for AI）。她指出，增强现实（AR）是一组将从根本上改变人类与环境交互方式的技术，代表着物理世界和数字世界的融合。实现全面AR和AI体验的最大挑战之一在于性能和外形因素，这需要新的定制硅片。创新对于管理功耗约束、确保足够电池寿命和舒适的热体验至关重要。

Alphawave Semi首席技术官、多伦多大学教授Tony Chan Carusone博士在“可持续AI缩放中的互联与Chiplet生态系统”（Connectivity and a Chiplet Ecosystem for Sustainable AI Scaling）的演讲中，阐述了Chiplet技术带来的益处——降低成本、缩短上市时间、降低功耗——正在为可持续的AI缩放铺平道路。通过实现密集逻辑、内存和高速连接的无缝集成，Chiplet推动了封装内和封装间更高带宽的需求。低延迟的芯片间通信（inter-die communication）和高速光互联对于满足AI性能需求至关重要。他描述了如何围绕Chiplet构建一个强大的生态系统，以支持针对特定工作负载量身定制的系统级封装（SiP）的灵活设计，最终加速开发和创新。

除了精彩的演讲，研讨会还包括海报环节和小组讨论，并颁发了最佳海报奖。图1展示了与会者、高中生访客以及所有主题演讲者和委员会成员的热情参与。

为开展此项综述性研究，作者主要基于第七届AICS研讨会上多位行业领袖和学者的报告内容，进行了系统的归纳、比较与分析。关键技术方法包括：1. 对业界专家关于AI计算硬件发展趋势的主题报告进行内容提炼；2. 对比分析不同企业在Chiplet架构、HBM内存、先进封装等领域的技术路线与进展；3. 综述生成式AI（GenAI）在芯片设计自动化中的应用潜力与挑战；4. 探讨神经形态计算、AR/VR等新兴应用对定制硅片的特殊需求。

研究结果

从单一芯片到异构集成：Chiplet技术的必然性

研究人员普遍认为，面对AI算力需求的爆炸式增长和摩尔定律的放缓，将大型单片芯片（Monolithic Die）分解为更小、功能更专一的Chiplet，再通过2.5D/3D等先进封装技术进行异构集成，是必然的发展方向。英特尔公司的Lalitha Imaneni博士指出，这种“分解”与“再聚合”的策略有助于改善先进工艺下的良率和可制造性，并需要全行业建立系统和标准来实现Chiplet的混搭（Mix-and-Match）。Alphawave Semi的Tony Chan Carusone博士进一步强调，一个强大的Chiplet生态系统对于实现可持续的AI缩放至关重要。

内存带宽：AI计算的关键瓶颈与HBM的演进

SK海力士的Unoh Kwon副总裁明确指出，性能、功耗、内存带宽和散热是AI处理器面临的最大挑战。高带宽内存（HBM）因其高带宽和高能效成为解决方案的核心。数据显示，从GDDR6到HBM3E，内存容量、带宽和能效实现了显著提升。未来HBM4及后续技术将继续推动系统架构创新，但也将带来新的实施挑战。

生成式AI赋能芯片设计自动化

IBM的Ramesh Narayanaswamy博士提出了利用生成式AI（GenAI）应对芯片设计领域人才短缺和设计周期压缩的双重压力。研究表明，GenAI智能体（Agent）可以组合成设计师助手，用于自动化断言生成、性能优化等任务。然而，该领域面临公开数据集和评估基准有限的挑战，需要产学界合作推动。

脑启发计算与神经形态Chiplet

约翰斯·霍普金斯大学的Andreas G. Andreou教授从学术角度展示了神经形态计算和神经Chiplet（Neurochiplets）的潜力。其研究团队开发了nano-Abacus等脑启发芯片架构，甚至探索了利用大语言模型（LLM）生成硬件描述语言Verilog代码来设计脉冲神经网络（SNN）芯片，为未来低功耗AI硬件提供了新的思路。

AR/VR与AI对定制硅片的特殊需求

Meta的Edith Beigné指出，实现增强现实（AR）和虚拟现实（VR）的终极体验，需要在极小的外形尺寸（如眼镜）内实现强大的AI性能，这对功耗和热管理提出了极致要求，必然驱动新一代定制硅片的创新。

结论与意义

第七届IBM IEEE CAS/EDS人工智能计算研讨会成功勾勒出未来AI计算生态系统的清晰轮廓。研究结论明确指出，单一技术路径已无法满足AI发展的需求，必须通过架构创新（如Chiplet）、内存技术突破（如HBM）、先进封装、设计自动化（如GenAI for EDA）以及针对特定应用（如AR/VR、神经形态计算）的硅片优化等多维度的协同演进，才能构建支撑未来AGI愿景的高效、可持续的计算平台。此次研讨会汇集了产业界和学术界的顶尖智慧，其讨论内容不仅为半导体行业的技术发展指明了方向，强调了跨领域、跨公司合作共建生态的重要性，也为研究人员和工程师应对下一波AI浪潮带来的挑战提供了宝贵的战略洞见和技术启发。论文发表在《IEEE Circuits and Systems Magazine》上，具有重要的行业指导意义。