《IEEE Circuits and Systems Magazine》:A Conversation With Carver Mead About the Caltech “Neuromorphic Era” and What Came After [Interview]
编辑推荐:
《IEEE电路与系统杂志》的许多读者可能都熟悉卡弗·米德(Carver Mead)研究员;为获取背景信息,读者可参考其他访谈和讲座,例如,其官方加州理工学院(Caltech)页面、2001年《旁观者》杂志访谈、2013年国际固态电路会议(ISSCC)全体会议及
《IEEE电路与系统杂志》的许多读者可能都熟悉卡弗·米德(Carver Mead)研究员;为获取背景信息,读者可参考其他访谈和讲座,例如,其官方加州理工学院(Caltech)页面、2001年《旁观者》杂志访谈、2013年国际固态电路会议(ISSCC)全体会议及2024年Caltech沃森(Watson)讲座。本次对话始于2025年8月,并于2026年2月/3月/4月持续进行。对话聚焦于研究人员所在的Caltech物理学计算实验室(PCMP)的“神经形态时代”(约1981-1997年),探讨了卡弗·米德(Carver Mead)研究员如何对神经计算产生兴趣,为何引领该实验室走向其发展的方向,这一兴趣如何在当代人工智能(AI)及其他领域得以体现,以及它未来可能如何继续影响神经形态人工智能(neuromorphic AI)。
### 论文解读:回顾加州理工学院(Caltech)的“神经形态时代”及其对当代人工智能(AI)的启示
#### 1. 研究背景与现存问题
**研究背景**:本文通过对该领域先驱卡弗·米德(Carver Mead)研究员的深度访谈,回顾了20世纪80年代初至90年代末,加州理工学院(Caltech)物理学计算实验室(PCMP)所开创的“神经形态时代”。这一时期的核心目标是利用模拟超大规模集成电路(Analog VLSI)技术,构建受生物神经系统启发的硬件计算模型,以期实现远超传统数字计算的能效。研究人员的兴趣源于与马克斯·德尔布吕克(Max Delbrück)研究员的交流,以及前往瑞士康斯坦茨(Konstanz)学习神经通道生物物理学的经历,这促使他们从同步逻辑设计转向神经计算研究。
**现存问题**:在访谈中,卡弗·米德(Carver Mead)研究员反思了神经形态工程领域面临的核心挑战。尽管利用模拟亚阈值电路可以模拟生物神经元的指数级计算特性,并构建出硅视网膜、硅耳蜗等原型系统,但该领域最终在主流硬件人工智能(AI)的发展中被边缘化。主要原因包括:数字逻辑的持续规模化(摩尔定律)带来了压倒性的性能优势,载流子迁移率(carrier mobility)的物理限制(电子比离子快10
7倍)使得模拟电路难以匹敌数字电路的精度和可扩展性,以及同步逻辑设计方法学的成熟使得工业界更倾向于采用数字方案。此外,研究人员指出,神经形态工程领域未能充分认识到,模拟电路中的器件失配(mismatch)问题可以通过片上学习(on-chip learning)和自适应(adaptation)机制来解决,但这在当时并未被主流接受。
**研究意义**:这篇访谈的价值在于,它从历史视角审视了神经形态工程的起源、发展及其对当代人工智能(AI)的深远影响。尽管早期的模拟神经形态路径未能直接主导商业市场,但它孕育了多个关键的技术思想,如地址-事件表示(AER)、胜者全取(WTA)电路、以及利用空闲时间进行二维流水线计算的结构化脉动阵列(systolic array)概念。这些思想最终在现代人工智能(AI)硬件(如英伟达(NVIDIA)的GPU)中得以体现,尤其是脉动阵列架构在延迟了40年后被广泛采用,极大地推动了深度学习的发展。该访谈揭示了学术前沿探索与工业应用之间漫长的、非线性的转化过程,强调了基础研究在推动技术革命中的关键作用。论文发表在《IEEE Circuits and Systems Magazine》。
#### 2. 主要关键技术方法
研究人员在早期神经形态研究中主要采用了以下关键技术方法:
1. **模拟超大规模集成电路(Analog VLSI)设计**:利用场效应晶体管(FET)的亚阈值(subthreshold)区域工作特性,构建能够模拟生物神经元和突触的指数级电流-电压关系的电路。
2. **生物物理建模**:基于对人工脂质通道和神经通道的实验生物物理研究,设计电子电路以模拟神经元的生物物理特性,从而构建出首个具有生物物理真实感的硅神经元(silicon neuron)。
3. **地址-事件表示(Address-Event Representation, AER)**:一种用于多芯片系统的通信协议,允许不同芯片上的神经元通过异步、事件驱动的方式交换信息,从而构建大规模神经形态系统。
4. **自适应与片上学习**:利用电路自身的适应能力(如使用电容存储或浮栅晶体管)来补偿模拟电路中的器件失配问题,使系统能够通过在线学习(on-line learning)自动校准。
#### 3. 研究结果
**(1)从生物物理到硅视网膜**
在对生物物理产生兴趣后,米德(Mead)研究员与米莎·马霍瓦尔德(Misha Mahowald)研究员合作,后者提议构建第一个超大规模集成电路(VLSI)视网膜。该工作标志着该领域从基础生物物理建模转向构建系统级功能模块,实现了用硅片模拟生物视觉处理的第一步。
**(2)系统开发基金会(SDF)的资助与自由探索**
米德(Mead)研究员通过阿诺德·贝克曼(Arnold Beckman)研究员了解到系统开发基金会(SDF),并获得了为期五年的无限制拨款。这笔资金被认为是整个领域起飞的关键,因为它允许研究人员自由探索并构建了第一批硅视网膜、硅耳蜗、中央模式发生器(central pattern generator)、生物物理硅神经元、双耳声音相关芯片、多芯片系统(AER)、以及胜者全取(WTA)和立体匹配等基础电路。
**(3)数字逻辑的胜利与神经形态的“被边缘化”**
研究人员指出,数字逻辑的持续规模化是导致模拟神经形态工程被主流硬件人工智能(AI)边缘化的主要因素。数字电路通过不断缩小特征尺寸、提高时钟频率,其性能增长远超模拟电路,使得人们更倾向于使用数字方法(如使用GPU运行卷积神经网络)来解决问题,而非坚持生物物理模拟路径。
**(4)脉动阵列(Systolic Array)的长期影响**
米德(Mead)研究员回忆了H.T. Kung研究员1975年关于脉动阵列的论文,该论文提出了在二维硅阵列上进行流水线计算的思想,但被长期忽视。直到40年后,现代人工智能(AI)硬件(如英伟达(NVIDIA)的GPU)才将其作为核心架构,这被认为是推动当前人工智能(AI)革命的关键技术。这表明,一项基础性技术思想可能需要数十年时间才能找到其杀手级应用(killer application)。
**(5)成功衍生公司的经验**
访谈中提到了多个成功衍生公司,如Synaptics(触控板市场)、Foveon(图像传感器)、Impinj(射频识别(RFID)市场)和Audience(智能手机音频处理)。米德(Mead)研究员认为,这些公司的成功源于对生物系统低功耗计算的洞察,以及将学术思想转化为商业产品的关键过程。他强调,创始人必须倾听潜在客户的意见,并善于将想法清晰地表达出来,而不仅仅是沉迷于技术本身。
#### 4. 讨论与结论
**讨论总结**:
在讨论部分,研究人员深入探讨了神经形态计算未来的可能性。他们指出,尽管当前的人工智能(AI)系统(如大型语言模型(LLM))在语言处理方面取得了巨大成功,但其功耗远高于人脑,且缺乏人脑的实时感知和运动控制能力。米德(Mead)研究员认为,大脑的运作方式(包括树突计算(dendritic computation)、胶质细胞的作用以及模拟-数字混合信号处理)中仍有大量未被理解的机制,这些可能是实现真正高效、类脑智能的关键。他特别强调了米莎·马霍瓦尔德(Misha Mahowald)研究员的工作,即混合信号(mixed analog-digital)处理是实现低功耗和强大计算能力的正确途径,这一方向至今尚未被完全实现。研究人员总结道,当前的人工智能(AI)热潮(尤其是基于Transformer的模型)只是冰山一角,未来可能需要探索更多生物灵感,如采用具有状态(stateful)的突触模型,或利用新兴内存技术(EMT)来模拟大脑的并行模拟计算。
**研究结论**:
(翻译自原文最后一轮对话)卡弗·米德(Carver Mead)研究员总结道,Caltech的神经形态时代并非仅仅是一个小团体的孤立项目,而是对整个计算领域产生了巨大影响。其产生的思想(如并行处理、模拟-数字混合计算)在全球范围内扩散,最终催生了基于脉动阵列的现代人工智能(AI)硬件,这一转变是“计算机科学和神经科学有史以来最重大的事件”。研究人员强调,真正的突破往往来自于一个看似不起眼的小组,并且需要很长时间,当正确的思想、正确的人、在正确的时间遇到了能解决的关键问题,才能产生巨大的商业和科学影响。因此,研究者不应局限于当前主流,而应持续关注那些看似“奇怪”但可能蕴含未来方向的基础研究。