光学神经计算：从傅里叶光学到集成光子人工智能

《Optics & Laser Technology》：Optical neural computing: from fourier optics to integrated photonic artificial intelligence

　　

# 摘要

人工智能日益增长的算力需求推动了人们对光学计算的兴趣，将其视为传统电子硬件的高速、高效替代方案。傅里叶光学计算为该领域提供了重要的基础，因为卷积、互相关、频谱变换以及某些类型的线性变换等运算可以通过衍射、干涉和傅里叶域处理来实现。本综述追溯了光学神经网络计算的发展历程，从经典的4f处理器和自由空间衍射系统，到可编程光学神经网络、集成光子加速器、储层计算平台以及现场可编程光子架构。文中系统考察了底层物理原理、计算机制和硬件实现，特别关注可重构光子学、超表面、衍射深度学习、光子集成电路以及混合光电系统。本文批判性地讨论了在计算成像、自主感知、边缘智能、高速通信和量子信息处理等新兴领域的应用，以及可扩展性、可编程性、非线性计算、训练和系统集成等方面的挑战。通过将傅里叶光学定位为光学神经网络计算这一更广泛领域中的基础分支，本综述强调了自由空间、集成、可编程和混合光子技术向下一代人工智能硬件汇聚的趋势。

# 引言

人工智能已成为科学发现、医疗保健、自主系统、通信和大规模数据分析等领域中主导性的计算范式[1]、[2]。深度学习的空前成功在很大程度上归功于电子硬件的进步，特别是图形处理器、张量处理单元以及针对矩阵密集型工作负载进行优化的专用加速器[3]、[4]。然而，模型复杂度和数据集规模的快速增长暴露了传统电子计算架构的根本性局限。现代深度神经网络需要大量的乘累加运算，导致能耗急剧上升、内存传输瓶颈以及时延约束日益成为系统性能的制约因素[5]。随着人工智能继续向基础模型和实时边缘智能演进，寻找能够大幅提升吞吐量和能效的替代计算范式已成为一项关键的研究优先事项[1]、[6]、[7]。

光学计算作为克服这些挑战的有前景的方案重新受到关注，其利用了光的固有并行性、高带宽和超快传播特性[8]、[9]、[10]。与通过晶体管开关顺序执行算术运算的数字电子处理器不同，光学系统可以通过波传播、干涉和衍射直接执行复杂的线性变换。特别是，傅里叶光学处理器是模拟光学计算最早且最强大的表现形式之一[11]、[12]。自从开创性地发展出光学互相关器和空间滤波系统以来，4f傅里叶架构为在物理上优雅地实现卷积、互相关、模式识别和空间频率滤波运算提供了框架[13]。更广泛地说，光学矩阵-向量乘法可以利用自由空间传播、衍射元件、干涉网格、波分复用以及其他集成光子架构来实现。令人瞩目的是，许多这些运算与现代机器学习算法背后的数学原语相吻合，从而在经典傅里叶光学和当代人工智能之间架起了天然的桥梁。

近年来，衍射光子学、超表面、空间光调制器、计算成像和光子集成电路的进步，已将光学信息处理转变为新一代光学神经网络计算系统[14]、[15]、[16]。衍射深度神经网络、光学卷积神经网络、傅里叶神经处理器、集成光子神经网络、储层计算系统和可编程光学加速器采用衍射、干涉、波前调制、谐振动力学和可编程光子变换的不同组合，直接在光学域中实现神经网络功能[17]。在傅里叶和衍射架构中，波传播不再仅仅被视为光学现象，而是被视为能够以高并行性和低传播时延执行高维线性运算的计算资源[18]。然而，系统总能耗还取决于光源、调制器、探测器、电子控制、数据转换和内存访问。与此同时，可编程光子硬件和混合光电训练方法的发展也显著拓展了这些系统的计算能力和实际应用性[19]。

尽管取得了快速进展，该领域仍然分散在多个研究社区中，包括傅里叶光学、光学信息处理、衍射光子学、神经形态计算和人工智能硬件[19]、[20]、[21]。因此，经典4f光学处理器与现代衍射神经架构之间的许多基本联系仍未得到充分的阐述[16]、[22]。本综述旨在通过将傅里叶光学定位为光子人工智能这一更广阔领域中的基础分支，为光学神经网络计算建立一个统一的视角。它追溯了从传统傅里叶光学系统到当代衍射神经网络和新兴光学人工智能加速器的演进过程。第2节介绍了傅里叶光学计算的物理原理和基本运算，包括衍射、傅里叶变换、卷积、互相关、矩阵乘法和复值光学处理。第3节考察了傅里叶光学处理系统的历史演变，描述了从经典4f互相关器和模拟光学处理器向可编程傅里叶计算以及可训练光学智能平台的转变。第4节聚焦于4f光学神经网络的基本原理，包括傅里叶面计算、光学权重编码策略以及将经典傅里叶光学与现代神经架构直接联系的光学卷积运算。第5节讨论了衍射深度神经网络，涵盖其物理工作原理、训练方法、架构设计以及多层光学推理系统的出现。第6节和第7节回顾了支撑可扩展光学计算的硬件平台和光子实现技术，包括空间光调制器、数字微镜器件、超表面、光子集成电路以及混合光电计算架构。第8节分析了非线性光学计算和激活机制，这是限制全光学神经网络实现的最关键挑战之一。第9节在计算速度、能效、可扩展性和架构权衡方面，对光学计算与传统电子人工智能硬件进行了比较评估。第10节突出了推动当前研究的主要应用领域，包括计算成像、光通信、自主感知、边缘人工智能和科学机器学习。第11节讨论了与可扩展性、可编程性、制造偏差、系统集成和实际部署相关的重大挑战和局限，而第12节则探讨了面向可重构光子智能、物理原生计算和大规模光学人工智能系统的未来研究方向。通过系统考察底层物理原理、计算架构、硬件实现、性能权衡和未来机遇，本综述提供了一个全面的框架，用于理解傅里叶光学如何从一种信号处理工具演进为下一代人工智能硬件的基础技术。图1提供了傅里叶光学神经网络计算的层次化概览，展示了基本波动光学过程、计算原语、光学AI架构、硬件平台和新兴应用领域之间的关系。

## 各章节概述

### 傅里叶光学计算的物理原理与运算

光学神经网络计算能力源于波动光学和傅里叶域信息处理。与顺序处理电信号的电子处理器不同，光学系统通过电磁场的传播来处理信息。衍射、干涉和傅里叶变换使得数学运算可以直接在硬件中执行，确立了傅里叶光学作为光学计算的基本框架[23]。

### 傅里叶光学处理系统的演进

现代光学神经网络计算源自傅里叶光学信息处理，其中衍射和干涉使得卷积、互相关和滤波运算能够高速实现。这些光学运算与机器学习中使用的线性变换密切相关。因此，当代衍射神经网络和光学人工智能加速器代表了经典傅里叶光学计算架构的自然演进。

### 4f光学神经网络的基本原理

尽管第3节描述了光学神经网络计算向现代衍射架构的历史演进，但经典4f系统仍然是理解如何在实际中实现傅里叶域神经计算最重要的物理框架之一。通过利用傅里叶变换、衍射和波前调制，4f系统可以直接在硬件中实现卷积、互相关和矩阵乘法。因此，许多光学神经……

### 衍射深度神经网络

衍射深度神经网络代表了光学神经网络计算的重大发展，能够实现完全可训练的推理系统，通过工程化设计的灯光传播直接进行计算。它们的出现加速了全光学机器学习架构和光子AI加速器的开发。

### 傅里叶光学神经网络计算的硬件平台

傅里叶光学神经网络计算的快速发展不仅得益于机器学习算法的进步，也得益于光子硬件技术的重大进展。虽然衍射神经网络和傅里叶域处理器的计算原理在很大程度上与平台无关，但实际实现关键取决于底层光学硬件。不同的硬件平台在可编程性、计算……

### 光学非线性和激活函数

高效非线性运算的实现仍然是傅里叶光学计算和光学神经网络中的主要挑战之一[183]。虽然衍射、干涉、傅里叶变换和无源波前调制能够以出色的并行性自然执行高维线性运算，但仅靠光学传播无法产生深度学习所需的非线性变换。因此，可扩展光学激活机制的发展……

### 新兴计算范式

傅里叶光学计算的范围已远远超出早期主要面向静态图像分类的衍射神经网络[16]、[190]。现代研究越来越多地将光学系统视为能够支持多样化机器学习和科学计算工作负载的通用计算基质。这一转变在很大程度上是由以下观察驱动的：人工智能中许多计算密集型运算，包括……

### 性能指标与基准测试

傅里叶光学计算和光学神经网络从概念验证演示过渡到实用计算平台，需要严格的标准化基准测试方法。与传统电子处理器不同，其性能通常用每秒浮点运算次数、每秒万亿次操作和每次运算能耗等指标来表征，光学计算系统通过衍射、干涉和波传播来执行计算[196]、[197]、[198]。因此……

### 应用

傅里叶光学神经网络计算的现实意义在于其能够高效地解决现实世界中的计算问题。通过利用大规模并行性、高带宽以及线性运算的直接光学实现，傅里叶域处理器非常适合矩阵计算、图像处理、科学计算和实时推理[209]。与传统电子加速器不同，光学系统通过光直接执行许多运算……

### 挑战与开放性问题

尽管衍射神经网络、傅里叶光学处理器和光子AI加速器取得了显著进展，但仍有若干基本的科学和工程挑战继续限制光学神经网络计算系统的实际部署。虽然光学硬件在并行性、带宽和线性变换的能效实现方面具有引人注目的优势，但将这些能力转化为可扩展和可编程的人工智能……

### 未来展望

傅里叶光学、衍射光子学、人工智能和可编程光学硬件的快速融合正在将光学信息处理从一种专业的信号处理方法转变为更广泛的计算范式。如图23所示，未来的发展预计将由可编程光学处理器、基于超表面的神经计算、集成衍射光子学、光学AI加速器和量子……协同演进所驱动。

### 结论

傅里叶光学神经网络计算已从经典光学信号处理演进为一个有前景的框架，用于实现计算密集型人工智能运算。如本综述中所讨论的，衍射、干涉、傅里叶变换、卷积、互相关和光学线性代数提供了执行并行数学运算的物理机制，这些运算是许多机器学习工作负载的核心。从4f光学……的演进。

### CRediT作者贡献声明

Roman Vasilevich Skidanov：撰写—审阅与编辑、监督、资源、项目管理、资金获取、形式分析。Svetlana Nikolaevna Khonina：撰写—审阅与编辑、撰写—原稿、软件、资源、调查、数据管理。

### 利益冲突声明

作者声明没有已知的竞争性经济利益或个人关系可能影响本文所报告的工作。

### 致谢

本研究在"国家物理与数学中心"科学项目框架内进行，第一阶段为"国家超算架构研究中心"（2026-2027阶段），涉及傅里叶光学计算的基本原理和应用；部分工作在国家研究中心"库尔恰托夫研究所"的国家合同中完成，涉及硬件平台和光子实现技术。

Roman Vasilevich Skidanov | Nikolay Lvovich Kazanskiy | Svetlana Nikolaevna Khonina