综述：片上光子神经网络架构

《Advanced Optical Materials》：On-Chip Photonic Neural Network Architectures

　　

人工智能正在快速发展，推动了对能够克服传统电子架构局限性的计算硬件的迫切需求。光子神经网络通过利用光的固有优势，包括高带宽、并行性和低延迟，成为一种有前景的替代方案。本综述对片上光子神经网络进行了全面且批判性的概述，涵盖了基础器件技术、系统架构和新兴应用。研究人员研究了关键的光子构建模块，包括马赫-曾德尔干涉仪（MZI）网格、微环谐振器（MRR）阵列、超构结构和相变材料（PCM）单元，并分析了它们各自的优势、局限性和可扩展性挑战。在这些平台基础上，研究人员比较了主要的神经网络实现，如全连接、卷积、循环、储层计算、基于Transformer和脉冲架构，突出了在精度、能效和集成复杂度方面的权衡。研究人员进一步讨论了从光信号处理到量子计算的应用领域。最后，研究人员确定了关键瓶颈，包括可扩展性、非线性实现和大规模集成，并概述了面向实用、高性能光子神经网络系统的未来方向。本工作建立了一个统一的视角，将器件级创新与系统级功能联系起来，为下一代光子计算技术的发展提供指导。

**2 光子神经网络的基本构建模块**

光子神经网络（PNN）的实现依赖于能够执行人工神经网络（ANN）核心计算原语（即线性变换和非线性激活函数（NAF））的光子器件。在典型的ANN中，每个神经元计算其输入的加权和，随后通过非线性映射进行处理。从数学上讲，单个神经元的线性运算可以表示为输入向量x和权重向量w的点积，如公式(1)所示。将此公式扩展到整个ANN层，计算可表示为向量-矩阵乘法（VMM），如公式(2)所示。在光子硬件中，这些线性运算可以通过光信号的干涉、传播和调制自然地实现。与依赖时钟和离散化过程执行乘加运算（MAC）的传统电子处理器不同，光子系统利用光的固有并行性，在单一传播步骤中执行这些运算。具体来说，权重乘法通过调制光信号的幅度和/或相位实现，而求和则通过光学干涉或光电探测内在发生，其中多个光场合并。因此，光子平台提供了高吞吐量、低延迟的点积和VMM实现，通常以模拟或混合模拟-数字方式实现，这对于加速ANN计算至关重要。为在光子芯片上实现这些运算，已开发了多种器件平台，每种平台利用不同的物理机制来实现加权线性变换：马赫-曾德尔干涉仪（MZI）通过干涉实现可编程幺正变换，广泛用于基于网格的VMM实现；微环谐振器（MRR）提供紧凑且波长选择性的加权元件，特别适用于波分复用（WDM）系统；超构结构通过工程化的衍射和干涉实现空间分布的线性变换；相变材料（PCM）单元提供非易失性和多级权重存储，实现存储内光子计算。

**2.1 马赫-曾德尔干涉仪**

作为光信号调制的基本构建模块，MZI可用于实现输入信号的可编程加权。通过适当配置其移相器，MZI能够实现受控的幅度和相位调制，允许在相干或非相干条件下组合加权光信号，以实现点积运算。此外，级联的MZI网络可以排列以实现任意线性变换，使其成为广泛采用的VMM平台。理想无损MZI的传输矩阵由内部和外部移相器控制的相位θ和?表示，如公式(4)所示。VMM的实现通常使用多端口干涉仪，即MZI网格。1994年，Reck等人提出了一种光学实现任意幺正矩阵的方法。Reck设计通过矩阵的奇异值分解（SVD）确定。任意N×M矩阵A可分解为N×N幺正矩阵U、N×M对角矩阵Σ和M×M幺正矩阵V，如公式(5)所示。在Reck设计中，使用分束器、移相器和反射镜来实现幺正矩阵，在片上平台上可用三角形MZI网格替代。2016年，Clements等人提出了一种不同类型的MZI网格结构，称为矩形网格。Reck和Clements设计都允许使用N(N-1)/2个MZI实现N×N幺正矩阵。由于对角矩阵也可用MZI实现，因此任意矩阵也可用MZI实现。随后，提出了考虑制造和损耗容限的多种设计。MZI架构在布局、光学深度以及对损耗和制造缺陷的容限方面有所不同。虽然MZI易于单元设计且高度可重构，但由于其相对较大的尺寸，固有地受到集成密度限制。此外，维持相位态需要持续功耗，特别是在热光调谐方案中，这降低了整体能效。此外，基于MZI的相干系统需要精确的相位校准和稳定，使其易受制造缺陷、热漂移和累积相位误差的影响，这些都对大规模集成构成重大挑战。

**2.2 微环谐振器**

MRR构成了一种紧凑且可扩展的PNN实现平台，特别是在利用WDM的系统中。与依赖空间路由的干涉方法不同，基于MRR的架构在多个波长通道上编码信息，在单个波导内实现并行处理，显著提高了计算密度。在此类系统中，输入信号通常编码到不同光波长上，每个微环作为波长选择性加权元件。通过调谐单个环的谐振条件，可以精确控制特定波长的传输，从而实现可编程权重。MRR阵列执行的整体计算可描述为跨波长通道的加权求和。对于第m个输出，此运算可表示为公式(6)，其中x_n表示在波长λ_n处的输入光信号，T_mn(λ_n)表示对应微环元件的传输系数。在此框架中，传输系数直接映射到权重矩阵的元素，即W_mn ≡ T_mn(λ_n)，从而在光学域中实现VMM运算。MRR的紧凑尺寸使得PNN具有高集成密度，WDM系统的集成进一步增强了计算并行性。尽管MRR允许通过热光效应实现可重构性，但由于其对制造容差的敏感性，需要严格预校准。与MZI类似，这导致持续功耗，且易受热串扰影响，可能降低整体计算精度。此外，基于MRR的PNN通常因使用非相干光而仅限于实值运算。

**2.3 超构结构与衍射单元**

超构结构和衍射单元通过利用光的空间传播、衍射和干涉，提供了一种替代方法来实现PNN。与基于波导的架构（如MZI和MRR）不同，衍射系统在光通过一系列结构化层传播时进行计算，实现固有并行和被动处理。2018年，Lin等人首次提出了光学衍射深度神经网络（D²NN）的演示。尽管D²NN的演示在自由空间中进行，但相同概念可扩展以实现片上衍射光学神经网络（DONN）。与自由空间DONN不同，片上DONN中的光在厚度受限的波导中传播。每层由空间图案化结构（如超表面）组成，其中每个点充当人工神经元，调制入射光场的相位和幅度。层间光传播可使用近场到远场变换、修正的惠更斯-菲涅耳原理或瑞利-索末菲衍射方程描述。层l的输出光场表示为公式(7)，其中E_l^out是层l的光学近场输出，E_lⁱⁿ表示输入光场，T_l是表示超表面复传输系数的对角矩阵。通过应用近场到远场变换，层l的远场输出可表示为公式(8)，其中G(y, y′)是麦克斯韦格林函数，H⁽¹⁾表示第一类汉克尔函数，k = 2πn_eff/λ，r = y ? y′，r = |r|，n?是表面的单位法向量。更紧凑的形式中，层间传播可解释为公式(9)。通过级联多层，可实现复杂变换，从而以全光学方式实现深度神经网络模型。除传统集成DONN外，还引入了利用超构结构的逆设计点积和VMM器件。通过逆设计方法，可生成具有明确定义目标函数的、服务于特定运算的光子器件。通常，基于超构结构的VMM器件被动运行，无需额外功耗，但其非可重构特性使得原位训练不可行。因此，基于超表面的PNN主要用于推理专用应用。此外，超构结构由于几何复杂，设计更困难，制造难度高于MZI或MRR。特别是，DONN难以在层间包含非线性激活。

**2.4 相变材料单元**

相变材料（PCM）因其能够提供非易失性、多级和可重构光学加权，已成为实现PNN的强大平台。材料如Ge₂Sb₂Te₅（GST）和Sb₂Se₃在非晶相和晶相之间表现出可逆转变，伴随折射率实部和虚部的显著变化。这些特性使PCM能够充当可调光学元件，直接在光子硬件中编码突触权重。在基于PCM的PNN中，器件的光传输由材料状态调制，从而实现加权乘法。基于PCM的光子突触的输出可表示为公式(10)，其中x_j表示输入光信号，T_ij(s_ij)表示由PCM状态s_ij决定的传输系数，y_i是输出结果。状态变量s_ij编码结晶度，实现连续或多位权重表示。PCM器件的有效折射率n_eff(s)可近似为公式(11)，其中n_am和n_cr分别对应非晶态和晶态的折射率，s∈[0,1]表示分步结晶。通过控制s，可连续调谐光信号传输，实现模拟权重编码。PCM不仅可用于简单波导，还可与MZI、MRR和超构结构结合使用。此外，VMM运算可使用交叉阵列架构实现。由于其可编程和非易失特性，PCM适用于低能耗的存储内计算。PCM可作为全光子、多级、非易失性存储器，并充当具有可塑性的片上光子突触。然而，通常由光或电脉冲诱导的切换过程可能导致热串扰和有限耐久性。此外，实现精确且可重复的中间态以实现模拟计算仍是一项艰巨任务。

**2.5 用于神经网络的替代光子平台**

除常用的用于VMM的光子构建模块（如MZI、MRR、超构结构和PCM单元）外，还探索了更广泛的光子组件和系统配置用于ANN实现。多模干涉仪（MMI）作为紧凑的衍射元件，通过多模干涉实现被动信号混合和权重乘法，为线性运算提供了低损耗和面积高效的替代方案。基于定向耦合器和波导交叉的光子交叉阵列进一步提供了可扩展的VMM互连方案，并可与其他器件平台集成，以增强连接性和灵活性。有源光子元件，如半导体光放大器（SOA）和可调光衰减器，支持信号的动态幅度控制，使其适用于加权。这些组件在混合光子-电子系统中尤为重要，其中需要增益和信号调理来补偿光学损耗并提高系统鲁棒性。尽管器件平台的选择不必然约束特定NN模型架构的选择，但它显著影响可实现的网络拓扑、计算精度、能效、可重构性和整体系统可扩展性。

**3 光子神经网络架构**

利用上述光子构建模块，可以构建能够进行NN计算的片上光子硬件。本节探讨多样化的片上PNN架构，重点关注克服了该领域主要瓶颈的开创性工作。这些挑战包括用于复值表示的宽动态范围、可扩展配置、非线性实现、可重构性、高能效、端到端推理和超低延迟。当前光子硬件平台设计用于支持ANN和脉冲神经网络（SNN）作为其核心计算模型。值得注意的是，SNN可视为ANN的扩展，通过应用事件驱动操作整合神经元动力学。在针对ANN的PNN中，重点在于实现连续的、实值的NAF，而用于SNN的光子硬件必须实现能够基于阈值触发和时序积分的脉冲神经元。

**3.1 全连接神经网络**

全连接神经网络（FCNN）是前馈神经网络中最基本的模型之一，由输入层、输出层和至少一个隐藏层组成，其中每层中的每个神经元连接到下一层的所有神经元。FCNN的运算源于VMM和NAF的组合。单个感知器层的输出可表示为公式(12)，其中W表示权重矩阵，f_act(·)表示非线性激活。通过堆叠多层感知器，FCNN逐步将输入变换为更高层次的特征表示。Shen等人提出的光学神经网络（ONN）由光学干涉单元（OIU）和光学非线性单元（ONU）组成，使用56个MZI构建OIU，并进行了实验验证。Zhang等人引入的光学神经芯片（ONC）实现了复值FCNN，通过编码光信号的幅度和相位，在6×6 ONN中启用复值运算。Tait等人于2016年介绍了广播-权重网络架构，使用可调MRR权重库，加权光信号非相干求和后由平衡探测器检测，实现正负权重。Cheng等人提出的片上MRR阵列用于复值VMM，在保持非相干计算方式的同时，将矩阵运算从实值扩展到复值。Fu等人报告的DONN由名为衍射单元（DU）的超表面组成，输入特征由输入光相位调制，并通过每个DU层执行特定任务。Wang等人基于低损耗PCM Sb₂S₃提出了可重构DONN，通过PCM折射率变化修改每个神经元的权重。Khoram等人提出的纳米光子神经介质（NNM）可支持线性和非线性运算，使用线性材料如SiO₂或空气，以及非线性材料如染料半导体或石墨烯可饱和吸收体，可实现包括ReLU函数在内的FCNN运算。

**3.2 卷积神经网络**

卷积神经网络（CNN）是一种基于局部感受野、权重共享和层次化特征提取的前馈神经网络架构。与FCNN不同，每个神经元仅连接到输入的一个局部区域，这显著减少了参数数量，同时保留了空间结构。卷积层中，输出特征图通过将可学习核在输入特征图的局部区域上卷积得到，可表示为公式(13)。在光子硬件中，卷积运算可执行为点积。Xu等人于2021年提出的光学相干点积芯片（OCDC）基于MZI，在实数全范围内运行，包括负值，并对全连接和卷积层均有效计算。Wu等人最近报告了能够进行端到端推理的光子CNN，片上架构包含卷积层和全连接层以及NAF。Huang等人提出的基于加-降双级串联耦合环谐振器（DCRR）的PNN，利用单PD架构支持正负权重计算，并利用DCRR的陡峭传输特性实现NAF。Zhu等人引入了2×2 GST使能光子核，利用GST折射率调制将传输离散化为64个级别，实现6位分辨率。此外，基于超构结构、MMI、PCM和衰减器的多种光子CNN也有报道。

**3.3 循环神经网络**

循环神经网络（RNN）设计用于处理具有序列或时间依赖性的数据，通过将前一时间步的隐藏状态纳入当前计算，保留序列中的上下文信息。对于输入序列x(n)，隐藏状态更新表示为公式(14)，其中h(n)表示隐藏状态，W_x和W_h分别表示输入和循环连接的权重矩阵。与FCNN和CNN相比，RNN在光子平台上的探索较少。Tait等人验证了可重构连续时间RNN与调制器驱动的广播-权重光子系统之间的数学同构性，利用此同构性，一个包含24个调制器的硅光子连续时间RNN在模拟中成功求解了微分方程。Wang等人于2025年引入了可重构多功能集成光子计算芯片，通过微梳光源，实验验证了FCNN、CNN和光子门控RNN模型。

**3.4 储层计算**

储层计算（RC）是循环模型的一个子集，旨在克服传统RNN的高训练成本。典型RC由输入层、储层和输出层组成，训练仅在输出层进行，而隐藏层角色由作为黑箱储层的非线性物理系统替代。储层状态更新表示为x(n) = f_act(W_inu(n) + Wx(n-1))，输出预测为Y = W_outx(n)。由于RC利用随机固定的储层权重，其在光子硬件中的实现比传统RNN简单得多。两种主要硬件方法已出现：空间分布式储层计算（SDRC）和时间延迟储层计算（TDRC）。Wang等人最近展示了集成SDRC的可扩展性潜力，使用硅片上电路实现了处理速度超过60 GHz的高吞吐量RC引擎。Donati等人演示了由被动硅MRR和波长-时分复用组成的RC系统，具有48个节点，在Iris数据集分类任务中达到92%的准确率。TDRC早期演示依赖光电反馈环路和光纤延迟线，近期研究聚焦于集成光子平台中的延迟基储层，如Borghi等人基于硅MRR的RC系统，利用时分复用输入生成具有50个虚拟节点的储层。

**3.5 基于Transformer的模型**

Transformer架构通过基于注意力的机制替代循环，克服了RNN的并行化限制和长距离依赖学习困难。自注意力机制允许序列的每个元素直接关注所有其他元素，定义为公式(15)，其中Q、K、V分别表示查询、键和值表示，d_k为键向量的维度。尽管Transformer模型优势显著，但传统PNN难以支持其复杂架构需求，因为大多数传统PNN仅支持权重静态运算，而注意力机制需要两个动态输入操作数的交互。Zhu等人于2024年提出了Lightening-Transformer，这是首个高性能光子Transformer加速器，支持全范围输入输出（包括负数）的通用矩阵乘法，并包含动态操作点积单元（DDot）。Ahmed等人报告了通用光子AI加速器，支持包括Transformer、CNN和强化学习算法在内的多种模型，通过封装四个光子张量核心（PTC）和两个数字控制接口（DCI）芯片实现。Tian等人基于Kramers-Kronig关系（KKR）提出了Kramers-Kronig注意力（KKA），通过光干涉实现常规MAC运算，并可在运行时编程，适用于Transformer网络的动态运算。

**3.6 脉冲神经网络**

脉冲神经网络（SNN）是模拟生物神经元动力学机制的动态系统架构，输入脉冲通过突触网络加权，当达到特定阈值时神经元产生脉冲。SNN中常用的脉冲神经元模型包括积分-点火（IF）、漏积分-点火（LIF）和Izhikevich模型，分别由公式(16)和(17)描述。Feldmann等人提出的全光学SNN通过PCM单元施加突触权重，并利用基于MRR的WDM技术实现可扩展架构，神经元实现IF响应。Guo等人引入了四通道全功能光子SNN架构，突触网络由MZI网格构建，基于磷化铟（InP）的光子集成DFB-SA作为脉冲神经元，实现LIF样响应，在HIV和Splice数据集基因序列分析中分别达到97.3%和98%的准确率。Lee等人于2022年报告了实现Izhikevich启发模型的光子SNN，突触网络通过MZI网格非相干构建，光电Izhikevich启发脉冲神经元由光电探测器、电子晶体管电路和激光器组成。

**4 光子神经网络的应用领域**

**4.1 经典逻辑与算术运算的光子实现** 布尔运算是NN架构最基本和说明性的基准，PNN通过分布式可训练变换执行布尔运算，展示了神经计算而非静态逻辑设计。Zarei和Khavasi在SOI平台上实现了片上DONN，在1.55 μm处实现AND、OR和NOT运算，工作带宽60 nm。Zhang等人的复值ONC通过单个片上神经元实验实现了NAND和XOR等布尔函数，使用三个MZI和六个可调相位参数。Donati等人实验演示了基于硅MRR的TDRC系统，在延迟布尔任务中实现了包括AND和XOR在内的无误码性能。

**4.2 光子感知系统：成像、视觉与传感** 片上PNN架构已应用于感知应用，如图像分类、模式识别和语音识别。Wu等人提出的多模光子CNN由2×2 PMMC阵列组成，对MNIST数据集的手写数字识别实现9%的错误率。基于SiN的OCPU架构对MNIST手写数字分类实现92.17%的实验准确率。Xiang等人引入的混合光子卷积SNN对TIDIGIST数据集语音识别任务达到93.75%准确率。全集成相干PNN用于元音分类任务，准确率92.5%。

**4.3 量子计算的光子平台** 集成光子平台已用于量子增强机器学习和可编程量子光子处理。Yin等人在可编程集成光子处理器上实验演示了量子增强核方法机器学习，通过量子干涉测量估计核点积，并应用于监督分类任务。可编程集成量子光子电路提供了类似NN的量子处理的可扩展基础。

**4.4 新兴与专门应用** PNN架构已用于信号处理和安全相关应用。基于MRR权重库架构的光子主成分分析（PCA）和独立成分分析（ICA）已得到演示。基于MRR阵列的光子图像加密展示了高重构保真度和噪声鲁棒性。基于级联片上衍射超表面的光子集成流密码被实验演示，可作为3×3逻辑门加密七种非零三比特输入状态。

**5 讨论：挑战与未来展望**

**5.1 光子神经网络作为加速器** PNN可分为深度学习和神经形态加速器。深度学习加速器旨在加速ANN的重型计算，与数字GPU和TPU竞争。神经形态加速器专注于高保真模拟生物系统。在光子实现中，两者界限常模糊。光子深度学习加速器需集成封装技术，如Lightening-Transformer实现比数字对应物低两到三个数量级的能量-延迟积。神经形态PNN在光子中解释更宽泛，光子计算本质上是模拟的，适合概率计算，各种复用技术促进高并行性，PCM正被积极研究用于实现存储内计算和可塑性。

**5.2 可扩展性与计算能力** 片上PNN的可扩展性取决于光子特性、架构和集成策略。干涉MZI网格中，维度增加导致累积插入损耗、控制复杂度和相位误差敏感性增加。MRR权重库需精确谐振控制，谐振带宽、FSR、热稳定性、信道间距和插入损耗权衡是主要限制因素。应对策略包括自配置方法、优化初始化和硬件感知训练。

**5.3 光子神经网络中的非线性** 实现片上非线性仍是PNN的主要瓶颈之一。许多NAF依赖于光电混合方案，但重复O/E和E/O转换增加延迟和能耗。全光子替代方案如非线性吸收、载流子驱动效应和共振增强材料非线性，但响应弱或激活阈值高。石墨烯-Si异质结展示了可重构片上NAF。SNN需实现脉冲神经元，已通过半导体激光器和MRR实现，利用PCM状态转变提供非线性阈值和记忆效应。

**5.4 光子存储内计算与突触可塑性** 光子存储内计算通过将计算直接置于存储器元件内，减少数据移动能耗。PCM提供非易失性多级状态，实现突触权重直接映射到光子电路，实现近零静态功耗的高吞吐量线性运算。PCM的结构相变可精细调谐以表示连续突触权重，支持脉冲时序依赖可塑性（STDP）。但频繁重编程导致材料疲劳，随机相变引入噪声，不对称可塑性（结晶渐变、非晶化突变）是挑战。

**5.5 概率与随机光子计算** PNN在模拟域中自然运行，噪声和波动不可避免。研究已证明固有光学噪声可作为计算资源，用于随机和概率计算，如贝叶斯神经网络（BNN）和生成模型。Wu等人证明放大自发发射（ASE）噪声可增强生成对抗网络（GAN）性能。挑战在于控制随机行为以平衡随机性和计算精度。

**5.6 硬件-算法协同设计与训练范式** PNN的性能取决于硬件-算法协同设计，整合器件级约束与神经网络模型优化。硬件感知训练将物理噪声和分辨率限制纳入优化过程，原位方法利用实时测量迭代更新参数。算法框架需适应光子系统的结构不对称性，如最小化非线性复杂度。未来成功在于统一框架，使用可微光子建模和自动化设计工具。

**5.7 光子神经网络中的能量缩放与功率约束** 能效是PNN可扩展性和实际部署的关键因素。热光调谐的功耗和O/E、E/O转换的能量开销构成主要障碍。策略包括非易失性存储内计算、先进光子-电子共封装和片上非线性组件。部分相干光源的研究为增强能效和可扩展性提供了前景，事件驱动方法如SNN提供进一步节能潜力。

**5.8 单片集成与封装工艺** 与成熟制造技术的集成和兼容性是PNN从实验室演示向大规模可制造系统过渡的关键因素。硅光子学因与CMOS工艺兼容成为最有前景的候选平台，但面临固有局限。其他平台如InP、SiN和异质材料系统提供集成光源、低传播损耗或增强非线性，但制造成熟度或集成复杂度较低。光子与电子组件的集成是关键挑战，封装和互连技术构成可扩展部署的瓶颈。

**6 结论** 本综述全面概述了片上PNN架构，涵盖其基本构建模块、系统级实现和代表性应用领域。光子学的固有优势使其特别适合加速数据密集型工作负载。然而，在PNN从概念验证向实用可扩展计算解决方案过渡之前，必须解决可扩展性、光学损耗累积、非线性、能耗和制造误差容限等关键挑战。系统集成中的挑战，包括CMOS兼容性、封装和光子-电子协同设计，必须克服。光子计算的模拟本质引入了精度、噪声和鲁棒性问题，需要新的硬件-算法协同设计策略。展望未来，材料创新、低损耗光子集成和异质平台的进步将在克服当前限制中发挥关键作用。硬件感知训练算法、原位学习技术和误差弹性架构的发展对于充分开发光子系统的能力至关重要。