用于智能信息学的衍射光学神经网络：图像处理、通信和量子应用

《Advanced Photonics》：Diffractive optical neural networks for intelligent informatics: image processing, communications, and quantum applications

　　衍射光神经网络（DONNs）代表了一种物理计算范式，它通过编程光在一系列精心设计的衍射层中的传播来执行机器学习任务。通过利用衍射原理，DONNs能够以单次光传播实现复杂计算，具有巨大的并行性和最小的功耗，为传统电子架构提供了一种有吸引力的替代方案。在这篇综述中，我们总结了DONNs的基本原理，并探讨了它们在关键领域的应用，包括光学图像分类和高维成像、通过多路复用扩展通信容量以及量子信息处理中的新兴应用。最后，我们讨论了DONNs实际实施的主要挑战，并概述了使用光进行计算的新世代智能系统的可能未来发展方向。

1. 引言
受生物神经系统中处理信息能力的启发，人工神经网络已成为科学和技术领域的变革性力量。然而，传统电子架构在计算能力持续扩展方面面临着根本性限制。现代神经网络的计算需求已经从早期的VAEGNet架构增长到如今的大型语言模型GPT-5，这种增长速度已经超过了硬件效率的提升。具体来说，纳米尺度上的物理限制（如Dennard缩放定律的失效和量子隧穿效应）以及将内存与处理分离的冯·诺依曼瓶颈，阻碍了数据密集型神经网络的有效实现。为了应对这些挑战，基于光子的计算作为一种强大的替代方案出现，它承诺提供高带宽、内在并行性和低功耗。因此，对用于数学运算的光子处理器的研究日益受到关注。衍射是波动光学的一个基本特性，它自然地将不同的空间位置以类似于神经元互连的方式耦合起来。尽管这种连接性是由固定的物理传播定义的，而不是电子架构中可调节的权重和偏置，但它自然地实现了推理所需的高密度空间混合。这一见解促进了衍射光神经网络（DONNs）的发展。DONN将神经网络的数学运算物理地映射到光通过一系列精心设计的衍射层的传播上。每一层由一组像素（或神经元）组成，独立地调制入射波前的相位和幅度。通过将内存（衍射层的静态、图案化结构）与处理（光的衍射）物理上结合起来，DONNs可以减少与冯·诺依曼架构相关的数据传输，从而减轻某些推理任务的瓶颈。这些层的特定传输系数作为可训练的权重，通过学习算法进行优化，以最小化特定于任务的损失函数。

与它们的电子对应物相比，DONNs提供了几个优势。首先，光学传播在光飞行时间尺度上操作。其次，作为主要被动的光学结构，DONNs本身几乎不需要电力；主要的能量成本来自于光源、检测器和主动重构或控制电路。第三，整个输入光场在波前传播时同时被处理，从而实现巨大的计算吞吐量。第四，作为前置传感器计算平台，DONNs可以访问多种光学自由度，包括相位、偏振和波长，这些在由典型强度传感器记录时通常会丢失。这一能力使得可以直接提取多维信息以用于推理任务。

本文回顾了DONNs的最新进展，从物理原理和代表性应用到实际展望。第2节介绍了DONNs的原理，包括数学和物理模型（第2.1节）、训练和逆向设计（第2.2节）、线性和复数域操作（第2.3节）、光学非线性（第2.4节）以及基准测试和跨平台比较（第2.5节）。第3节回顾了DONNs在图像处理中的应用，包括被动光学计算视觉（第3.1节）、高维成像（第3.2节）和前置传感器处理（第3.3节）。第4节讨论了DONNs在通信中的应用，包括基本架构和应用（第4.1节）以及通信信道扩展（第4.2节）。第5节总结了DONNs在量子应用中的用途，包括量子门、量子态层析成像和少光子光学计算。最后，第6节讨论了主要挑战和展望，包括可重构架构、光学非线性、相干性以及实际设计指南。

2. DONNs的原理
2.1. 数学形式和物理模型
DONN的前向模型基于物理过程开发，包括（1）每个衍射层对复数光波前的调制和（2）输入或处理后的波前向下一层或输出平面的自由空间传播。这个序列通过一系列被动变换映射输入信息，在输出平面处完成检测。当相关特征尺寸和传播距离足够大，以至于极化转换、衰减耦合和亚波长矢量效应较弱时，标量衍射理论是光学分离衍射层之间传播的有效近似。这种条件通常在波长尺度或更大衍射像素的自由空间DONNs中得到满足，但不应被视为所有DONNs的通用假设。对于具有亚波长特征的超表面或超原子基DONNs，层响应通常需要严格的矢量建模，如全波电磁模拟或基于琼斯矩阵的描述。当场离开这样的层并在远大于近场耦合范围的距离上传播时，层间传播仍然常常可以用标量衍射来建模。

在可用的形式主义中，瑞利-索末菲衍射积分是标量衍射的严格模型，这是紧凑型DONN系统的特征。基于惠更斯-菲涅耳原理，瑞利-索末菲衍射积分可以准确计算出随后层上任何点的复数幅度，作为来自前一层的所有点的球面波的相干叠加。对于一层上的标量场???(??,??,0)，传播后的场可以表示为方程（1）：???(??,??,??)=????(??′,??′,0)???(?????′,?????′,??)?d???′?d???′，其中??(?????′,?????′,??)=1i???exp?(i?????)???cos???且??=√(?????′)2+(?????′)2+??2。这里，??=2?π/??，??是传播方向与表面法线之间的角度。这个物理积分过程自然实现了密集的、完全连接的矩阵-向量乘法，数学上类似于电子神经网络中的层，如图1(a)所示。尽管存在更计算高效的近似方法，如菲涅尔和Fraunhofer积分，但它们有可能在模拟和物理现实之间引入差距，尤其是在近轴近似不严格有效时。为了更快速、更准确的数值建模，经常使用角谱方法，并利用快速傅里叶变换进行高效实现。这种方法基于方程（1）中的卷积形式。进行二维傅里叶变换得到????(????,????,??)=????(????,????,0)????(????,????,??)，其中自由空间传递函数为???(????,????,??)=exp?(i???√??2???2?????2??)。因此，传播后的场为方程（2）：???(??,??,??)=??1?{??[???(??,??,0)]?exp?(i???√??2???2?????2??)}。

2.2. DONNs的训练和逆向设计
网络的可训练权重对应于每个衍射层上每个神经元的相位和幅度传输系数，通常使用标准深度学习算法（如反向传播和梯度下降）在传统电子计算机上进行优化。训练完成后，通过3D打印或光刻等方法制造衍射层，实现物理上的实例化，创建一个静态且特定于任务的光学计算机。这种计算机化训练方法的一个关键挑战是，实验实现的DONNs往往无法完美复制优化设计，衍射层的制造和组装中的错误可能会降低物理设备的性能。因此，已经开发了稳健的训练方案来增强网络对物理扰动的抵抗力。例如，Mengu等人引入了一种包含随机3D错位的DONN框架，在训练期间将这些位移纳入光学前向模型中。这种“接种”过程迫使网络学习对这种扰动具有内在容忍度的特征，显著提高了在实际条件下的设备推理准确性。此外，这种稳健的训练策略自然扩展到神经元设计层面，考虑结构变化可以减轻由于单个衍射或超表面单元制造不精确导致的性能下降。

从完全依赖于模拟模型的计算机化训练到在光学硬件上进行的原位训练的设计方法转变正在进行中。原位训练不仅通过避免计算密集型的数值模拟来加速训练过程，还为通过内在补偿物理缺陷的自适应和自学习光学系统铺平了道路。这种范式通常通过两种主要方法实现。第一种是混合训练，其中计算密集型的前向传递在物理设备上光学执行，而误差反向传播则由传统计算机处理。Spall等人展示了这种硬件在环方法，表明使用实际的光学输出进行损失计算可以使训练过程自然地补偿难以在数字上模拟的静态硬件缺陷。消除数字反向传播步骤代表了向更加光学辅助的原位训练的进一步进展。Xue等人提出了一种完全前向训练算法，它通过采用两次不同的前向传递来避免反向传递的需要。这样的无反向传播方法对于可扩展的原位训练很重要，并且可以减少对外部数字处理器的依赖。随着高刷新率主动调制设备的发展，预计原位训练将广泛用于DONNs的高效设计。

2.3. 固有线性和复数域操作
被动DONN的一个基本特征是线性。光的自由空间传播和每层的相位/幅度调制都是线性光学操作。数学上，多层线性DONN可以简化为一个复数值变换矩阵，如图1(b)所示。虽然单个衍射层在复杂波前 shaping 上的自由度有限，但增加层数提供了明显优势。额外的层可以更精细地控制光场，从而提高任务性能、增强信号对比度，并在输出处提高光效率。DONN作为一个物理本地的复数值神经网络起作用，而不仅仅是电子架构的光学仿真。尽管电子网络通常处理实数值，但光学场是由包含幅度和相位的复数值描述的。因此，DONN内的所有操作自然发生在复数域中。这一特征使DONN在处理相位信息至关重要的问题时具有独特优势，而这在传统图像处理中经常被忽视，但在相干成像、通信和量子力学中是核心。

2.4. 光学非线性
DONNs的一个关键限制是缺乏强大的内在非线性激活功能，这对于任何神经网络实现通用逼近能力都是必不可少的。在DONNs的早期演示中，非线性主要来自读出级的非线性，即光探测器的平方律响应，这只是在最终输出层引入了固定的非线性。因此，引入强大且可定制的非线性对于将DONNs从专用线性操作器扩展到通用计算系统至关重要。下图2定性比较了主要的非线性路径。

研究人员探索了各种全光材料激活实现方法，包括饱和吸收体、光折变晶体、二次谐波生成等。例如，Wright等人引入了一个训练框架，该框架应用反向传播来训练物理系统进行非线性计算，这在基于二次谐波生成的光学设置中得到了示范。这种方法可以提供快速的光学响应，但其实际应用通常受到阈值功率、光学损耗和弱可重配置性的限制。分布式非线性传播提供了另一种实现隐藏层非线性的途径。Oguz等人利用超短脉冲通过多模光纤传播时产生的复杂时空非线性。他们通过编程输入波前并使用一小组参数，展示了这个物理系统可以被优化用于机器学习任务，达到了与更大的数字网络相当的性能。与局部材料激活相比，分布式传播可以利用丰富的非线性传播动态，但其集成更为困难，通常需要仔细控制输入状态、功率水平和传播介质。另一种方法使用循环线性散射来实现非线性编码，允许线性系统高效地执行可训练的非线性计算。同时，Yildirim等人和小夏等人展示了如何通过利用多次散射事件（光与编码数据的反复相互作用）从线性系统中合成高阶非线性。小夏等人使用了一个多散射腔体，其中数字微镜设备（DMD）的反复反射产生可调的非线性映射，使得在实时行人检测等任务中实现极佳的光学数据压缩。Yildirim等人利用了空间光调制器（SLM）和镜子之间的多次反射配置，证明了在这些顺序交互中重复数据可以合成一个可编程的多项式变换，从而提高分类准确性和鲁棒性。这种方法的吸引力在于它不需要强的材料非线性，但有效非线性的代价是重复交互、更长的光学路径和校准敏感性。

除了这些光学方法之外，光电激活通过将电子可调性融入光学环路提供了另一种选择。在这个过程中，光场被传感器捕获，产生的电信号被处理以应用特定的非线性函数，然后驱动诸如SLM或DMD之类的主动调制设备，来调制下一层的光场。混合架构还提供了额外的架构灵活性和可重构性，使DONN能够处理从大规模分类到图像和文本内容生成等复杂计算任务。这条路线的最大优势是灵活性，而其主要代价是来自光电转换、设备刷新和电子控制的延迟和能耗。

图2中的比较强调了仅凭非线性强度并不足以评判一个非线性DONN。读出级的非线性简单、低损耗且鲁棒，但它不提供隐藏层的激活。全光学材料激活、分布式非线性传播和循环线性散射可以引入更丰富的非线性映射，但它们在损耗、可扩展性、集成性和可重构性方面存在显著差异。光电激活是最灵活的路线，但其系统性能往往受到电子电路的限制。因此，非线性DONN应该通过激活能量、响应时间、插入损耗、信道可扩展性、噪声容忍度、校准稳定性和端到端延迟来评估，而不仅仅是基于非线性传输曲线的存在。

片上集成的非线性光子学提供了一种平台级的方法，结合了紧凑的传播、减少的光电转换开销和可编程的非线性响应。Yan等人报告了一个完整的硅氮化物集成神经元，它使用微环谐振器将高阶时间卷积与全光学Kerr非线性激活单片集成在一起，而Yanagimoto等人展示了一种可编程的非线性波导，能够通过光学投影动态重构二阶非线性的二维分布。这些例子显示了集成超越单一非线性响应的重要性。剩余的挑战是在保持低损耗、均匀响应和稳定校准的同时，将非线性设备与大通道空间DONN架构连接起来。

2.5. 基准测试和跨平台比较

根据光学衍射在完整计算管道中的作用，典型的DONN实现可以分为三个级别，如表1所总结的。被动DONN使用制造固定的衍射层来执行特定任务的光学转换，然后进行检测。可重构DONN仍然使用衍射作为主要计算机制，但它们的权重或功能可以通过SLM、DMD、液晶、数字编码超表面或相关可编程元件进行更新。混合DONN同时设计光学前端和电子后端，其中衍射通常执行预处理，如特征提取、压缩、过滤或光学编码，然后再进行电子分类、重建或生成。从被动到可重构再到混合DONN，被动衍射所承担的计算比例减少，而可处理的任务复杂性通常增加。

表1 代表性DONN平台的基准。范围是根据代表性报告和综述估算的。

指标 | 全光学被动DONN | 可重构DONN | 混合DONN |
|------------|--------------|-----------|------------|
| 波长 | VIS–IRTHz–RF | VIS–IRTHz–RF |VIS–IRTHz–RF |
| 层 | 1到6 | 1到6 | >3到6 | 1到4 |
| 尺寸 | 0.1毫米–厘米 | 厘米–DMD | 厘米–DMD |
| 神经元数量 | 每层104到107 | 每层102到104 | 每层104到106 | 每层102到104 |
| 可重构性 | 固定 | 固定或可编程 | 固定或可编程 |
| 任务复杂性和准确性 | 中等：分类、成像、超分辨率、复用；实验分类约90%到95% | 中等：分类、光束/脉冲整形、DOA、OAM/模式复用；实验分类约90%到98% | 中等–高级：对象检测、图像处理 |
| 数据吞吐量 | 每次10^4到10^6像素 | 每次10^2到10^4像素 | 每帧10^4到10^6像素 | 每帧10^2到10^4像素 |
| 延迟 | 核心：10^-10到10^-7毫秒；受读出限制 | 核心：10^-7到10^-6毫秒；受源/检测器限制 | 系统：1到100毫秒；DMD更新：10到100微秒 | 系统：0.1到10毫秒；受控制回路限制 |
| 能耗 | 光学核心约0；源pJ–μJ/帧；读出nJ–mJ/帧 | 光学核心约0；光学预算受损耗/效率限制 | 调制器主导；SLM/DMD mW–W；相机nJ–mJ/帧 | 主动元件/控制主导；通常为mW–W规模 |
| 制造 | 电子束光刻、纳米打印 | 3D打印 | SLM、DMD | PCB/编码超表面 |
| 综合工艺 | 中等–高级 | 低–中等（校准后） | 低–中等（校准后） |

这三种类型已经在不同的波长范围内实现。在可见光和近红外波段，典型平台包括纳米打印的衍射光学元件、超表面和集成光子结构。它们提供紧凑的尺寸和高的空间自由度，常用于成像、空间推理、光谱学和传感器前端处理。在太赫兹（THz）、微波和射频（RF）波段，DONN通常使用3D打印的衍射层、基于印刷电路板（PCB）的结构或数字编码超表面来实现。这些系统具有更大的设备尺寸和层间距，主要用于波束成形、到达方向（DOA）估计、无线信道控制、轨道角动量（OAM）复用和其他空间模式复用以及原理验证分类。

操作波长也决定了相关的设备尺寸、关键尺寸、材料平台和误差预算。因此，一个通用的容差数值是具有误导性的，因为主要误差源会随着波长、层间距、孔径大小、材料系统和任务复杂性而变化。THz和微波DONN可以容忍更大的绝对几何误差，但通常需要更大的自由空间堆叠。可见光和近红外超表面DONN可以支持更高的神经元密度，但需要更严格的单元格控制和更精确的制造。因此，DONN的有用规模不仅仅是名义上的像素或神经元数量。一个更有意义的衡量标准是在考虑制造误差、对准漂移、相位量化、有限相干性、探测器噪声和校准误差后仍然可区分的空间、光谱、偏振或OAM模式的数量。

系统级性能还应区分被动光学核心和完整的测量系统。衍射核心可以并行操作，并且几乎不消耗切换能量，因此其传播时间很少是实际的瓶颈。端到端延迟通常受到输入编码、SLM或DMD刷新、探测器集成、相机读出、模数转换器（ADC/DAC）、校准和对准的限制。能耗也应该以同样的方式考虑。光子能量、被动传播能量、调制器驱动能量、探测器/读出能量和墙壁插座能量描述了不同的量。因此，报告的延迟和能量值应说明它们是指被动光学核心、主动调制阶段还是完整的操作系统。

为了澄清DONN相对于其他光子人工智能（AI）平台的位置，我们在表2中比较了它们的物理原理、可重构自由度、优势、瓶颈和适用任务。与干涉网格网络相比，DONN的主要优势在于衍射可以直接在检测之前处理空间光场。这使得DONN特别适合于成像、空间推理、光束变换和光学复用。相比之下，干涉网格更适合于可编程的相干线性代数。对于固定的模拟操作、时间信号处理或Ising优化/二次无约束二进制优化（QUBO），光学模拟操作平台、光子存储器计算和相干Ising机器可能是更自然的选择，因为它们的物理动态直接匹配这些特定任务。因此，DONN应该被视为空间光学前端处理器，而不是所有光子AI平台的通用替代品。

表2 DONN与其他代表性光子AI平台的比较

| 平台 | 物理计算原理 | 可训练/可重构自由度 | 主要优势 | 主要瓶颈 | 适用任务 |
|------------|-------------------|------------------|-------------------|------------------------------------|
| DONN | 12,22–24,63 | 衍射将输入光场映射到特定任务的输出场 | 原生空间并行性和预传感器场处理 | 局限的隐藏层非线性；制造、对准和读出限制 |
| | | | | | |
| | | | | |
| | | | | |
| | | | | |
| | | | | |
| | | | | |
| | | | | |
| | | | | |
| | | | | |
| 干涉网格网络 | 14,16,92–95 | 相干干涉网格实现可编程的酉或线性矩阵变换 | 相位移动器和可调耦合器在网格中 | 可编程的集成线性代数 |
| | | | | | |
| | | | | | |
| 光学模拟操作平台 | 11,18,21,96–98 | 工程化的空间频率或材料响应实现固定的模拟操作 | 几何或材料传输函数；设计后通常固定 | 有限的训练能力、狭窄的任务范围和带宽限制 | |
| | | | | | |
| | | | | | |
| 光子存储器计算 | 99–102 | 具有记忆的非线性光子动态将时间输入映射到高维状态 | 输入掩模、反馈参数和训练后的读出权重 | 自然的时间记忆和非线性动态 | |
| | | | | | |
| | | | | |
| | | | | | |
| 相干Ising机器 | 103–106 | 由耦合的光学参量振荡器或相干脉冲网络编码Ising自旋并演化到低能量状态 | 耦合矩阵、泵浦计划和测量-反馈参数 | 用于Ising类型优化的物理启发式求解器 | |

3. 用于图像处理的DONN

在前一节建立的数学和物理基础上，我们现在探讨DONN最突出的应用领域之一：图像处理。与通常需要数据序列化的电子处理器不同，DONN直接在空间域中操作，使得光能够并行传播以处理高带宽的视觉信息。本节回顾了DONN在视觉计算中的发展，包括三个主要方向：用于推理任务的被动光学计算视觉、重建复杂光场的高维成像，以及结合光学效率和电子灵活性的混合预传感器处理。

3.1. 用于被动光学计算视觉的DONN

关于DONN的开创性工作始于被动光学图像分类[图3(a)]。初步实验是在太赫兹（THz）波长下进行的，较长的波长简化了衍射元件的制造，例如通过3D打印产生的那些。在这个基础方案中，如MNIST数据集中的手写数字这样的输入图像被编码到入射相干THz光束的振幅或相位上。所提出的DONN包含五个仅相位的衍射层，被训练用来衍射来自特定类别（例如数字“5”）的光，并在输出的预定检测区域聚焦。最终的分类由接收最大光强度的检测器决定。这个早期系统在MNIST上实现了91.75%的准确率，并为被动光学推理提供了关键的概念证明，如图3(b)所示。尽管在像MNIST、Fashion-MNIST和CIFAR-10这样的标准数据集上的简单分类任务可能无法完全捕捉现实世界的复杂性，但它们作为验证DONN的基本学习能力和可扩展性的关键基准。

图3 下载

用于被动光学计算视觉的DONN。(a) 使用光学衍射进行被动推理的DONN概念示意图。(b) 一个开创性的THz DONN实验结果，通过将最大能量聚焦在相应的检测器上来分类手写数字“5”。(c) 一种基于片上的超表面的DONN，在可见光谱中操作，以实现更小的尺寸和CMOS集成。(d) 一种为显著对象检测设计的傅里叶空间DONN架构。

随后向更短波长的转变以及对更先进纳米级制造的追求带来了实际优势。这种转变不仅使得设备显著微型化，并能与成熟的互补金属氧化物半导体（CMOS）技术直接集成，还大大提高了可实现的神经元密度。增加的神经元密度扩展了DONN的应用范围，超越了简单的分类，应用于更复杂和复用的计算视觉任务。例如，Luo等人展示的一种基于超表面的片上DONN在可见光谱中实现了复用分类，如图3(c)所示。通过工程化双折射TiO2超原子，他们将两个独立的神经网络编码到单个物理设备上，可以通过正交线性偏振访问。在另一项研究中，Goi等人使用双光子纳米光刻技术在CMOS图像传感器上直接制造了全息线性感知器，实现了每平方厘米超过5亿个神经元的高密度。这项工作为能够处理高分辨率数据的多层衍射神经网络（DONNs）提供了一种可扩展的制造方法。除了原始的自由空间模型外，还提出了更先进的DONN架构，以实现更灵活的互连。Yan等人设计了一种傅里叶空间DONN，其中衍射层放置在4f光系统的傅里叶平面中[图3(d)]。这种配置使网络能够直接操作输入场景的时空频率分量，从而实现显著性检测和高精度物体分类。为了进一步提高集成度，最近的研究聚焦于用引导波光学替代自由空间传播。Zhu等人在硅光子平台上展示了一种空间高效的集成衍射神经网络，其中光在板波导内传播，自然地执行波导阵列之间的傅里叶变换。同样，Fu等人开发了一种片上DONN，使用由板波导内的硅槽组成的单维介电超表面作为隐藏层。这些工作代表了架构的进化，将计算能力移到了紧凑的芯片上，并促进了与标准CMOS制造工艺兼容的可扩展光学计算系统。

3.2 用于高维成像的DONNs
除了处理二维强度外，DONNs的一个关键优势在于它们能够利用光的额外自由度，例如相位、光谱、偏振和轨道角动量（OAM）[图4(a)]。这种能力与编码孔径计算成像领域相契合，其中图案化掩模调制光场以编码场景信息，以便后续的计算解码。因此，DONNs代表了光编码器的智能化、数据驱动的扩展，可能用单个被动设备替代复杂的光学设置或数字算法。

4. DONNs在通信中的应用
除了处理二维强度外，DONNs的一个关键优势在于它们能够利用光的额外自由度，例如相位、光谱、偏振和轨道角动量（OAM）[图4(a)]。这种能力与编码孔径计算成像领域相契合，其中图案化掩模调制光场以编码场景信息，以便后续的计算解码。因此，DONNs代表了光编码器的智能化、数据驱动的扩展，可能用单个被动设备替代复杂的光学设置或数字算法。DONNs可用于高维成像，例如（a）处理不可检测的高维信号（如相位、波长、偏振）并将其转换为输出处的可检测强度分布；（b）光学复杂场成像器，其中DONN直接将输入的复数对象（振幅和相位）转换为仅强度的输出；（c）DONN可以设计成逆滤波器，用于逆向转换光通过多模光纤传播时引入的复数空间失真；（d）用于超分辨率成像的DONN，通过创建超振荡焦点区域来克服衍射极限。作为DONNs本质上是相位敏感设备，它们非常适合与相位成像相关的任务。DONNs可以被训练为直接将相位转换为振幅，实现无需干涉测量或数字后处理的定量相位成像和复杂场重建。例如，Goi等人使用片上DONN检索基于Zernike的瞳孔函数，便于实时检测和校正光学像差；另一种应用是通过高度散射介质（如生物组织或多模光纤）进行成像。在这些情况下，DONN可以作为物理逆滤波器处理散射的斑点图案，从而减少数字重建的计算开销，并提供一种通过复杂介质进行近实时光成像的实际途径。DONNs的编码能力还可以扩展到光的其他物理维度，如光谱和偏振，并可用于克服衍射极限以实现超分辨率成像。在光谱域，DONN可以利用衍射的固有色散特性，作为复杂的空间波长解复用器，将宽频输入光束的不同光谱分量路由到检测器的不同位置，有效地充当片上光谱仪或光谱成像传感器。在偏振域，Wang等人提出了一个框架，将可训练的偏振敏感的Jones矩阵超表面集成到网络层中，允许单个超设备通过编码不同的功能在正交偏振通道上执行多个独立的推理任务。得益于光操作的高度自由度，Chen等人通过光学超振荡创建了超分辨率焦点和针状光束，实现了远场超分辨率成像。从硬件角度来看，混合DONNs可以利用电子设备的可编程灵活性，解决复杂的、大规模的图像处理任务，例如使用电子控制的调制器（如DMD或SLM）和图像传感器构建的可重构衍射处理单元。这些包括衍射循环神经网络，通过光学反馈回路为时间记忆创建物理隐藏状态来处理连续数据流。Chen等人开发了一种全模拟光电子芯片，该芯片结合了固定的衍射光学前端和可重构的电子模拟计算后端，在复杂任务（如实时视频识别）上表现出优越的速度和能量效率。进一步发展为生成式人工智能，Chen等人引入了受扩散模型启发的光学生成模型，其中浅层数字编码器生成相位模式作为光学种子，然后可重构的衍射解码器通过光学处理这些种子从随机噪声中合成高保真图像，实现与大型数字生成模型相媲美的性能，但在推理过程中不消耗大量电力。混合DONNs的未来进展取决于优化光学和电子域之间的接口。从硬件角度来看，高速ADC和单片集成的进步对于克服当前瓶颈至关重要。从软件角度来看，设计在波域中最大化计算负载的架构可以将光学从被动前端转变为核心计算引擎。在系统层面，图像处理DONN应作为完整的成像管道进行评估，而不仅仅是孤立的光学核心。尽管在光传播过程中会发生被动衍射，但实际的帧率和能量成本可能主要由照明、输入编码、探测器集成时间、相机读出、调制刷新、电子控制和对准所主导。因此，关于超快或低能耗推理的声称应明确是指被动传播、主动调制、探测器读出还是整个成像管道。对于混合前置处理，相关问题是光学前端是否在这些非光学开销之后减少了整体传感器带宽、内存传输或电子工作负载。

4. DONNs在通信中的应用
除了在视觉处理中的应用外，DONNs的波动物理学在光学通信中提供了机会。下一代通信系统面临重大挑战，包括提高光谱效率、降低功耗、减少延迟和增强安全性。传统的电子方法依赖于能耗高的射频链路和复杂的数字信号处理，在扩展到更高频率和大规模天线阵列时受到硬件成本和热限制的日益限制。因此，DONNs通过将计算从数字域转移到光学或电磁波域，成为一种有前景的解决方案。与依赖数字信号处理的传统电子神经网络不同，DONNs利用电磁波在多层光学结构中的传播来进行计算、传输信息和进行推理。由于被动衍射核心通过光传播工作，它可以提供非常低的光学核心延迟，这对于延迟敏感的应用（如高速无线回传）至关重要。此外，衍射中固有的大规模并行性支持高维信号的同时处理，从而实现高吞吐量数据传输。除了速度和吞吐量外，DONNs可以通过在光学域执行部分处理来减少对某些传统数字存储、传输协议或预处理阶段的依赖。结合被动衍射元件，这种架构可以为某些推理任务提供低增量能耗，这对于能耗受限的通信系统可能有益。最后，独特的波传播特性可以用于创建物理层加密。在这一部分，我们回顾了DONNs在通信系统中的应用，首先考察了控制DONN功能的基本操作原理，然后分析了用于提高DONNs容量和性能的各种复用策略，并回顾了在不同通信和传感应用中的代表性DONN实现。利用光的波动特性，模拟波束成形方法在光子数（DONNs）内部使用传输或反射元件来调制传播相位，从而实现所需的波束特性。如图6(a)所示，Idehenre和Mills证明了DONNs可以将光辐射引导到指定的空间区域，实验结果表明，增加隐藏层的数量可以提高对目标波束轮廓的逼近能力。同样，Veli等人利用DONNs实现了宽带光脉冲的被动全光成形，成功合成了复杂的时间波形。所提出的DONN架构能够同时控制整个宽带谱的相位和幅度，为传统的脉冲成形技术提供了一种紧凑且节能的替代方案。在太赫兹范围内，Shi等人开发了一种五层DONN架构，该架构增强了入射辐射的散射效果，在广阔的空间区域内产生了相对均匀的波束强度分布，同时充分利用了每一层的功能。这种空间光控制能力自然地扩展到了光纤网络中的光交叉连接应用中。通过优化衍射层，将特定的输入端口映射到期望的输出端口，DONN可以作为一个高密度的被动开关矩阵，从而在不需要光电转换的情况下直接在光纤之间路由光信号，显著减少了网络节点的延迟和功耗。图6显示了DONNs在通信中的架构和应用：(a)基于DONN的波束导向架构，其中衍射层将光能导向预定的输出区域；(b)用于宽带脉冲成形的DONN，输入脉冲通过各层的频率依赖性衍射进行时间成形；(c)用于多通道通信的复杂DONN架构，能够同时处理不同频率的信号，并将它们导向不同的空间和角度输出。图(a)经美国光学学会许可复制（CC BY 2.0）；图(b)和(c)分别经参考文献72和76许可复制（CC BY）；图(d)经参考文献150许可复制（CC BY-NC-ND）。

作为物理解码器，DONN可以直接在波域执行信号处理任务，如到达方向（DOA）估计。DOA估计在无线传感系统中是一个重要功能，应用于通信、雷达和导航等领域。传统的DOA估计通常依赖于采样多个基带通道的射频电子前端，随后进行数字信号处理。这种电子处理链可能受到采样速度、数据传输带宽和能耗的限制，特别是在需要实时操作时。最近的进展引入了超分辨率DONN，它们可以直接在波域执行DOA预处理。Gao等人使用多层架构生成超振荡角响应，实现了超越传统衍射限制的高角分辨率。此外，Huang等人利用DONN在宽频带和大的入射角范围内估计DOA参数。如图6(c)所示，衍射系统为不同入射波建立了独立的虚拟通道，允许实时可视化光源的强度分布。通过共同优化编码器和解码器，DONN可以执行复杂的任务，如加密。 optical encryption提供了强大的并行处理能力以及数据传输所需的基本加密功能。与传统电子计算平台相比，DONN具有直接处理2D/3D视觉信息的独特能力，无需预处理步骤。Gao等人展示了一个多图像加密和隐藏系统，该系统通过不同的光通道路由不同的图像。此外，Yang等人使用空间非重叠的DONN进行复杂的数值线性变换，并提出了两种不同的图像加密实现方法。第一种方法通过幅度-相位编码或实-虚部编码来编码信息；第二种方法则反转加密-解密角色，使用空间不相关的DONN进行加密，并通过数字反演进行解密。Bai等人使用DONN实现了光学加密，适用于在功率约束下需要连续运行的远程系统。在复用方法中，Guo等人提出了一种集成偏振选择的超表面，只有当三个关键参数（传输方向、偏振状态和检测位置）正确匹配时，信息才能被解码，从而增强了信息处理的安全性。

为了扩展DONNs的通信能力，采用了各种利用光的基本特性的复用策略。这些方法通过在电磁波的不同物理维度上编码信息，创建了多个并行计算和通信通道，显著提高了系统吞吐量、带宽利用率和推理能力。关键的技术包括波长分复用（WDM）、偏振分复用和光振幅模（OAM）分复用。WDM是一种通过将不同信息流编码到不同波长上来扩展光网络容量的基础策略。WDM与DONN的结合为提升计算性能创造了新的机会。通过将特定波长分配给不同的计算任务，WDM支持的系统可以并行处理特定任务参数，从而优化推理精度。实现大规模并行通道的关键在于分散工程，既包括在meta-atom层面，也包括通过层间衍射，以确保不同波长的独特相位特性。在此基础上，Duan等人引入了一种多波长DONN，通过联合优化来建立最佳的波长-任务配对，展示了优越的多任务学习能力。为了进一步推进大规模处理，Li等人开发了一种能够利用大规模并行带宽的DONN，在所述的误差范围内可以实现大约2000个波长复用的复杂线性变换。此外，Luo等人构建了一种宽带DONN，展示了使用时间相干的太赫兹脉冲进行可调光谱过滤和空间控制的波长解复用。DONN操纵不同波长的能力使它们成为实现波长选择性开关的强大工具。通过工程化衍射层将特定光谱分量路由到不同的输出端口，DONN可以高效管理光网络中的多波长流量和通道路由。

偏振分复用利用光的不同偏振状态来携带独立的信息信号。Luo等人展示了通过将来自不同任务的信息编码到输入信号的不同偏振状态上来实现的同时双任务识别。如图7(b)所示，Wang等人开发了一种偏振分复用DONN系统，实现了高容量分类、八通道琼斯矩阵调制和定制的偏振加密。在此基础上，Li等人扩展了偏振分复用DONN的功能，开发了一个能够执行各种任意选定的光矩阵操作的多功能系统。从物理角度来看，具有各向异性亚波长结构的超表面提供了对偏振的出色控制。通过工程化具有特定平面方向的meta-atom，可以为左旋和右旋圆偏振光生成相反的相位移动，这是基于偏振的波束操纵的关键原理。OAM分复用作为一种关键技术，利用不同的OAM值创建单独的通道，从而扩展了信号复用应用中的通道容量。鉴于这些显著优势，DONNs与OAM的集成在光通信中受到了越来越多的关注。Huang等人展示了有效的OAM分复用和解复用涡旋光束的技术，将这些原理扩展到了模式转换和OAM位移键控应用中。为了解决OAM系统的复杂性，Xiong等人报告了一种基于DONN的OAM多路复用器/解复用器，使用混合幅度-相位调制实现了超过95%的衍射效率和模式纯度。为了处理具有不同偏振和OAM的复杂光束，Zhang等人提出了一种基于超表面的DONN，用于极化OAM光束的分类、生成和复用，实现了14种正交偏振涡旋光束的准确分类。Huang等人开发了一种空间编码方法，其中携带OAM的涡旋光束在预定的空间坐标产生特征图像模式，每个模式的位置与相应的轨道量子数唯一相关。

在系统层面，面向通信的DONN不仅应评估其被动衍射核心的性能。当波束成形、路由、DOA预处理、解复用或加密可以从数字电子器件转移到波域时，其优势最为明显。然而，端到端的延迟和能耗不仅仅由光传播决定，还包括光源、主动调制、探测器集成、读出、光电转换、反馈控制、校准和对准维护等方面。可重构的超表面、SLM和DMD可以提高对变化通道的适应性，但在任何系统级别的比较中都应包括它们的刷新率、控制功率、相位量化和校准开销。因此，关于光速或低能耗的声明应该通过报告每个处理符号或比特的完整链路级别延迟和能耗来量化，而不仅仅是被动光学核心的延迟。例如，已经证明光神经网络在平均每次乘法运算使用不到一个光子的情况下，能够执行手写数字的分类，接近计算效率的理论量子极限[图8(d)]。在此基础上，后续工作引入了一种基于物理规律的概率训练模型，即使在单光子模式下固有的极高散粒噪声（信噪比约为1）情况下，也能实现准确的推理。这些方法对于需要极低光照强度的应用具有前景，例如处理微弱信号或低光毒性的生物成像，并且有可能扩展到衍射神经网络中，进一步提高其能效。通过进一步利用先进的调制设备，如超表面，衍射光学神经网络（DONNs）的发展可能会朝着集成化、多功能的量子光子系统方向发展。一个主要趋势是从被动处理转向在衍射层内直接产生主动量子光。通过集成非线性超表面和超薄膜来实现芯片上的光子对生成，这些架构可以减少对外部庞大光源的依赖，从而可能实现更加紧凑的量子光子系统。此外，为了增强信息容量，这些架构预计会通过同时操纵多个自由度（如路径、偏振和轨道角动量）来利用高维纠缠态。将多光子纠缠与衍射光学神经网络处理器相结合，可能会实现更加紧凑且可训练的量子光学神经网络架构。

**总结与展望**
要将衍射光学神经网络（DONNs）从实验室演示推向广泛的实际应用，该领域正在多个关键前沿取得进展。未来的发展依赖于向更复杂架构的物理实现推进，通过动态重构能力扩展功能，并改进设计方法以适应多样的光学环境。DONN架构的发展正从宏观相位调制的优化转向微观物理结构和体积系统的精密工程设计。在单元层面，调制机制正从简单的相位积累元件转向复杂的亚波长超原子。这种转变使得能够在紧凑的空间内实现对光的多维控制，包括振幅、相位、偏振和色散的高维操控。在系统层面，架构正从级联平面层发展到单片体积设计。这种3D体积介质利用高密度处理单元和衰减波相互作用，显著提升了计算能力和连接密度。为实现这些复杂架构，先进的AI驱动的逆向设计方法也变得不可或缺。此外，从静态功能设备转向可重构架构对于下一代DONNs至关重要。通过将可调材料（如液晶、相变材料或电光聚合物）集成到衍射单元中，可以动态编程调制功能。除了可调权重外，可重构的网络拓扑结构将进一步提高系统性能。这种可重构性不仅便于功能扩展，允许单一硬件平台在多种任务之间切换，还支持高效的现场训练。通过实时更新物理参数，系统可以自我纠正制造缺陷或环境干扰，从而实现稳健的性能。

光学非线性是DONNs未来发展的另一个关键方向。如图2所示，不同的非线性路径在非线性强度、速度、损耗、功率、可重构性、噪声鲁棒性和集成兼容性方面存在权衡。主要瓶颈不再是否能够观察到光学非线性响应，而在于它是否可以用作可扩展的隐藏层激活函数。未来的进步可能需要非线性材料、集成光子设备、纳米制造、光学封装、热控制以及硬件感知训练算法的共同进步。如果这些瓶颈得到解决，DONNs将能够超越固定的线性波前变换，支持更深层次的光学推理、自适应光学学习和更通用的信息处理。最后，光学相干度仍然是影响DONNs计算能力的关键因素。尽管目前大多数实现依赖于完全相干的光照来最大化干涉效应和线性变换，但现实世界的视觉信号通常是部分相干或非相干的。在非相干光下运行通常会将系统简化为基于线性强度的变换器，限制其信息处理能力。然而，最近在网络重新设计和训练策略方面的进展表明，即使使用低相干光源，也能保持高推理精度和鲁棒性。弥合相干与非相干处理之间的差距对于扩大DONNs在环境光环境中的实际应用至关重要。

结合表1和表2中的基准测试和跨平台比较，这些应用为DONNs提供了一些实用的设计指导原则。对于成像应用，当输入信息已经以光场的形式存在时（如相位、光谱、偏振、空间模式或光纤传输的图像），近期机会最为广阔。在这些情况下，DONNs作为光学前端用于场变换、特征提取、压缩或传感器感知的预处理非常有用。评估应使用与目标任务相关的指标，如场保真度、模式可区分性、压缩比或下游精度。报告的结果还应显示制造和对准误差的影响，以及模拟与实验之间的任何差异。实际的设计原则不是最大化层数或神经元数量，而是使用在制造、对准、相干性、带宽和探测器约束下满足任务精度要求的最小光学网络。对于通信应用，当衍射可以替代昂贵的前端操作（如光束整形、空间路由、到达方向预处理以及波长、偏振、轨道角动量或空间模式通道的分流）时，DONNs最为有用。核心的设计权衡在于被动速度、可编程性、精度和可扩展性之间。固定的被动堆栈可以在固定功能下最大化光芯速度和增量能效，而可编程的超表面、SLM（空间光调制器）和DMD（数字微镜）则通过牺牲刷新延迟、相位量化、插入损耗、控制功率和校准负担以及通常降低的精度来提高适应性。因此，有用的层数和神经元数量应由可分辨的空间、光谱或模式通道的数量以及目标系统指标来确定，而不仅仅是名义上的像素数量。只有当增加自由度能够改善光束图案保真度、到达方向精度、通道容量、通道间隔离或在实际制造、对准和通道变化情况下的量子态保真度时，增加自由度才有价值。总体而言，可接受的制造容差、有用的网络规模和基准测试难度应通过端到端的任务性能来定义，而不是仅凭光学布局来确定。

总之，这篇综述概述了衍射光学神经网络的快速发展，从基础原理到其在成像、通信和量子科学中的变革性应用。通过将复杂计算映射到光的物理传播上，DONNs展示了光子学与人工智能的交汇点，为克服传统电子学的局限性提供了一条有吸引力的途径。随着先进的AI设计方法、新型可调材料和3D纳米制造技术的协同作用不断加深，DONNs有望重新定义信息处理的硬件基础，引领一个由光子计算硬件支持的智能信息处理的未来。