基于薄膜锂铌酸盐平台的波导阵列光学神经网络

《Advanced Photonics》：Waveguide-array optical neural network on thin-film lithium niobate platform

　　光子并行计算为实现人工智能提供了重要的方法，有望在处理速度、能源效率和延迟方面带来显著提升。然而，大多数光学计算架构的集成密度和鲁棒性仍然面临重大挑战。在这里，我们报告了一种基于薄膜锂铌酸盐（TFLN）的波导阵列光学神经网络。由于波导阵列的紧凑尺寸，该架构的计算密度达到了9.48×10^4 TOPS/mm^2。此外，TFLN平台的高速和节能特性使得计算速度达到135.6 TOPS，能源效率为6.28 TOPS/W。我们在鸢尾花和手写数字识别方面的实验分别展示了100%和89.7%的准确率。该设备在75纳米的操作带宽内实现了超过90%的准确率，表明波导阵列对波长不敏感且具有卓越的鲁棒性。作为光学神经网络的紧凑范例，我们展示了波导阵列在执行光计算方面的潜力，从而为边缘计算、光电子集成和智能自动化的进步提供了解决方案。

1. 引言
人工智能在包括自动驾驶、计算机视觉、偏好分析以及大型语言模型等多个领域推动了多项进展，同时也产生了对数据和计算资源的大量需求。传统的电子计算架构，包括中央处理单元、图形处理单元和特定应用的集成电路，在处理大规模深度学习任务时面临高能耗和延迟的严重挑战。为了克服这些限制，光学神经网络（ONN）被视为下一代高性能计算的关键方向，它们利用了超高的能源效率、超高的带宽、超低的延迟和光速并行处理的固有优势。关于片上ONN的研究主要遵循两条技术路线：一条基于干涉仪阵列（如马赫-曾德尔干涉仪（MZI）和微环谐振器（MRR）来实现线性矩阵乘法器；另一条则利用静态衍射光学元件，称为片上衍射ONN（DONN）。然而，现有的片上光子计算解决方案仍然面临重大挑战。基于MZI/MRR的方案尽管可编程，但物理体积较大，限制了集成密度，而且它们的主动调制机制（例如热光学效应、等离子体色散效应或材料相变）通常能耗高且对环境变化敏感。相反，片上DONN利用平面衍射元件来执行计算功能，旨在实现高计算密度和能源效率。尽管如此，DONN的精确衍射结构要求极高的制造精度，这导致了较低的制造误差容差以及对工作波长的高敏感性，阻碍了其在波分复用和计算复杂性进一步扩展中的应用。

为了同时解决速度、能耗、集成密度和鲁棒性的关键挑战，一个有吸引力的途径是利用先进的材料平台和新颖的光子架构。薄膜锂铌酸盐（TFLN）平台以其强大的电光效应而闻名，为高速低功耗的光学调制提供了卓越的基础，直接缓解了传统基于硅或氮化硅的设备的速度和能耗限制。与此同时，波导阵列作为一种成熟且多用途的光子结构，具有出色的设计灵活性、稳定的制造工艺和紧凑的外形尺寸。尽管波导阵列在拓扑光子学等领域展示了自由形式设计的潜力，但它们在ONN中的应用历史上一直局限于简单规则的布局，未能充分利用其复杂的计算设计潜力。在这项工作中，我们提出了一种基于TFLN平台的波导阵列光学神经网络（WONN）。利用这种材料优势，我们创新性地采用波导阵列结构作为核心计算单元，如图1所示，以提高集成密度和鲁棒性。借助波导阵列的紧凑特性，我们实现了14.3 μm×100 μm（用于鸢尾花分类任务）和24.8 μm×300 μm（用于修改后的国家标准与技术研究院（MNIST）分类任务）的计算单元尺寸，计算密度达到了9.48×10^4 TOPS/mm^2。同时，我们的设备在75纳米的操作带宽内实现了超过90%的鸢尾花分类任务准确率，证明了波导阵列的波长不敏感性和卓越的鲁棒性。此外，通过利用TFLN平台的强大电光效应，它实现了理论估计的高计算速度135.6 TOPS和能源效率6.28 TOPS/W。这种方法在图1(c)中展示了出色的性能，并为神经网络计算单元的设计引入了一种新范式，这种设计不仅适用于各种材料平台，而且还增强了光计算中的设计灵活性。

2. 材料与方法
图1(a)展示了我们WONN设备的架构。该芯片集成了多模干涉（MMI）分光器、电光移相器、波导阵列和输入/输出光栅耦合器。输入任务首先被预处理并转换为电压信号，然后应用于移相器的电极以调制光相。调制后的光通过波导阵列传播，在其中执行矩阵-向量乘法（MVM），计算结果随后以光强度输出的形式获得。波导的密集排列引入了它们之间的耦合相互作用，这控制了光场的传播。通过精确控制每个耦合系的强度，可以有意设计波导阵列的传输矩阵??（见图1(a)和1(b)）。对于不同复杂度的任务实现传输矩阵??存在权衡：虽然复杂操作需要更多的波导，但过多的波导会浪费空间，因此在选择波导数量时需要找到平衡点。因此，分别使用10波导阵列（表示10×10权重矩阵）和20波导阵列（表示20×20权重矩阵）来分别处理鸢尾花任务和MNIST任务。在配置阵列的输入和输出端口时，采用了经过仔细考虑的选择策略以实现最佳任务性能。所选的特定波导建立了矩阵????×??和????×??（??、??和??分别是输入层、输出层和隐藏层的神经元数量），这些矩阵物理上实现了输入到隐藏层和隐藏层到输出的权重矩阵（见补充材料中的注S1）。

通常，耦合相互作用可以用耦合模式理论（CMT）来描述。对于图2(a)和2(b)中的波导阵列系统，假设波导之间的耦合系数为??1,??2,…,?????1，系统哈密顿量可以表示为方程（1）：
??=?? ? ? ? ? ? ? ? ? ? ? ? ??
??1??1?????1??2??2?????2??3???????????1????????1?????? ? ? ? ? ? ? ? ? ? ? ??
其中??1,??2,…,????是每个波导中的传播常数。在这项工作中，所有波导的结构特征相同，因此传播常数都是相同的。根据CMT，波导阵列中的光场传播可以用类似于薛定谔方程的形式描述：
????dd??????(??)=?????(??)
其中??是虚数单位，??是光场演化的方向坐标，???(??)=[??1?(??)??2?(??)…?????(??)]是坐标??处的光场分布。解决这个微分方程，我们可以得到???(??)=???(0)??????∫??0???d???。由于我们的设备中耦合系数和传播常数在演化过程中没有调制，方程可以简化为??=??????????。然而，CMT要求紧束缚近似（仅最近邻耦合）和恒定模式轮廓假设（波导之间的耦合不会扰动模态场分布），这在实际使用TFLN肋条波导时会导致局限性，因为光模式并不完全受限，从而引入了更高阶的耦合，使得CMT计算的场分布与实际场分布偏离。更准确的光波在波导阵列中传播的方法是本征模式展开（EME）技术。该方法首先计算整个波导阵列的本征模式，然后将输入场分解为这些本征模式，并计算每个模式的传播。最后通过在输出处这些本征模式的相干叠加获得输出场分布。尽管这种方法在计算上比CMT更为密集，但其结果与严格的数值模拟非常吻合。为了在训练过程中同时实现速度和精度，在我们的设备设计中引入了一种高效的训练优化方法。如图2(b)所示，WONN首先使用CMT模型进行训练以粗略估计耦合系数，然后通过EME模型进行细化以获得最终值（见补充材料中的注S2和S3，图S3）。

3. 结果
3.1. 鸢尾花分类器
在鸢尾花分类任务中，150个样本的完整数据集被随机分为训练集和测试集，比例为4:1，即120个样本用于训练，30个样本用于测试。图3(a)展示了神经网络两阶段训练过程中损失函数和准确率的进展。从第一阶段到第二阶段的训练过程中，损失略有增加，准确率相应下降，这与我们之前的讨论一致。训练完成后，我们的设备在模拟测试集上实现了100%的识别准确率。为了验证我们提出的架构的通用性，我们还为Palmer Penguins数据集设计了一个WONN，作为iris flower数据集的替代方案，实现了98.6%的理论测试准确率。图3下载全尺寸图像分析了iris flower分类任务的制造错误和实验结果。(a) 两步训练优化方法中损失函数和测试准确率与训练周期的关系。(b) 和 (c) 分别展示了损失函数和准确率随演化长度误差和波导宽度误差的变化。(d) 激励隔离波导阵列的每个输入端口后测量的输出强度分布与传播长度为105 μm的仿真结果进行比较。(e) 测试数据集上的分类结果混淆矩阵，准确率为100%。(f) 测试数据集的分类准确率作为波长的函数，显示在1495到1570纳米的范围内操作带宽为75纳米，识别准确率超过90%。(g) 到 (i) 当三种不同的iris flower物种在1550纳米的操作波长下输入WONN时，设计波导阵列的仿真输出和实验输出。每个图上方的插图展示了实验中捕获的图片，其中最亮的端口表示识别结果。在芯片加工和封装之后，由于加工缺陷，设备会进行初始的特征化和预操作校准及矫正程序。制造错误带来了两个影响。首先，波导阵列内部的形态缺陷会导致波导间耦合系数偏离其指定值，从而引起传输矩阵的误差。其次，光场在通过移相器后会被赋予一个初始相位误差，然后将其耦合到波导阵列中。我们首先分析波导阵列中制造缺陷的影响。图3(b)和3(c)分别展示了损失函数和任务准确率随演化长度误差和波导宽度误差的变化。可以观察到，在大约-7到+8 μm的长度误差范围内，WONN的识别准确率保持在90%以上；在整个考虑的-100到+100 nm的宽度误差范围内，识别准确率保持在95%以上，显示出对制造缺陷的极好容忍度。我们还对隔离波导阵列的性能进行了表征，并将实验结果与理论仿真进行了比较。通过依次激发每个输入端口，强度输出随后被记录下来，并在图3(d)中从上到下显示。实验结果与演化长度为105 μm时的理论仿真相符，这表明相关误差在5 μm以内，且在允许的范围内。为了补偿初始相位误差，提出了一种基于训练的现场补偿方法，该方法涉及直接在有错误的芯片上重新训练模型。优化变量被定义为每个电极的补偿电压，MSE被设置为目标函数，通过迭代梯度下降优化来最小化（见补充材料中的注解S5和图S7）。图3(e)展示了我们的设备在测试数据集上的识别结果的混淆矩阵，准确率达到了100%，整个数据集上的准确率为96%，证明了矩阵操作中的准确性和可靠性。图3(f)测试了WONN的波长响应，并测量了芯片在不同波长上的分类准确率。结果显示，在1495到1570纳米的范围内，识别准确率保持在90%以上，表明波导阵列对波长不敏感，证实了其卓越的鲁棒性。图3(g)–3(i)展示了在1550纳米波长下，三种不同iris flower物种的波导阵列的仿真输出和实验输出之间的比较，显示出极好的一致性。每个图上方的插图显示了输出的强度分布，其中最亮的端口表示识别结果，波导编号1、2和3分别代表Setosa、Versicolour和Virginica三种物种。

3.2. 手写数字分类器
MNIST手写数字图像分类是一个更复杂的任务。利用上述方法，相应地设计了一个新的WONN，其架构如图4(a)所示。MNIST数据集被划分为60,000张训练图像和10,000张测试图像，每张图像由28×28的灰度像素组成。在输入设备之前，每张图像首先被 flat 成一个784×1的向量，然后该向量由一个全连接层处理，将其压缩成一个10×1的向量以匹配设备上的输入数量[图4(b)]。在这个任务中，阵列中的波导数量设置为20个，演化长度为300 μm，以适应任务的复杂性。波导的宽度为600 nm，间隙范围从0.48到1.17 μm，总宽度为24.8 μm。这种配置在仿真中的测试数据集上展示了91%的识别准确率。我们还在一个数字芯片上进行了比较，其中压缩操作保持不变，WONN芯片被一个复值线性回归层替换，并重新进行了训练。结果识别准确率达到了87.9%，证明了WONN在识别任务中的有效性。图4(c)是制造的波导阵列的输入部分的SEM图像。在测试数据集中的300个随机选样上评估时，该系统在多级补偿方案下实现了89.7%的识别准确率。图4(d)显示了混淆矩阵，图4(e)–4(g)展示了错误补偿后数字“1”、“6”和“9”的分类结果，其中输出强度最高的代表最终识别结果（见补充材料中的注解S5）。

图4下载全尺寸图像
手写数字分类任务的示意图和实验结果。(a) MNIST识别任务的设备示意图，其中阵列中的波导数量增加到20个。(b) 神经网络的框架。通过 flattening 和压缩操作提取手写数字图像的特征，然后由所提出的设备进行处理。(c) 波导阵列的输入部分的SEM图像以及插入图中显示的放大视图。(d) 实验分类结果的混淆矩阵，准确率为89.7%。(e)–(g) 数字“1”、“6”和“9”的分类结果，由输出强度最大的结果确定。

4. 讨论与结论
这项工作展示了一种利用波导阵列进行矩阵-向量乘法的方案，用于光神经网络，该方案利用了波导阵列固有的紧凑性、制造稳定性和鲁棒性，同时将它们与TFLN的高速和低功耗优势相结合。生成的芯片在计算密度、计算速度、功耗效率和操作带宽方面表现出色。图1(c)和表1展示了WONN的关键性能指标以及与同一领域其他代表性工作的比较。以iris flower分类任务为例，波导阵列的尺寸仅为14.3 μm×100 μm。在实验速度为10 kHz下，根据参考计算方法，该芯片的计算速度为1.36×10^7 OPS。这一结果受到我们的测量系统的限制，并未达到TFLN调制器的最佳性能。假设在光学计算中广泛采用的100 GHz的切换操作可以通过TFLN调制器实现，计算速度可以计算为135.6 TOPS，相当于极高的计算密度9.48×10^4 TOPS/mm^2。这些速度和密度指标在片上光学计算领域中名列前茅，在TFLN平台上的实现中确立了这项工作的领先地位，如图1(c)所示，其中参考文献31的工作因其使用衍射单元的复杂设计和紧凑尺寸而位居榜首。关于芯片的功耗，主要部分归因于移相器的电容负载。仿真表明移相器的电容为10 pF，相应的能量效率为6.28 TOPS/W（见补充材料中的注解S6）。此外，该设备展示了75 nm的操作带宽，突出了波导阵列架构固有的波长容忍度。未来将波长分割复用集成到计算中，可以利用波长维度来扩展通道并增加信息容量，进一步释放基于波导阵列的光神经网络的计算潜力。

总之，我们首次提出了使用波导阵列执行矩阵-向量乘法并构建光神经网络的方法。通过灵活控制波导间耦合系数来配置所需的传输矩阵，我们在实验中实现了iris数据集100%的识别准确率和MNIST数据集89.7%的识别准确率，证明了光计算中的可靠性能。此外，它在计算速度、密度和操作波长带宽方面超过了其他TFLN平台，在片上光神经网络领域占据了领先地位，并为高速光计算核心提出了一个创新的架构范式。与动态可编程ONN的潜在集成将揭示一条通向可扩展、高性能光计算的美好道路。

表1
我们提出的WONN与其他片上ONN架构的性能比较。
| 平台 | 基本单元 | 吞吐量（TOPS） | 能量效率（TOPS/W） | 计算密度（TOPS/mm^2） | 操作带宽（nm） |
| --- | --- | --- | --- | --- |
| Google TPU | 8 | 电子 | N/A | 420.16 | N/AS |
| Shen等人 | 21 | SiMZI | 6.4@100 GHz | dN/AN/AN/A |
| Feldmann等人 | 28 | Si/SiNP | Ma | 2.6@18 GHz | 0.516 |
| Ashtiani等人 | 15 | Si | Attenuator + PDb + MRR2 | 2@21.7 GHz | 2.93.5 |
| Fu等人 | 30 | Si | Diffraction units | 1.38×10^4@100 GHz | d | 5.08 | 24.6×10^4 |
| Liu等人 | 31 | Si | Diffraction units | 300@100 GHz | d | 1.11.9×10^5 |
| Meng等人 | 14 | Si | NMMI | 0.54@16.6 GHz | 0.4 | 125.48 |
| Ou等人 | 39 | TFLN |MZI | 0.98@100 GHz | 40 | 0.0 |
| Zhang等人 | 35 | TFLN | MDCsc + phase shifters | 16.38@128 GHz | 4.55 | 0.56 |
| 4 | 我们的工作 | TFLN |波导阵列 | 135.6@100 GHz | d | 6.28 | 9.48×10^4 |

操作速度是理论估算的数据。