基于锂铌酸盐级联MMI（Multimode Interference）的任意矩阵计算器，用于卷积神经网络

《Optics & Laser Technology》：A lithium niobate cascaded MMI-based arbitrary matrix calculator for convolutional neural networks

光学计算中的多模干涉仪矩阵计算器在卷积神经网络中的应用研究。摘要：提出基于多模干涉仪（MMI）的任意矩阵计算器（MAMC）光子集成电路平台，用于卷积神经网络（CNN）的卷积层和全连接层矩阵向量乘法。实验表明在MNIST手写体数字和FASHION MNIST时尚服装分类任务中分别达到96.88%和92.22%的识别准确率，并通过误差分析验证系统鲁棒性。相较于MZI和PLC结构，该方案具有更高集成度、更低的误差敏感性和更强的波长偏移容错能力。

　　

刘宇彤|普拉加蒂·阿什纳|袁子峰|傅武杰|杨明翔|严云杰|罗琦|赵明山|亚伦·丹纳

大连工业大学光电工程与仪器科学学院，中国大连 116024

摘要

光计算在并行性、低延迟、低能耗和高带宽等方面展现出了巨大的潜力优势，这些优势对于快速发展的人工智能（AI）技术至关重要。在本文中，我们研究了一种基于多模干涉仪的任意矩阵计算器（MAMC）设备，并将其应用于卷积神经网络（CNN）的卷积层和全连接层中进行线性矩阵-向量乘法运算。实验结果表明，集成有MAMC的CNN在识别手写数字和时尚产品方面的准确率分别达到了96.88%和92.22%。此外，我们还从理论上分析了光学器件误差对系统准确率的影响，证明了该系统的鲁棒性。通过合理划分矩阵，该系统成功识别了MNIST数据集中的所有10个手写数字，准确率为93.51%。与使用马赫-曾德尔干涉仪（MZI）或微环谐振器的传统光计算架构相比，我们的系统在波长偏移和制造误差方面的鲁棒性得到了提升。这项研究展示了MAMC在光计算中的高效性和可扩展性，并证明了将其与CNN结合用于深度学习的可行性。

引言

智能家居[1]、自动驾驶汽车[2]和物联网应用[3]等智能技术的快速发展显著增加了对AI的计算需求[4]。然而，传统的电子计算硬件在能效、可扩展性和处理速度方面存在显著局限性[5]。相比之下，光计算[6][7]利用光的多维特性[8][9]实现了高速运算和极低的能耗。理论上，光计算的计算速度比传统电子计算系统快3个数量级[10]，因此在超越电子计算方面具有巨大潜力。

矩阵计算作为神经网络系统的关键组成部分，需要更快速、更精确的实现方式。近年来，光计算在矩阵计算领域展现出优势[11][12][13]。目前，常见的实现矩阵向量乘法（MVM）的光学方法包括波分复用（WDM）[14][15]、级联马赫-曾德尔干涉仪（MZI）结构[16][17]和平面光转换（PLC）[18]。基于WDM的矩阵向量乘法方法受可用波长数量的限制；而基于MZI的方法对$2\times 2$方向耦合器的50:50分光比非常敏感，容易导致计算误差[19]。基于衍射光学的PLC实现的矩阵向量乘法虽然能够处理大规模矩阵，但存在空间占用大和集成度低的缺点。最近，多模干涉仪（MMI）作为一种有效的酉矩阵转换器[19][20]受到了关注，因为它具有高集成密度、对波导制造误差的强鲁棒性，并且兼容单波长和多波长操作。

在本文中，我们提出了一种基于MMI的光子集成电路平台，用于卷积神经网络（CNN），该平台可以实现任意酉矩阵向量乘法。我们利用MMI的优势，实现了相对于电子计算更快的计算速度、更高的集成度以及更低的制造精度要求。

在接下来的部分，我们将详细介绍基于MMI的光子集成电路平台及其在CNN中的应用。首先，我们将解释基于MMI的酉矩阵计算的基本原理，然后介绍基于MMI的任意矩阵计算器（MAMC）的具体实现方式，以及如何利用它来实现CNN。最后，通过图像识别等基准分类问题的仿真来验证该系统的性能。

部分内容摘录

用于CNN的基于MMI的光子集成电路

我们提出的基于MMI的CNN光子集成电路平台如图1(a)所示。该平台由移相器、级联的MMI模块和光强度衰减器组成。我们将这种电路平台称为基于MMI的任意矩阵计算器（MAMC），因为它能够通过光学方式完成矩阵-向量乘法运算。该MAMC电路被设计为在卷积层中充当卷积核，在全连接层中充当权重矩阵。

图像识别结果

我们通过两个数据集对上述基于MMI的CNN架构进行了性能测试：（1）使用MNIST数据集的手写数字0-4；（2）FASHION MNIST数据集，其中包含五个不同类别：T恤、裤子、连衣裙、凉鞋和包，分别重新标记为0-4。需要说明的是，训练和测试使用的数据集是不同的。如图3所示，我们的仿真结果表明……

结论

总之，我们提出了一种光电混合CNN，其中集成了基于MMI的任意矩阵计算器用于线性计算。基于MMI的任意矩阵计算器比MZI阵列更易于制造，且其对制造误差的敏感度更低。实验结果表明，我们的光电混合CNN在MNIST数据集上的1-4位数字识别准确率为96.88%，在FASHION MNIST数据集的五个类别识别准确率为92.22%。移相器误差和光电二极管（PD）误差对网络测试准确率的影响……

作者贡献声明

刘宇彤：撰写 – 审稿与编辑、原始草稿编写、软件开发、方法论设计、实验研究。普拉加蒂·阿什纳：监督工作、方法论设计。袁子峰：撰写 – 审稿与编辑、方法论设计、实验研究。傅武杰：撰写 – 审稿与编辑、软件开发、资源准备。杨明翔：撰写 – 审稿与编辑、监督工作、方法论设计。严云杰：撰写 – 审稿与编辑、实验研究。罗琦：撰写 – 审稿与编辑、监督工作。赵明山：撰写 – 审稿与编辑

利益冲突声明

作者声明没有已知的可能影响本文研究的财务利益或个人关系。

致谢

本工作得到了新加坡国家研究基金会（NRF，项目编号CRP24-2020-0003）和教育部的资助。此外，本工作还得到了中国奖学金委员会（项目编号202406060041）的支持。