基于时分复用神经网络的手写数字到二进制光电混合计算

《Optics and Lasers in Engineering》：Optoelectronic hybrid computing from handwritten digits to binary based on time-division multiplexed neural networks

　　

• •
  该架构采用七个可训练的时间序列振幅掩模，结合手写数字输入图像，有效地将具有挑战性的16类分类任务分解为四个并行运行的2类分类通道，并在时间序列中采用海明校验机制。
• •
  我们开发了一种具有定制激活函数和池化操作的两阶段训练策略。该方法实现了光学组件与电子组件之间的协同优化。
• •
  所提出的TDM-DOENN在可靠的数值模拟基础上实现了91.97%的16类分类准确率，计算速度达到2.56 TOPs/s，能效达到425.97 GOPs/W。

引言

人工智能技术近期取得了显著进展[[1], [2], [3], [4]]。众多计算设备不断涌现，以处理各种计算任务[5,6]。然而，传统的基于硅的电子处理器面临"冯·诺依曼"瓶颈[7,8]。大量的电子运算和频繁的数据读写循环对这些设备造成了巨大的热能和能耗负担。光学神经网络（ONNs）提供了一种功耗更低的可行替代方案[[9], [10], [11], [12]]。它们利用光子作为计算载体，借助衍射和干涉等波动特性，以光速执行并行的多维矩阵乘法和加权求和运算。至关重要的是，它们的能耗接近于零[13]。近期的光学神经网络展现出高达160 TOPs/W的高能效和亚纳秒级延迟[14,15]。研究人员还提出了一种称为全前向模式（FFM）的光学神经网络训练范式[16]。

特别是，衍射神经网络（DNNs）能够实现多种高级功能。已验证的应用涵盖多标签分类、定制偏振加密以及全光离散余弦变换（DCT）压缩[[17], [18], [19]]。此外，DNNs还实现了散射介质透射成像、定量相位成像、轨道角动量（OAM）复用全息术、利用超表面实现的可逆多任务DNN以及图像重建等[[20], [21], [22], [23], [24], [25]]。然而，DNNs的处理能力与像素数量直接成正比[26]。一旦像素数量达到输入和输出场的维度极限，性能便会趋于饱和。此外，光学衍射作为一种非理想矩阵算子，不可避免地会产生散斑串扰和衍射边瓣之间的干涉。这些现象共同构成了物理噪声。幸运的是，衍射光电神经网络（DOENNs）作为一种高度实用的解决方案应运而生，以应对这些挑战[15,27,28]。DOENNs结合了光学组件的高效率和大规模并行性，以及电子组件的强可重构性。

本文提出了一种时域复用衍射光电神经网络（TDM-DOENN），该网络融入了海明校验机制，以实现鲁棒且高效的十六进制转二进制运算。该系统采用七个可训练的时间序列振幅掩模，依次与相同的手写十六进制数字输入图像组合，送入相位调制层和后续的完全连接层。随后，我们研究了一种两阶段训练策略以提升神经网络性能。该方法迫使相位调制层将光能聚焦于少数特征光斑。具体而言，我们在第一阶段训练中引入了平均池化操作和Sigmoid激活函数。海明校验位专门设计用于抑制占光电系统16类分类总失败次数73%以上的单比特错误。我们与三个具有可比神经元数量的基线模型进行了全面的性能比较：全光时域复用衍射神经网络（TDM-DNN）、时域复用卷积神经网络（TDM-CNN）和时域复用多层感知器（TDM-MLP）。TDM-DOENN实现了91.97%的16类分类准确率，计算速度达2.56 TOPs/s，能效达425.97 GOPs/W。与其他三个基线模型相比，TDM-DOENN在分类准确率、计算速度和能效之间取得了良好的平衡。这些结果凸显了所提出的光电混合架构在自动驾驶、实时视觉感知、生物医学成像和高速光通信系统等方面应用的巨大潜力。

摘要片段

方法与结果

图1展示了TDM-DOENN的概念。该系统利用七个可训练的时间序列振幅掩模对手写数字进行编码。该方法将一个16类分类任务（十六进制数字"0"-"F"）分解为七个并行的二值通道。TDM-DOENN由前端相位调制层和后端完全连接层组成。该系统采用了具有定制激活函数和池化操作的两阶段训练策略。第一阶段训练利用

结论

综上所述，我们展示了一种基于时域复用和海明纠错的高效低功耗光电混合神经网络架构，用于十六进制转二进制运算。其关键创新在于通过采用时间序列振幅掩模，将复杂的16类分类任务分解为四个连续的2类分类任务，从而显著降低了光学组件的运算负担。整合

资助

国家自然科学基金项目（62305009）。北京工业大学物理与光电工程学院应用基础研究基金（ABRFSPOE2025-

CRediT作者贡献声明

郭立成：资源、调研、数据整理。周红强：写作——审阅与编辑、写作——初稿、指导、调研、获取资金、概念化。贾立阔：资源、形式化分析。满天龙：验证、软件、调研。万宇红：写作——审阅与编辑、可视化、方法论、概念化。

利益冲突声明

作者声明不存在任何可能影响本文所报告工作的已知竞争性经济利益或个人关系。

Licheng Guo|Hongqiang Zhou|Likuo Jia|Tianlong Man|Yuhong Wan