基于时分复用多层光子储备池计算架构的高吞吐多媒体信号实时处理

《Scientific Reports》：Deep binarized photonic reservoir computing for ultrafast multimedia signal processing

　　

摘要

我们提出了一种基于数字微镜器件（DMD）超快二值光调制、随机介质中的光散射、基于CMOS传感器的高速光检测以及时分复用多层结构的深度光子神经网络架构。该系统基于储备池计算（RC）框架运行，光信息吞吐量达到吉比特每秒（Gb/s）级别，在视频、图像和语音识别等多种多媒体任务中均达到了最先进的性能。我们表明，通过对关键物理层内和层间超参数的精细优化，可以通过平衡各层的记忆保持能力和动态响应特性，显著提升深度光子储备池计算系统提取相关时间特征和空间特征的能力。该方法为高吞吐量的实时多媒体信号处理开辟了一条高度可扩展的分层光子储备池计算系统的发展路径。