《Displays》:Complex-valued optoelectronic hybrid neural networks for image classification based on optical 4F systems
编辑推荐:
针对传统光子神经网络依赖实值模型的问题,本研究提出基于4F系统的复值光电子混合神经网络(OP-CVNN),通过实虚分离相位掩模优化策略与复振幅约束机制,实现光学衍射下的高效复值卷积。实验表明,OP-CVNN在MNIST、Fashion-MNIST和MSTAR数据集上较实值版本OP-RVNN平均提升6%-7%分类精度,且在相位敏感任务中表现出优越的特征提取能力。
Xinyang Tang|Shuaijun Yu|Xiaoyu Wang|Yaoge Zhang|Yishuo Wang|Yuanshan Liu
西北工业大学人工智能、光学与电子学院(iOPEN),中国山西省西安市右玉路127号,710072
摘要
近年来,光学4F系统因其固有的复数值计算能力而受到越来越多的关注,这使得构建高效的光学神经网络成为可能。然而,现有的光学网络大多依赖于实数值建模,这限制了光学领域中复数特征的利用。本研究提出了一种基于4F系统的复数值光电混合网络(OP-CVNN),该网络采用了实部/虚部分离的相位掩模优化策略,并引入了复幅度约束以确保物理一致性。该网络通过光学衍射实现复数值卷积,从而增强了表示能力并显著提高了计算效率。在MNIST、Fashion-MNIST和MSTAR数据集上的对比实验表明,OP-CVNN的性能优于其实数值对应网络OP-RVNN,在MSTAR图像上的准确率提高了6%–7%。此外,FSIM和FRCM评估进一步验证了其在相位敏感任务中的建模优势和特征提取能力。
引言
随着人工智能的快速发展,机器学习和人工神经网络在模式识别、语音处理、物体检测和医疗保健等多个领域取得了显著成就[1]、[2]、[3]、[4]、[5]。图像分类和检测是关键的应用领域,卷积神经网络(CNN)在这些视觉任务中的应用已经得到了广泛验证[6]、[7]。然而,CNN中卷积运算的计算复杂度与图像大小成正比[8],由于参数数量众多且计算需求高,CNN面临巨大的计算和存储成本[9]、[10]。在摩尔定律的约束下,晶体管的扩展遇到了重大瓶颈,迫切需要开发新的高速、低功耗的计算网络来替代传统的电子神经网络。
光学计算作为一种强大的电子计算替代方案,因其低能耗和高速传输特性而逐渐成为研究热点。光学神经网络(ONN)在这一背景下获得了广泛关注和发展[11]、[12]、[13]、[14]、[15]、[16]。其中,4F光学神经网络(4F-ONN)[17]、[18]、[19]、[20]、[21]利用线性和空间不变的4F成像系统进行光学卷积[22],能够实时并行处理二维光场图像,非常适合图像识别和分类任务。基于光学4F系统的原理,这些网络可以通过相干光衍射执行复数值运算,同时编码相位和幅度信息。这种能力对于合成孔径雷达(SAR)图像分类等任务至关重要,因为在这些任务中相位信息具有重要的物理意义[23]。然而,大多数现有的ONN依赖于实数值算法,未能充分利用光学平台的复数值潜力。这一限制导致在处理相位敏感数据时性能较差,限制了ONN在高级图像分类任务中的广泛应用。因此,研究复数值光电混合神经网络(OP-CVNN)具有重要意义,因为它有助于充分发挥光学计算的潜力,提高图像分类等任务的准确率和效率。
最近,复数值神经网络(CVNN)在从自然数据中提取特征方面展现了显著优势[24]、[25]、[26]、[27]、[28]。Zhang等人[29]提出了一种光学神经芯片(ONC),并在Fashion-MNIST数据集上验证了复数值建模的有效性。然而,该方案依赖于复杂的光电干涉路径,容易受到制造误差的影响[30]、[31]。此外,其庞大的参数规模限制了其在复杂任务和大规模模型部署中的应用。为了提高复数值运算的计算效率,Bai等人[32]开发了一种高速复数值光学卷积加速器(CVOCA),能够在芯片上直接提取SAR图像中的相位敏感特征。尽管该系统显著提高了推理速度,但它主要关注硬件吞吐量,缺乏结构对齐的实数值基准比较,难以系统地评估复数值神经网络的建模优势。相比之下,衍射光学天生支持复数值调制,为这类计算提供了自然平台。Spall等人[33]提出了一种混合训练策略,利用干涉和衍射在图像分类任务中引入部分光学前端复数值传播。然而,他们的方法仍然依赖于实数值掩模,缺乏联合优化可训练复数值掩模与网络架构的机制。此外,其有效性尚未在相位敏感任务上得到验证。Chen等人[34]开发了一个考虑物理特性的训练框架,实现了光学系统中复数值建模的快速部署,证明了复数值建模的可行性。然而,他们的工作主要集中在设备级建模和基本任务适配上,没有在SAR图像分析等结构敏感任务上进行验证,且缺乏对泛化能力的系统评估,限制了其更广泛的应用。
尽管先前的研究已经将光学计算与复数值运算结合用于图像分类,但这些研究仍然存在系统复杂性高、相位信息利用不足以及在相位敏感任务上缺乏验证的问题。此外,复数值神经网络在光学平台上的实现仍需进一步探索[35]、[36]。
为了解决这些问题,本研究提出了一种基于光学4F卷积系统的复数值光电混合神经网络(OP-CVNN),旨在克服现有光学神经网络在处理相位信息方面的局限性。该架构包括一个具有较大核尺寸的光学卷积层,以提供强大的建模能力,同时有效减轻电子计算平台的计算负担。随后是几个数字层,整个网络采用复数值计算机制,包括复数值输入、复数值参数初始化和复数值矩阵运算。具体贡献和创新如下:
- •
光学计算与复数值神经网络的集成:通过将4F光学卷积系统与复数值神经网络集成,在4F架构下精确建模光学过程,网络学习光场的复数值表示。光学衍射实现了本地的复数值运算,提高了系统效率,同时减少了参数数量和计算负载。
- •
实验验证和对比分析:与结构和参数对齐的实数值光电网络(OP-RVNN)的对比实验表明,OP-CVNN在多个数据集上表现出更优的性能。特别是在MSTAR数据集上,准确率提高了6%–7%,证实了复数值建模在不增加额外计算成本的情况下增强了光学信息的利用。
- •
相位掩模优化策略:我们采用实部/虚部分离的掩模优化策略,并在初始化过程中引入复幅度约束以确保物理一致性。与OP-RVNN(统一掩模)和CVNN(无光学掩模)的对比实验验证了这种方法在提高准确率和效率方面的有效性。此外,FSIM和FRCM指标用于定量评估其在光学场中提取结构信息的能力。
这些贡献克服了传统光学神经网络在建模光场信息方面的局限性,建立了一个统一的框架,将复数值建模与光电推理相结合,为图像分类任务中的高效和高保真复数值光学神经网络提供了新途径。
部分摘录
光学复数值神经网络架构
本节描述了基于光学4F系统的复数值光电混合神经网络(OP-CVNN)的电子仿真框架。如图1(a)所示,该设计通过数值建模光学计算过程实现了端到端的联合优化:输入图像放置在第一个透镜的前焦平面上,经过该透镜处理后,图像的傅里叶谱出现在后焦平面上。
实验结果
在本节中,我们通过数值仿真和物理4F光学实验平台验证了所提出的OP-CVNN,以具有相同架构的OP-RVNN作为基准。首先描述了实验设置和对齐过程,然后报告了在MNIST、Fashion-MNIST和MSTAR数据集上的仿真训练和物理推理结果,最后基于混淆矩阵分析了分类性能。
光学卷积层的验证和评估
为了系统地验证光学卷积层在光电混合神经网络中的必要性和有效性,本节进行了三项实验:(1)消融研究,评估光学前端的性能贡献;(2)误差分析,调查仿真与实验不匹配的主要来源;(3)光学卷积输出的定量评估。
结论
本研究证明了基于4F系统的复数值光电混合神经网络(OP-CVNN)在图像分类任务中的优越性能。通过将光学4F卷积系统与低复杂度的复数值神经网络集成,利用光学衍射自然地执行复数值卷积。该框架采用复数值计算,光学前端的相位掩模优化使用了实部/虚部分离。
CRediT作者贡献声明
Xinyang Tang:撰写——原始草案、可视化、验证、软件、方法论、调查、形式分析、数据整理。Shuaijun Yu:软件、验证、调查。Xiaoyu Wang:调查。Yaoge Zhang:调查。Yishuo Wang:调查。Yuanshan Liu:监督、项目管理。
利益冲突声明
作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。