多尺度光学卷积神经网络用于目标分类

《IEEE Transactions on Sustainable Energy》：Multi-Scale Optical Convolutional Neural Network for Target Classification

　　

光学卷积的物理架构限制了其从目标中捕获多尺度特征的能力，从而阻碍了网络识别的精度。在这项工作中，研究人员提出了一种多尺度光学卷积神经网络（MS-OCNN），其在卷积层中使用不同分辨率的卷积核来提取不同尺度的特征，并辅以注意力机制和残差结构来分析特征。通过分离网络的训练和推理平台，研究人员促进了模型参数在计算机上的电子训练以及在配备空间光调制器（SLM）的系统上的光学部署，实现了高效的目标分类。所提出的MS-OCNN在改进的国家标准与技术研究所（MNIST）和Fashion-MNIST数据集上，与单尺度光学推理模型相比，分类性能提升了1%到3%。在真实场景中的在线实验系统验证了该方法的目标准识别能力，其在MNIST和Fashion-MNIST数据集上分别达到了97%和87%的分类准确率。该项工作增强了光学卷积网络的特征获取能力，提升了网络识别精度，并显著推动了光学计算在制导系统、自动驾驶和机器人等领域中的应用。

**论文解读：多尺度光学卷积神经网络用于目标分类**

**研究背景与问题**
随着计算机视觉与人工智能的快速发展，卷积神经网络（CNN）在目标识别、检测与语义分割等领域展现出卓越性能，并广泛应用于自动驾驶、机器人和军事防御等场景。然而，传统电子计算平台在执行大规模CNN模型推理时，面临高计算资源消耗和实时性受限的挑战。光学计算利用光场传播进行数值运算，具有高速、高带宽和低功耗的优势，因此将神经网络组件光学化可加速推理过程。但现有光学卷积神经网络（OCNN）受限于其物理架构，难以模拟卷积核的滑动过程，也无法通过增加层数捕获目标的多尺度（MS）特征，导致特征提取能力薄弱，网络识别精度受限。为解决这一问题，研究人员提出了一种多尺度光学卷积神经网络（MS-OCNN），旨在增强特征捕获能力并提升分类性能。该论文发表在《IEEE Transactions on Sustainable Energy》。

**研究内容与结论**
研究人员设计了MS-OCNN模型，通过在卷积层中使用不同分辨率的卷积核并行提取多尺度特征，并引入通道注意力机制（CAM）和残差块（residual block）优化特征分析与推理。为克服光学卷积中无法直接进行电子训练的局限，研究将训练与推理平台解耦：模型参数在计算机上通过PyTorch平台进行电子训练，训练完成后将卷积核分布映射到空间光调制器（SLM）上实现光学推理，而决策网络部署在低功耗微控制器单元（MCU）上。在改进的国家标准与技术研究所（MNIST）和Fashion-MNIST数据集上的仿真结果表明，与单尺度（SS）光学推理模型相比，MS-OCNN在分类性能上提升了1%至3%。在线实验系统在实际场景中进一步验证了该方法的有效性：对打印图像进行识别，在MNIST和Fashion-MNIST数据集上分别达到97%和87%的准确率，与仿真结果（98.6%和90.6%）基本一致，约2%的精度损失归因于网络参数量化、光斑照明偏差和采样误差。该项工作显著增强了光学卷积网络的特征获取能力，提升了识别精度，并推动了光学计算在制导系统、自动驾驶、遥感和机器人等领域的实际应用。

**关键技术方法**（不超过250字）
研究人员采用以下关键方法：（1）多尺度光学卷积模块：通过对原始图像进行分层下采样生成图像金字塔，再用与各层图像相同尺寸的卷积核进行全卷积，提取不同尺度的特征；该方法避免了滑动卷积带来的物理困难，并允许所有卷积核同时照明目标，简化硬件集成。（2）非成像神经网络框架：不生成图像矩阵，直接利用探测器收集的光强值序列作为特征进行数值计算，显著降低网络复杂度和计算负载。（3）通道注意力机制（CAM）与残差结构：CAM为不同特征通道分配权重以突出有效信息，残差块通过跳跃连接缓解梯度消失问题并减少参数数量，二者嵌入到推理模块中提升模型性能。（4）训练与推理分离：在计算机上使用MNIST和Fashion-MNIST数据集（通过分层下采样生成多分辨率子集）训练模型参数，推理时通过数字微镜器件（DMD）将卷积核编码为光场，由象限探测器采集特征，最终由MCU完成分类决策。

**研究结果**（保留原文小节标题）

**3.1 仿真（Simulation）**
研究人员在PyTorch平台上使用MNIST和Fashion-MNIST数据集进行训练和测试。首先，以全连接神经网络（FCNN）为基线，比较单尺度（SS）与多尺度（MS）光学卷积结构，发现MS结构使识别准确率提升近1%，表明多尺度特征有效增加了网络输入信息量。其次，通过消融实验对比四种模型：仅使用MS光学卷积的MS-FCN、加入注意力机制的MS-FCN、加入残差结构的MS-FCN、以及同时使用两种机制的MS-OCNN。在相同训练参数下（100个epoch，批量大小256，SGD优化器，初始学习率0.002，动量0.9，权重衰减1.2×10^-4），MS-OCNN在MNIST和Fashion-MNIST上分别比基础多分辨率CNN模型高3.8%和5.9%。进一步，与多个报告的单尺度非成像识别模型对比，在相同采样次数（即卷积核通道数）下，MS-OCNN通过特定分辨率组合获得更高识别精度，验证了其优越的特征提取效率。噪声鲁棒性测试中，在测试集上叠加不同强度的高斯噪声，结果表明模型能抵抗一定噪声干扰，但标准差超过0.1时精度显著下降。

**3.2 实验（Experiment）**
研究人员搭建了在线实验系统：使用532nm连续波激光器经扩束后照射数字微镜器件（DMD），DMD加载预训练的卷积核分布（经灰度抖动算法二值化），出射光场照射目标表面，反射光由象限探测器收集并转换为电信号，经信号调理电路和12位ADC数字化后输入MCU进行实时推理。对随机选取的测试集打印图像进行识别，MS-OCNN在MNIST和Fashion-MNIST上分别达到97%和87%的准确率，而仿真盲测集上分别为98.6%和90.6%。约2%的精度损失主要来自网络参数量化、光斑照明偏差及采样误差。实验结果表明该模型有效提升了目标特征采样效率和识别精度。

**总结讨论与研究结论**
在讨论部分，研究人员指出：模型训练使用的特征与光学推理中探测器直接感知的特征之间存在差异，主要源于光学检测过程中的噪声或干扰；若将探测器获取的图像纳入训练集，可显著提升分类性能。此外，多尺度卷积分辨率的设置机制以及实验执行方法需要进一步优化——当全卷积核尺度设置过高时，会降低鲁棒性并增加参数数量；未来可通过算法优化训练过程以接近最优分辨率配置。随着硬件升级，更先进的网络（如基于Transformer的网络）可被应用以提供更优越的性能。
研究结论部分翻译如下：
总之，研究人员提出了一种基于光学卷积神经网络（OCNN）架构的多尺度光学卷积策略，用于非成像目标分类，并完成了在线识别系统的构建。通过对不同数据集的实际图像进行采样和识别实验，结果表明所提出的分类模型在实际场景中表现出良好的性能。与传统的单尺度识别模型相比，研究人员提出的模型在保持高效性的同时实现了更高的识别准确率。该项工作增强了光学卷积网络的特征获取能力，提升了网络识别精度，从而显著推动了光学计算在制导、自动驾驶、遥感和机器人等领域的应用。