《Advanced Science》：Spatiotemporal Computational Meta-Imager for Broadband Dual-Layer Optical Convolution
编辑推荐：
光学神经网络（Optical Neural Network, ONN）在器件尺寸与计算表达力之间面临权衡：深度系统体积庞大，而单层硬件缺乏内在深度与原生负权重支持。研究人员实验验证了一种具备“时空本征深度”（spatiotemporal intrinsic d
光学神经网络（Optical Neural Network, ONN）在器件尺寸与计算表达力之间面临权衡：深度系统体积庞大，而单层硬件缺乏内在深度与原生负权重支持。研究人员实验验证了一种具备“时空本征深度”（spatiotemporal intrinsic depth）的单层超透镜成像器，用于等效宽带双层卷积。一种偏振复用（polarization-multiplexed）元表面提供固定的贝塞尔涡旋（Bessel-vortex）通道（l = 0 至 3），作为不可变的第一卷积层，其中 l = 0 通道实现硬件原生残差连接（residual connection）。元表面生成的 3 × 3 光学涡旋矩阵构成第二功能层；时间序列液晶（liquid-crystal, LC）振幅调制提供可调的正/负权重。这种时间编码解决了光学符号问题，并通过原位训练（in-situ training）将制造缺陷转化为可补偿偏置。实验验证了时装物品分类的旋转鲁棒性，将全彩 CIFAR-10 准确率从 57.5% 提升至 86.6%，并在 SIPaKMeD 医学数据集上达到 99.3%，同时将 99.7% 的卷积乘加运算（multiply-accumulate operations, MACs）卸载至光学域。通过去除体积衍射层，该工作实现了低延迟混合光电边缘智能视觉。
**研究背景与问题**
深度神经网络在机器视觉领域取得了革命性进展，但模型复杂度与计算需求的指数级增长带来了严峻的能耗和延迟挑战。以卷积运算为核心的计算负载在边缘部署场景（如无人机、可穿戴医疗设备）中受到尺寸、重量、功耗和实时性的多重约束。传统电子处理面临冯·诺依曼瓶颈，图像采集与计算之间的数据移动成本随传感器分辨率和网络深度增加而急剧上升。光学计算因其无源、并行、光速执行空间滤波的特性，被认为是减轻卷积运算负担的潜在路径。然而，早期光学相关器和衍射深度神经网络依赖相干照明并将数字数据重新成像到空间光调制器上，更适合作后端处理器而非集成前端成像器。多层衍射网络的体积堆叠与边缘部署的小型化需求直接矛盾。元表面为前端光学计算提供了芯片级集成平台，但现有元表面处理器受限于有效架构深度：通常只能实现单一固定卷积层且权重为正值，或步长等于核尺寸的多通道核，无法实现现代卷积神经网络中密集重叠的感受野与分层特征提取。因此，迫切需要一种能够同时模拟多个卷积层、支持任意符号权重、在宽带光谱下工作并具备制造误差补偿机制的单层光学元件。
**研究内容与结论**
研究人员提出并实验验证了一种单层元表面孔径，计算上实现双层卷积核，称之为分解核可重构性语境下的“计算深度”。该设计利用偏振分复用将不可变的第一卷积层直接嵌入单层平面的透射矩阵中，并保留专用通道实现硬件原生残差连接。第二可重构卷积层由光学涡旋矩阵实现，其权重幅度和符号通过时间序列液晶调制动态控制。这种时间编码策略不仅规避了基于强度的光学符号限制，还独特地实现了原位训练，使系统能够对制造偏差进行自校准。研究人员进一步证明贝塞尔涡旋基的宽带色散在近红外光谱范围内维持卷积保真度，将操作范围扩展到全彩图像。实验验证覆盖旋转鲁棒性、彩色图像分类和高分辨率医学成像三个基准：Fashion-MNIST旋转测试集上混合管线达到93.9%准确率，优于数字单层网络的89.4%；CIFAR-10全彩分类上混合管线达到86.6%，接近数字双层网络的87.5%而远超数字单层网络的57.5%；SIPaKMeD医学细胞学数据集上经在线训练后达到99.3%，较数字单层基线的83.6%提升15.7个百分点。整个系统将99.7%的卷积乘加运算卸载至光学前端。该工作通过偏振和时间两个正交复用维度将多层衍射网络的表达能力折叠进单片元表面，建立了边缘智能机器视觉的新范式。
**关键技术方法**
研究人员采用的主要技术方法包括：（1）偏振复用元表面设计——通过在单层介质元表面中编码四个正交偏振通道，分别产生拓扑荷 l = 0, 1, 2, 3 的贝塞尔涡旋模式，构成固定第一卷积层；（2）时间差分编码方案——液晶振幅调制器在两个连续采集帧中分别施加正、负透射矩阵，通过数字相减实现带符号卷积权重并抑制共模噪声；（3）闭环在线训练框架——振幅预测神经网络（APNN）学习目标点扩散函数（PSF）到液晶透射矩阵的非线性映射，数字分类器的交叉熵损失通过光学PSF正演模型反向传播以更新第二层权重；（4）实验验证平台——在三个公开基准数据集上评估：Fashion-MNIST（28×28灰度）、CIFAR-10（32×32三通道RGB）和SIPaKMeD（128×128宫颈细胞学图像），元表面器件制备采用电子束光刻和感应耦合等离子体刻蚀工艺，实验测量使用偏振敏感CMOS传感器。
**研究结果**
**架构设计。** 研究人员建立了数字卷积与光学卷积之间的数学等价性：非相干成像系统通过物体强度与相干点扩散函数模平方的卷积形成图像，通过设计元表面在像面生成离散的 N × N 衍射极限焦斑阵列，即可实现与数字卷积等效的加权移位叠加运算。
**第一卷积层：偏振复用贝塞尔涡旋先验。** 四个偏振通道分别产生拓扑荷 l = 0, 1, 2, 3 的贝塞尔涡旋模式。l = 0 通道实现低通滤波和硬件原生残差连接，l = 1 通道近似一阶空间导数提取边缘，l = 2 和 l = 3 通道实现高阶空间微分捕获曲率和精细纹理。这些操作由元表面设计固定并并行作用于输入场景，构成不可变的第一卷积层。
**第二卷积层与双深度融合。** 元表面生成 3 × 3 光学涡旋焦斑阵列，每个焦斑作为可重构权重元素。液晶振幅调制器独立控制各焦斑相对强度，时间差分编码分解目标权重为两个非负分量，通过两个连续帧的采集和数字相减实现带符号卷积核。第一层四个偏振通道与第二层可调权重在光学域天然融合，偏振正交性保证通道间无串扰，在探测面由偏振敏感探测器阵列分离。时间可重构性赋予系统在线误差校正能力，制造缺陷通过训练被转化为可补偿偏置。
**数字后端。** 偏振复用产生的四个特征图由偏振敏感互补金属氧化物半导体（CMOS）传感器捕获，输入由最大池化层、线性整流单元（ReLU）激活和全连接分类层组成的轻量数字后端。softmax函数输出类别概率，同时将梯度信息和光路误差反向传播至振幅预测神经网络。
**振幅预测神经网络。** APNN是轻量编码器-解码器网络，离线使用4000对合成目标PSF与优化液晶透射分布训练，推理时在约0.8毫秒内预测初始透射映射。在线训练时，输入批次经光学层前向传播，数字后端计算交叉熵损失，梯度经数字层和光学PSF模型反向传播更新透射映射。闭合反馈回路同时补偿任务特定特征需求和静态制造偏差。实验表征显示，制备的元表面具有2毫米孔径，硅纳米柱呈现规则方晶格排列，关键尺寸偏差低于±8纳米，实测PSF与模拟设计高度吻合。
**旋转鲁棒性验证。** 贝塞尔涡旋基对平面内旋转具有天然不变性，输入场景旋转仅赋予涡旋模式全局相位偏移，不影响卷积特征图强度分布。在Fashion-MNIST旋转测试集上，混合管线达到93.9%准确率，与无旋转基线无显著差异，相比数字单层网络89.4%有4.5个百分点的优势。
**全彩CIFAR-10分类。** 元成像器顺序处理三色通道，液晶调制器对所有波长施加相同核权重，该能力得益于贝塞尔涡旋基的宽带色散工程。混合管线达到86.6%准确率，接近数字双层网络的87.5%，仅0.9个百分点差距，而数字单层基线仅为57.5%。这一结果量化了时空本征深度的表达优势：固定贝塞尔先验层与可调涡旋矩阵层将两个有效卷积层折叠进单层平面光学元件。
**SIPaKMeD医学数据集验证。** 高分辨率宫颈细胞学图像中的细微纹理和结构线索对浅层分类器构成挑战。元成像器的贝塞尔第一层放大核膜轮廓、染色质粒度和细胞质边界等诊断相关结构，l = 2 和 l = 3 通道揭示原始像素数据中几乎不可察觉的精细纹理调制。经闭环在线训练后达到99.3%测试准确率，较数字单层基线83.6%提升15.7个百分点。模拟和实验损失轨迹在五个周期内快速下降并趋近相同终值，验证了光学正演模型的准确性。t-分布随机邻域嵌入（t-SNE）可视化显示，光学卷积前五个诊断类别高度重叠，卷积后映射为分离良好且类内紧凑的聚类。
**总结与讨论**
研究人员提出并实验验证了具备时空本征深度的单层元表面成像器，通过偏振分复用和时间差分编码两个正交复用维度，将两个完整卷积层折叠进亚毫米厚平面光学元件。该架构克服了非相干光学计算的符号约束和制造误差不可补偿两大长期难题，证明了多层衍射网络的表达能力可以折叠进单片元表面。解耦的振幅-相位架构（液晶层提供可重构权重控制，全介质元表面提供高精度相位工程）突破了先前元表面处理器的效率-精度权衡。研究人员总结指出，时空本征深度的概念为超紧凑、任务特定的光学前端开辟了路径，将神经网络推理的主导份额转移到无源、高速物理层。未来方向包括扩展至更大核阵列、集成先进光电探测器实现片上偏振分选、以及与量化数字后端协同设计实现全集成智能传感器，应用于自主系统、可穿戴诊断和增强现实领域。
**研究结论翻译：** 研究人员提出并实验验证了一种具备时空本征深度的单层元表面成像器——一种将两个完整卷积层压缩进亚毫米厚平面光学器件的设计范式。通过偏振分复用，元表面编码四个固定贝塞尔涡旋通道（l = 0, 1, 2, 3）作为不可变的第一卷积层，其中 l = 0 通道物理实现硬件原生残差连接；可重构第二层通过元表面生成的 3 × 3 光学涡旋矩阵实现，其权重通过时间序列液晶振幅调制动态调谐。该时间差分编码方案解决了非相干光学计算长期存在的符号约束问题，并独特地实现了原位训练以补偿纳米制造缺陷。贝塞尔涡旋基的宽带色散工程进一步在宽带光谱范围内维持卷积保真度，将工作范围扩展至全彩图像。在旋转鲁棒时装分类、全彩CIFAR-10识别和高分辨率SIPaKMeD医学细胞学三个互补基准上的实验验证表明，元成像器将数字单层基线准确率大幅提升（CIFAR-10从57.5%提升至86.6%，SIPaKMeD从83.6%提升至99.3%），同时将约99.7%的乘加运算卸载至光学域。由振幅反馈神经网络驱动的闭环在线训练过程在数个周期内收敛，学习到的核自动吸收制造过程中引入的静态相位误差。该工作建立了边缘智能机器视觉的新范式，证明了偏振和时间正交复用维度可将多层衍射网络的表达能力折叠进单片元表面，为自主系统、可穿戴诊断和增强现实中超紧凑、任务特定的智能光学前端铺平了道路。
