用于实时自适应计算的时间可塑性光子处理器

《eLight》:Temporally plastic photonic processor for real-time adaptive computing

【字体: 大 中 小 】 时间:2026年07月25日 来源:eLight 31.4

编辑推荐:

  实时智能系统日益需要能够对不断演化的输入持续进行适应的硬件,然而现有大多数处理器依赖静态权重推理,因此在动态环境中容易受到分布偏移与误差累积的影响。尽管自适应权重更新原则上可以解决这一局限,但其在电子硬件中的实现受到稳定性–可塑性权衡(stability–pl

  
实时智能系统日益需要能够对不断演化的输入持续进行适应的硬件,然而现有大多数处理器依赖静态权重推理,因此在动态环境中容易受到分布偏移与误差累积的影响。尽管自适应权重更新原则上可以解决这一局限,但其在电子硬件中的实现受到稳定性–可塑性权衡(stability–plasticity trade-off)、存储墙(memory wall)以及时钟瓶颈(clocking bottleneck)的限制,而这些问题在序列处理过程中尤为严重。研究人员提出了一种时间可塑性光子处理器(TPPP),其通过结合多时间尺度光子核(photonic kernels)与递归光学延迟存储器(recursive optical delay memory),实现超高速原位自适应(in situ adaptation)。该架构集成了一个缓慢、可重构的核,用于稳定的长期处理,以及一个快速、动态的核,用于瞬态自适应,从而使时变权重能够直接嵌入光子域,而无需重复访问电子存储器。研究人员在线性和非线性序列任务上对TPPP进行了实验验证。在两种工作范式下,数据驱动的时间可塑性均使TPPP在鲁棒性和准确率方面优于传统静态光子基线。在与操作相匹配的INT8比较下,标度分析表明,与先进电子处理器相比,该系统有望实现最高16 ×的单位操作能效提升,以及最高100 ×的本征单程计算时延降低,从而确立了TPPP作为实时自适应光子计算有前景的硬件框架。
该论文发表于《eLight》,围绕“光计算如何从静态推理走向实时自适应”这一关键问题,提出并验证了一种时间可塑性光子处理器(TPPP, Temporally Plastic Photonic Processor)架构。研究背景在于,实时智能系统正越来越多地部署于高度动态且数据密集的环境中,例如自动驾驶、实时传感和生成式人工智能场景。在这些应用中,输入分布与任务需求会持续演变,因此硬件不仅需要高吞吐、低时延,还必须具备随时间即时调整计算行为的能力。然而,现有多数处理器,无论是传统电子加速器还是既有光子处理器,通常依赖静态权重推理,难以有效应对分布漂移、误差累积以及序列任务中的长期依赖问题。尤其在循环神经网络(RNN, Recurrent Neural Network)、Transformer与状态空间模型等序列模型中,前一时刻状态会持续影响后续预测,导致时延、能耗和误差传播同步放大。另一方面,电子硬件中的在线权重更新又受限于稳定性–可塑性权衡、频繁存储访问、数据搬移以及时钟同步负担。因此,如何在保持系统稳定性的同时赋予硬件快速适应能力,成为实时智能计算中的核心瓶颈。

针对上述问题,研究人员提出TPPP架构,以多时间尺度协同机制在光域内实现时变算子。该系统的核心思想是:通过一个慢速、可重构的稳定核承担长期线性映射,通过一个快速、动态的调制核承担短时自适应更新,并结合递归光学延迟存储器保留时间状态,从而在不频繁回读电子存储器的前提下,将时变权重直接写入光学信息通路。该设计受生物多时间尺度可塑性启发,对应长期突触可塑性(LTP, Long-Term Plasticity)、短期突触可塑性(STP, Short-Term Plasticity)以及自适应放电动力学(AFD, Adaptive Firing Dynamics)的概念。研究表明,这一架构既能支持线性自适应推理,也能支持非线性递归决策,在实验中分别完成了基于近红外光谱的面粉含水率预测和面向自动驾驶控制的时间自适应递归神经网络(TA-RNN, Time-Adaptive Recurrent Neural Network)任务,并在鲁棒性、精度、能效与计算时延方面展现出相对于静态光子基线及先进电子处理器的优势。

本研究主要采用以下关键技术方法:首先,构建由马赫–曾德尔干涉仪(MZI, Mach–Zehnder Interferometer)网格、热光(TO, thermo-optic)相移器、半导体光放大器(SOA, Semiconductor Optical Amplifier)以及外部扩展算子组成的双核光子架构;其次,引入递归光学延迟环路与时分复用(TDM, Time-Division Multiplexing)机制,形成可在单回程内容纳多个脉冲时隙的光学存储;再次,在线性任务中采用奇异值分解(SVD, Singular Value Decomposition)与Richardson迭代实现正则化矩阵求逆,在非线性任务中通过SVD映射实现TA-RNN;最后,分别在SiN与SOI两种平台上进行器件和系统验证,并使用研究团队自建自动驾驶仿真数据集以及傅里叶变换近红外(FT-NIR, Fourier-Transform Near-Infrared)面粉光谱数据进行评估。

以下为论文结果部分的凝练解读。

2.1 Working principles
在“Temporal plasticity”部分,研究人员首先从一般序列处理模型出发,将时刻k的输出表示为由输入、历史状态和时变硬件参数共同决定的算子映射,强调\(\Thetak\)随时间变化的能力即“时间可塑性”。这一概念的核心不在于固定算子加速,而在于使硬件算子本身在推理过程中演化,从而更有效表征固定静态算子难以覆盖的动态特征。
在“TPPP architecture”部分,研究人员进一步给出结构实现:\(\Thetak\)由三个酉算子\(U1, U2, U3\)、两个对角矩阵算子\(\Sigma1, \Sigma2\)以及外部算子E的控制参数组成,并被组织为三个具生物启发特征的功能核,即完全可重构核\(m(\cdot)\)、反馈核\(f(\cdot)\)和动态核\(ck(\cdot)\)。其中,MZI网格和热光相移器构成慢速稳定的\(m(\cdot)\),SOA阵列与外部扩展单元构成快速动态的\(ck(\cdot)\),而耦合器构成反馈核\(f(\cdot)\)以建立延迟记忆。研究还说明,动态核可布置于输出端实现通道级放大、抑制和门控,也可插入两个酉算子之间实现内部模态重加权。借助时分复用,多个时间分离脉冲被注入同一光环路,在单个回程周期内形成多个记忆时隙,从而使系统在一个物理环中同时完成并行处理与递归存储。重要的是,动态核对脉冲调制存在有限同步容差,因此系统对时序失配、抖动和延迟变化具有一定鲁棒性。

2.2 System characterization
在系统表征部分,研究人员分别在低损耗氮化硅(SiN, silicon nitride)平台和绝缘体上硅(SOI, silicon-on-insulator)平台上实现TPPP。SiN平台用于验证完整全光计算链路,SOI平台则结合已异质集成的\(\mu\)TP SOA阵列用于功能模块级实验表征。该双平台方案证明,TPPP并不依赖单一材料体系,而具备跨平台可移植性与可扩展性。
实验结果显示,200个SiN MZI器件具有良好一致性,平均相移效率为12 mW/\(\pi\)。研究人员通过结合功能验证图样与梯度下降优化的系统校准方法,有效补偿了器件不一致性。校准后,单次点积计算的平均误差为0.175 LSB,标准差为1.587 LSB;在INT8编码下,8个输出通道的有效位数(ENOB, Effective Number of Bits)约为5.78。SOA输入输出曲线表明,随着输入功率增大,SOA表现出饱和特性,说明其既可用于路径损耗补偿,也可通过偏置调节实现非线性激活。光环路多轮迭代测试表明,迭代间功率波动低于2%,并可在每个回程内实现从最大到零的动态衰减调制。多次循环后ENOB由5.78缓慢下降至约5.14,揭示了受放大自发辐射(ASE, Amplified Spontaneous Emission)噪声与放大器非线性影响的精度—递归深度权衡。

2.3 Linear task: spectrum-based moisture prediction
在线性任务中,研究人员将TPPP用于基于光谱的面粉含水率预测。问题被建模为岭回归(ridge regression),其核心计算是求解正则化矩阵\(XTX+\lambda I\)的逆。为适配光硬件,研究人员将矩阵求逆重写为Richardson迭代,并将迭代更新算子通过SVD映射到TPPP中的可重构核\(m(\cdot)\)上。动态核\(ck(\cdot)\)则在输出端引入数据驱动校正,以实时补偿不同光路径、器件非理想性、环境噪声和通道偏斜带来的误差。
实验所用近红外透射光谱来自不同含水率的面粉样品,原始1899维波长通道经主成分分析(PCA, Principal Component Analysis)降至8个主成分后输入系统。结果表明,动态校正支持下的输入矩阵编码精度超过98%,误差波动低于2%。系统从初始状态\(\alpha I\)出发后,代表性矩阵元素在7次迭代内快速收敛。与静态模型相比,引入动态适应后,矩阵求逆平均精度由约90%提升至约95%,同时将元素间波动从大于5%压低至约2%。尽管递归处理中不可避免地出现由放大器噪声和光学非线性引起的理论值与实测值偏差,最终求逆仍保持约95%的精度。
在任务层面,TPPP实现了高精度含水率预测。给出的代表性光谱样本中,预测值与真实值偏差小于0.2。对全数据集的评估表明,动态适应将湿/干二分类准确率由88%提高到95%。统计指标亦显著改善:平均误差\(\mu\)由1.496改善至?0.46,标准差\(\sigma\)由1.36降至0.864,均方根误差(RMSE, Root Mean Squared Error)由2.011降至0.972,决定系数\(R2\)由0.594提升至0.905。该结果说明,TPPP不仅能完成线性光学矩阵运算,更能通过时间可塑性提升真实数据任务中的稳健性与实用性。

2.4 Nonlinear task: TA-RNN for autonomous driving
在非线性任务中,研究人员提出并实现了与TPPP硬件协同设计的TA-RNN,用于实时自动驾驶控制。任务基于研究团队自建的规则驱动自动驾驶仿真数据集,车辆遵循简化Ackermann运动学模型,输入为四维传感信息:当前速度\(v\)以及前方、左侧、右侧障碍距离\(dF\)、\(dL\)、\(dR\),输出为转向与油门控制指令。
在模型实现上,输入到隐层权重矩阵\(Wih\)和隐层到隐层权重矩阵\(Whh\)均通过SVD分解为酉矩阵与奇异值矩阵的乘积,其中动态核负责对\(Sih\)和\(Shh\)进行逐时刻更新,以实现内部特征模态的动态重加权。研究采用两阶段离线训练:第一阶段训练常规RNN以建立基础性能;第二阶段仅微调时间调制参数,即\(\Delta Sih(k)\)和\(\Delta Shh(k)\)相关项,从而在保留既有递归表征能力的同时引入时间依赖建模能力,并减轻灾难性遗忘。训练曲线显示,常规RNN约在5000个epoch后趋于平台,而时间自适应微调可进一步降低16%的损失,说明时变对角调制确实提供了超越固定权重RNN的额外表达能力。
训练后,只有推理阶段的递归计算被映射至TPPP并通过全光环路执行。结果显示,静态权重矩阵\(Wih\)、\(Whh\)与动态调制矩阵\(Sih\)、\(Shh\)的编码精度均约为98%。在性能上,转向预测与真实值高度贴合,误差高斯拟合得到\(\mu=0.001\)、\(\sigma=0.089\);油门预测同样表现出良好线性关系,误差统计为\(\mu=-0.001\)、\(\sigma=0.025\)。TPPP输出的转向与油门指令与目标值高度一致。更关键的是,在导航轨迹比较中,TA-RNN的轨迹预测误差低于5%,明显优于传统RNN,验证了时间可塑性对于动态环境中实时决策任务的价值。

3 Discussion
讨论部分主要聚焦TPPP从概念验证走向规模化应用时的系统边界与性能前景。研究人员指出,矩阵规模扩展、能效提升与递归深度增加需要协同优化。随着矩阵增大,传播损耗将成为主要限制,通常需要SOA进行恢复;但光计算具有“传播即计算”的天然优势,即信号在传播过程中持续完成运算,新输入可在旧输出离开前进入系统,因此可避免GPU式全局时钟、深流水线和调度停顿。TDM因此与TPPP天然匹配,既能利用同一延迟环内的空闲时间,也能通过时隙并行提高计算密度。
实验上,研究人员在约145 ns的单回程窗口中分辨出91个脉冲时隙,证明了光延迟记忆对时域存储的支持能力;完整光电链路的3 dB带宽约为5 GHz,决定了每时隙可实现的数据速率。在5 GHz并行任务率和INT8编码下,系统端到端ENOB约为5.45。进一步基于实验校准点——8 × 8矩阵、40 Gb/s、810 fJ/op——展开的标度分析表明,随着数据率升高,静态偏置功耗可被更多操作摊薄,单位操作能耗持续下降;矩阵维度增大在初期有助于提升计算密度,但超过64 × 64后,放大器数量和权重保持开销使能效进入平台区。
在时延方面,TPPP的原始单程计算时延随矩阵规模增加而增加,但在与A100电子处理器进行操作匹配比较时,SOI和SiN MZI网格在多数规模下可实现约一个数量级的时延优势,最大接近两个数量级。递归深度则受ASE噪声与相位噪声共同限制:当光信噪比(OSNR, Optical Signal-to-Noise Ratio)降至30 dB附近时,递归深度约限制为17次;若要求相位翻转概率低于1%,则允许约18次迭代。为克服这些限制,研究提出异构多芯粒方案,将SiN用于超低损耗路由、SOI用于高密度集成、铌酸锂用于高效电光调制、III–V增益模块用于深递归损耗补偿。边界分析显示,在更低噪声系数与更窄滤波带宽下,系统可支持更大的矩阵规模与更深的递归层数。Roofline模型分析进一步表明,在算术强度约6.39 OP/byte时,TPPP可达到3.3 TOPS/W,显示其在受存储带宽约束的应用中具有相对电子加速器的竞争力。

论文结论指出,研究人员展示了一种通过组合多时间尺度调制核来重构光计算范式的TPPP。该架构赋予光硬件直接操控时间动态的能力,使其不仅能执行静态映射,还能在推理过程中实现原位时变调节。基于经实验验证的8 × 8矩阵、INT8编码、40 Gb/s、810 fJ/op工作点所开展的操作匹配标度分析表明,与同样工作于INT8条件下的先进电子处理器相比,TPPP有望实现最高16倍的单位操作能效提升,以及最高100倍的本征单程计算时延降低。总体而言,该工作为实时自适应光子计算提供了具有明确实验支撑的硬件框架,也为未来构建面向动态环境的高吞吐、低时延、低能耗智能计算系统奠定了基础。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号