面向多模态边缘智能的光子传感-计算融合芯片

《Nature Communications》：Photonic edge intelligence chip for multi-modal sensing, inference and learning

本刊推荐：为解决边缘计算中高吞吐量模拟信号实时处理的瓶颈问题，研究人员开发了一种光子边缘智能芯片（PEIC），通过模态融合技术将图像、光谱和射频信号统一编码为宽带光谱，利用阵列波导光栅（AWG）实现29 fJ/OP的超低能耗卷积运算，结合非线性激活层和全连接层构建端到端光神经网络，实测推理延迟仅1.33 ns。该芯片在药物光谱识别、图像分类和雷达目标分类三类任务中验证了监督/无监督学习能力，为边缘智能提供了集传感与计算于一体的光子学解决方案。

　　

随着边缘设备的爆炸式增长，自动驾驶、医疗诊断、环境监测等应用对实时处理高吞吐量模拟信号提出了极致要求。传统电子方案依赖模数转换器（ADC）和数字处理器，面临能耗和延迟的双重挑战；自由空间光学系统虽能并行处理空间信息，却受限于体积和环境稳定性。集成光子计算虽具备低延迟潜力，但现有方案仍需电子预处理，难以直接处理原始模拟信号。

针对这一难题，华中科技大学和浙江大学联合团队在《Nature Communications》发表研究，提出了一种革命性的光子边缘智能芯片（Photonic Edge Intelligence Chip, PEIC）。该芯片通过独创的“模态融合”技术，将图像、光谱、射频等异构模拟信号统一转换为宽带光谱，经单根光纤输入芯片后，由阵列波导光栅（AWG）同步完成光谱感知与卷积计算，最终通过光学非线性激活函数（NAF）层和全连接（FC）层实现端到端光神经网络推理。这种设计首次在芯片级实现了多模态模拟信号的直接光学处理，实测能耗低至29 fJ/OP，响应时间达1.33纳秒。

关键技术方法包括：1）基于散射介质和相位调制的多模态-光谱转换技术；2）AWG冗余自由卷积引擎（185通道，100 GHz间隔）；3）微环调制器（MRM）与光电探测器集成的非线性激活单元；4）简化MZI（Mach-Zehnder Interferometer）网格实现的全连接层；5）针对芯片制造误差的无监督微调算法（采用Jensen-Shannon散度对齐分布）。实验数据来源于公开数据集（药物光谱库、MNIST手写数字）和几何光学法模拟的雷达回波信号。

PEIC核心模块特性

芯片采用硅基光电子（SOI）工艺集成，核心卷积层通过AWG的循环路由特性实现3×3核卷积，仅需线性数量器件即可完成二次运算。

非线性激活单元通过光电转换驱动微环调制器，在输入光功率>20 μW时呈现非线性响应。全连接层采用N²个相位调制器实现N×N实值矩阵运算，实测保真度达0.9949。

多模态任务验证

在药物光谱识别任务中，芯片对4类药片光谱的识别精度达98.3%（监督学习），无监督微调后将精度从75%提升至97.5%。

图像分类任务通过随机散射芯片将空间光场编码为光谱，对MNIST子集的分类精度达83.75%，无监督微调后从39.4%提升至75.6%。

雷达分类任务通过相位调制将时域信号映射为光学边带，对四种几何形状目标的分类精度达83.4%，无监督微调后从28.1%提升至76.9%。

讨论与展望

研究指出PEIC的扩展性优势显著：AWG通道数可扩展至512路，计算密度随规模增大而提升；未来通过多模光纤空间-光谱映射可将分辨率提升至飞米级，与太赫兹雷达结合可进一步拓展带宽适应性。该技术为自动驾驶、穿戴医疗等场景提供了单芯片多模态处理范式，通过光电子融合突破了边缘智能的能耗与延迟瓶颈。

本研究首次实现了端到端的光子多模态感知-计算一体化架构，其12.8 THz输入带宽和纳秒级延迟性能显著优于现有电子或光子方案（如表1对比）。团队提出的无监督硬件微调方法有效克服制造误差，为光子芯片的大规模实用化奠定了基础。