《SCIENCE ADVANCES》:Few-shot neuromorphic vision in a nonlinear photonic network laser
编辑推荐:
随着人工智能(AI)的普及,对能够模仿大脑从有限数据中提取结构能力的硬件需求日益增长。在视网膜中,神经节细胞通过侧向抑制(lateral inhibition)从稀疏输入中检测特征,即神经元拮抗性地抑制邻近细胞的活动。生物神经元表现出多样的异构非线性响应,这与
随着人工智能(AI)的普及,对能够模仿大脑从有限数据中提取结构能力的硬件需求日益增长。在视网膜中,神经节细胞通过侧向抑制(lateral inhibition)从稀疏输入中检测特征,即神经元拮抗性地抑制邻近细胞的活动。生物神经元表现出多样的异构非线性响应,这与鲁棒学习和低数据量下的强性能相关。研究人员提出了一种受视网膜启发的光子计算系统,其中随机网络激光器(random network laser)中空间竞争的模式充当异构、抑制性耦合的神经元,实现特征检测、少样本分类与分割。该硅兼容方案利用异构兴奋与抑制非线性物理动力学,产生涌现的光子计算行为,包括并行特征检测及在训练数据稀缺时的强性能。研究人员在MNIST与Fashion-MNIST上分别取得98.05%与87.85%准确率,在BreakHis癌症诊断上取得90.12%准确率,在少样本与类别不平衡条件下训练集仅数百张图像时优于包括EfficientNetV2与视觉变换器(ViT)在内的软件卷积神经网络。在HAM10k皮肤病变数据集上实现分割与分类联合任务,DICE与Jaccard分数分别为84.49%与74.80%。结果表明随机激光网络作为非线性光子学习系统的潜力,并凸显异构非线性动力学在困难低数据场景支持强学习的能力。
研究背景与动机:边缘计算等场景对训练数据与能耗均受限的专用AI硬件需求迫切,传统软件模型在少样本(few-shot)、类别不平衡生物医学任务上表现受限。物理神经形态系统多只工程化兴奋动力学,缺乏生物视网膜中兴奋-抑制(excitatory-inhibitory)并存与神经元异构非线性响应,限制了其在低数据机制下的性能。为此,研究人员构建受视网膜启发的片上半导体随机网络激光器,将空间重叠模式的增益竞争(mode competition)映射为侧向抑制,用异构非线性光子动力学直接完成特征提取与少样本视觉任务。
主要关键技术方法:采用150 μm直径铟磷(InP)键合氧化硅(Si)片上随机Voronoi拓扑网络激光器,由飞秒脉冲经数字微镜器件(DMD)整形为图像泵浦;用二维CCD与光栅获取空间分辨超光谱(hyperspectral)响应;以稳态第一性原理激光理论(SALT)及图网络扩展netSALT仿真模式竞争;分类与分割任务中,超光谱输出接逻辑回归或岭回归(ridge regression)线性读出层。样本队列来自公开基准MNIST、Fashion-MNIST、BreakHis(400×组织学图像)、HAM10k/ISIC 2018皮肤病变集。
研究结果
工作机理(Working principle):图像窗口经光泵照射网络,不同波长与空间位置的激射模式(lasing modes)因泵浦图形与模式分布的相关性及空间光谱烧孔(hole burning)产生兴奋或抑制,单次光栅扫描并行输出多张特征图,等效于自带物理非线性的并行卷积核。
网络激射模式的并行特征检测(Parallel feature detection via network lasing modes):netSALT仿真与实验均在“均匀/右边缘/上边缘”泵浦下显示模式A–C阈值交变;对“CL”图像及彩色mandrill图作4×4至11×11窗口扫描,实验提取出含正负权重的等效核(R2 0.628–0.946),证明物理过程不能被纯线性核完全描述,且随机拓扑较六角拓扑特征数更多。
网络激光器图像分类(Network laser image classification):单层直接将全图投影网络后逻辑回归,MNIST 96.03%、Fashion 85.18%、BreakHis 86.59%;两层先提10张特征图再投影网络,达98.05%、87.85%、90.12%。在训练集小于5000(数字)与15000(服饰)时超越Logistic、MLP、LeNet-5、96滤波器CNN、EfficientNetV2-B0;BreakHis上全程优于EfficientNetV2-B0,且仅ViT_b_16在长训练集反超,光子网络在≤200张训练图时仍胜ViT;仅10张训练图得77.7%。
生物医学图像分割与类别不平衡诊断分类(Combined biomedical image segmentation and class-imbalanced diagnostic classification):同一超光谱一次输入,换线性读出层即可兼做七类诊断与病灶分割。HAM10k类别平衡准确率最高53.7%,在≤500张训练图时优于ViT_b_16;分割DICE 84.49%、Jaccard 74.80%、像素准确率领先,能避开毛发、暗角等干扰,优于CNN与岭回归软件基线。
讨论与结论翻译:该工作表明在光子计算中引入异构非线性、兴奋-抑制并存与无序空间模式的关键价值;空间重叠模式提供小footprint并行特征检测,区别于每设备重复一次的物理卷积硬件。少样本与类别不平衡场景的强性能源于高维异构非线性响应,与生物神经元异构性促鲁棒学习理论一致。该系统面向边缘端训推一体具备优势。核心结论为:随机激光网络可作为非线性光子学习系统,异构非线性动力学能在低数据硬任务(BreakHis、HAM10k)中支撑强学习,为物理神经形态计算提供超越纯兴奋动力学的生物启发路径。论文发表于《SCIENCE ADVANCES》。