可编程超快ReLU激活功能的多层非线性衍射神经网络及其在实时感知中的应用

《Nature Communications》：Multilayer nonlinear diffraction neural networks with programmable and fast ReLU activation function

本研究针对衍射神经网络中非线性激活函数存在的延迟高、功耗大、级联复杂等关键问题，提出了一种基于可编程超表面集成射频组件的新型微波频段多层非线性衍射神经网络(MN-DNN)。该网络通过非线性超表面单元实现了类似ReLU的激活功能，单层延迟低至17.7纳秒，比传统光电转换非线性快数个数量级，并在MNIST、Fashion-MNIST数据集和实时人体姿态识别任务中表现出卓越的分类能力，为实时传感、人机交互等应用提供了创新解决方案。

　　

在人工智能技术飞速发展的今天，神经网络规模的不断扩大导致了能耗和训练成本的指数级增长，迫切需要寻找更高效的计算替代方案。光学计算，特别是光学神经网络，因其在速度和能效方面的显著优势而备受关注。然而，作为光学神经网络重要分支的衍射神经网络(DNNs)，虽然在高速处理、并行性和能效方面具有先天优势，却长期面临着一个关键瓶颈——如何实现高效且高速的非线性激活。

传统衍射过程本质上是线性的，而非线性激活函数对于神经网络的表达能力至关重要。目前已有的非线性实现方法各有限制：基于半导体量子点的非线性受限于低转换效率；光子可饱和吸收体和射频放大器饱和非线性则需要高能量输入才能激发非线性响应；基于CMOS传感器的光电非线性受曝光时间限制，延迟达到毫秒或微秒量级；而依赖模数转换器(ADC)、数模转换器和微控制器单元(MCU)的非线性则需要复杂的外围设备，严重限制了系统计算速率。这些问题严重阻碍了衍射神经网络在实际任务中展现相对于传统数字计算的优势。

针对这些挑战，东南大学电磁空间研究所崔铁军院士团队在《Nature Communications》上发表了一项创新研究，提出了一种具有可编程快速ReLU激活功能的多层非线性衍射神经网络(MN-DNN)。该网络工作在5.8GHz微波频段，通过将非线性超表面与射频探测器、放大器和电压加法器集成，构建了具有强度相关非线性传输系数的非线性层，有效实现了ReLU激活功能。

研究人员采用的关键技术方法包括：设计并制备了集成射频组件的非线性超表面单元，通过时间延迟测量系统验证了17.7纳秒的单层延迟性能；建立了包含三个线性层和三个非线性层的MN-DNN架构，使用Adam算法进行梯度下降优化；构建了包含6800个样本的人体姿态数据集，涵盖8种姿态在不同距离和旋转角度下的电磁散射数据；开发了基于八单元贴片天线阵列的快速检测系统，实现实时电压波形监测和动态姿态识别。

非线性超表面单元架构

研究团队设计的非线性超表面单元采用四金属层和三介质层结构，包含八角形接收贴片天线、T结不等功率分配器和发射天线。当空间射频能量被接收天线耦合后，大部分能量被射频放大器放大并导向高速射频探测器转换为直流电压V_OUT，与偏置电压V_BIAS相加后形成控制电压V_CTRL用于调制放大器。这种设计使得传输系数随入射功率变化，实现了类似ReLU的非线性响应：低于阈值时输出可忽略，超过阈值后线性增加。

手写数字分类

在MNIST数据集分类任务中，研究人员将28×28像素图像下采样至14×14像素并二值化，通过强度调制映射到输入层超表面。非线性网络采用交替的线性和非线性层结构，包含1458个可训练参数，远少于传统全连接网络。实验结果显示，非线性网络达到92.81%的识别准确率，比线性网络(88.63%)提高4.18个百分点。对于特征复杂的易混淆图像（如数字"4"与"9"），非线性网络能正确聚焦目标区域，而线性网络会出现误分类。

Fashion-MNIST分类

在更复杂的Fashion-MNIST数据集上，非线性网络达到78.8%的准确率，比线性网络(74.43%)提高4.37个百分点。研究表明，非线性层数量和位置对性能有显著影响：非线性层数量增加能提高准确率；靠近输入或输出层放置非线性层效果最佳；ReLU激活函数相比Tanh和Leaky-ReLU能带来最大性能提升。

静态姿态识别

研究团队开发了基于MN-DNN的实时人体姿态识别系统，能识别站立、举手、问候等八种姿态。系统使用八单元贴片天线阵列采集人体散射的电磁波，通过MN-DNN处理后，输出平面八个区域的能量分布对应不同姿态分类。实验结果显示，非线性网络达到93.06%的识别准确率，显著优于线性网络的81.85%。

动态姿态识别

MN-DNN还能有效识别动态连续姿态。测试者每4秒切换一个姿态，系统能实时跟踪并准确分类。总系统延迟仅为2.48微秒，比传统相机系统结合数字神经网络的后处理（通常为毫秒级延迟）快三个数量级。通过采用高速ADC模块和高性能FPGA，系统延迟可进一步降低至66.5-68.5纳秒。

该研究的创新意义在于首次实现了具有可编程快速ReLU激活功能的多层非线性衍射神经网络，解决了衍射神经网络中长期存在的非线性实现难题。通过纳米级延迟、低功耗和可重构非线性等特点，MN-DNN为实时传感、运动检测、无线通信、雷达信号处理等应用提供了理想平台。未来通过集成高速有源组件、优化网络架构和扩展工作频段，该系统在能效和性能方面还有巨大提升空间，标志着电磁空间智能信息处理技术的重要突破。