神经全息技术实现了多波束操控，从而提升了多任务分类器的性能

《Opto-Electronic Technology》：Neural holography enabled multi-beam steering for multi-task classifier

　　1 引言
光子/光电计算可以加速人工智能（AI）在各种应用中的推理，例如图像处理1、视频识别2、内容生成3、4等。然而，目前大多数架构都是特定于应用的，并且针对单一任务进行了优化。因此，在统一平台内实现多任务处理的能力与光硬件成本之间存在权衡。为了解决这个问题，开发了多任务学习（MTL）技术，以促进任务集的联合学习并实现参数共享，从而降低成本5,6。最近，提出了利用被动光元件的多种多任务衍射光神经网络（DONNs）7?25。这些DONNs配备了在芯片上训练的衍射表面，并通过利用不同的自由度（DoF），包括光偏振、波长和组件重新排列来实现可重构性。例如，已经展示了基于偏振复用超表面的双任务光学分类器7?9。进一步增加可以集成到一个DONN中的任务数量需要多光谱光衍射10?15。多任务DONNs还可以通过替换16,17、旋转18,19、重新排序20,21或翻转22衍射层来实现。当与波长和/或偏振复用结合使用时，机械可重构的DONNs可以进一步增强系统的多功能性23。通过利用上述多种DoF可以减少不同任务之间的串扰24。这些方法使得单个DONN设备能够完成多项任务。但实际上，用于各种偏振或波长的训练后的相位掩模通常具有复杂的分布，这需要精确对齐级联层。为了将MTL与DONN集成，机械重构衍射表面加剧了对齐的挑战。随着衍射层宽度和数量的增加，模型与现实之间的不匹配问题加剧，从而限制了DONNs的大规模部署26,27。此外，能效高的多任务DONNs需要训练算法来学习最优网络架构以及哪些衍射层应该共享或重构24。因此，芯片上训练的处理可能非常昂贵。除了基于光波前变换的全光处理外，计算机生成全息术（CGH）还可以将所需的电子数据转换为光分布28。CGH技术在直视图像/视频显示29,30、光开关31和光无线通信（OWC）32?34等领域具有应用潜力。最近，已经开发了深度学习算法来实现高质量光场重建和实时仅相位全息图的生成35,36。因此，将神经全息术集成到DONNs中作为前端，可以实现硬件系统在统一平台上的轻松重构。在这项工作中，我们通过将神经全息术与光电计算相结合，扩展了CGH在多图像分类中的应用。其意义有二：首先，由于CGH提供的电子到光学数据转换具有高非线性激活37,38，可以简化加速神经计算的光学系统；其次，智能控制多光束转向在自适应无线通信39?43中具有潜在应用。为了用统一架构处理多个任务，我们开发并实验验证了一个紧凑的自由空间光学系统，其中使用了一个仅相位的空间光调制器（SLM）同时实现输入数据编码和衍射调制，并使用相机捕获系统的响应。我们将该系统称为全息神经网络（HNN），因为其架构与全息显示器相同。通过开发神经全息算法，该系统不显示光学图像，而是生成用于识别图像内容的光学分布。在我们的实验中，我们成功训练了一个由单个SLM和单个激光源组成的HNN来同时执行两项任务。所提出的HNN通过模仿电子十字绣网络的架构避免了硬件重构的需求6，并实现了与单任务网络相当的性能6，在不同任务中均可表现良好。极简单的光学配置和高效的数字训练模型确保了成本效益、鲁棒性和可扩展性，使其在广泛的人工智能相关应用中极具前景。

2 方法
DONNs由多个具有大规模光调制像素的空间工程衍射层组成。每个像素充当一个可训练的“神经元”，通过自由空间中的光衍射相互连接，并通过数字计算机上执行的误差反向传播算法进行调整。图1(a)展示了用于多任务分类器的多路径DONN的实现。首先，电子输入信息通过SLM37,38转换为光学空间变化。然后，不同的光衍射过程执行各种任务。在以前的工作中，采用了两种方案来构建多个光通道：利用多维光学特性的信息复用和机械可重构的衍射层。光学复用处理器需要多个激光源和光电探测器来利用光的偏振和波长DoF，因此阻碍了系统的小型化。机械可重构的衍射网络需要重新调整系统的波长和/或偏振。因此，以前的多任务DONNs是通过调节激光的波长和/或偏振、调整衍射和/或检测层的位置和/或方向来物理控制的。这种基于硬件的可重构性限制了多任务系统的灵活性和简单性。

图1. 全尺寸图像（PowerPoint）
(a) 通过两条光路径（Woptic,1, Woptic,2）实现的基于硬件的双任务衍射光神经网络，这些路径通过多维光学特性复用和/或机械可重构的光学层实现。
(b) 基于软件的可重构HNN，通过一个可训练的数字矩阵（Wdigital）和一个共同的光学路径（Woptic）实现，该方案受到相位复用全息术和十字绣多任务网络的启发。在这里，我们提出了一种基于软件的可重构HNN，可以利用避免多维光学复用和光学元件重构的优势来实现多任务并行性，如图1(b)所示。在所提出的多任务框架中，使用可训练的光学编码器来驱动固定的光学系统。结合相位复用全息术29和十字绣多任务网络的架构，我们的系统可以在不重新排列硬件的情况下执行多任务，充分利用了光相位调制的内在非线性、自由空间光传播的高吞吐量以及CGH的AI驱动算法。

2.1 网络架构
图2(a)展示了一个HNN，它可以使用单个激光和一个共同的光学路径在一幅图像中识别两个数字（例如，左上角的“6”，右下角的“5”）。从数字域到光学域的数据输入是任何光学处理器的重要组成部分。输入数据通过一个训练有素的数字网络编码在光学相位波前中。在这里，输入数据编码层和单一隐藏层都使用SLM实现。通过利用电信号到光信号转换过程中的非线性，该框架可以显著降低系统复杂性38。SLM施加的相位轮廓以光学强度的形式通过光衍射记录在相机中，连接到输出神经元。单任务的光电计算过程可以表示为：

图2. 全尺寸图像（PowerPoint）
(a) 用于同时识别一个输入图像中的两个数字的HNN架构。LCoS：液晶在硅上，BS：分束器，CCD：电荷耦合设备相机。
(b) 手写数字MNIST数据集的输入图像、生成的相位分布、计算和实验得到的光学强度结果。
(c) 双手写数字MNIST数据集的输入图像、生成的相位分布、计算和实验得到的光学强度结果。
(d) 组合了手写数字和时尚元素的MNIST数据集的输入图像、生成的相位分布、计算和实验得到的光学强度结果。绿色框表示时尚类别，从右到左、从上到下依次为T恤、裤子、套头衫、连衣裙、外套、凉鞋、衬衫、运动鞋、包和靴子。Y=|W2eiW1X|2，
在这里，X是从输入图像重塑的输入向量，W1是可训练的编码矩阵，W1X被重塑为二维矩阵，然后馈送到SLM。W2是描述从仅相位SLM到成像平面的自由空间传播的复数值传输矩阵，该矩阵源自瑞利-索末菲尔德衍射公式，Y是检测到的光学强度分布的实数向量。在接收端，根据类别的数量将相邻元素相加形成目标区域。具有最高光学强度的区域表示预测结果。值得注意的是，大多数当前光学计算系统要处理的数据都在数字域中，因此输入的电信号到光信号的转换是一个关键步骤。在这项工作中，非线性函数内在地集成在从电子输入到调制光波前的编码过程中。数据读入和读出之间的单个光学步骤使得光学系统的建模更加准确，从而消除了数字训练和光学实现之间的差距，正如我们之前的CGH实验29,30,38所示。图2(b)展示了MNIST数据集中的手写数字图像的输入图像、生成的相位分布、计算和实验得到的光学强度结果。在这里，我们通过省略SLM和电荷耦合设备（CCD）之间的任何衍射层，探索了同时数据读入和编码过程的计算能力。我们的方法灵感来自于MTL的十字绣网络。通过利用相位复用全息术技术，设计了双任务HNN：

Y=|W2eiW1,1X+eiW1,2X|eiW1,1X+eiW1,2X||2，
其中W1,1和W1,2是两个任务的两个训练有素的数字神经元矩阵，W2是固定的光学神经元矩阵。Y中的检测区域数量是两个任务类别的总和。在这项工作中，使用了包含MNIST数据集中的两个手写数字的图像数据集、MNIST数据集中的一个手写数字和Fashion-MNIST数据集中的一个时尚项目来测试所提出的HNN。图2(c, d)展示了所提出的HNN进行并行双任务分类的两个示例。检测平面有五行四列的离散区域，用于同时识别两个图像。红色和绿色框分别代表左上角和右下角的图像。计算和测量的强度分布非常吻合。显然，两个任务可以同时执行，表明HNN学会了将输入能量集中到两个相应的目标区域。以前的光复用多任务DONNs通常会在任务之间表现出串扰。在我们的工作中，为了研究两个任务之间的关系，误差反向传播训练方案包括了两个任务之间的交叉计算。

2.2 学习算法
单任务DONNs和HNN的训练算法都是基于复数值深度神经网络开发的，这些网络在我们的先前工作中有详细描述27,38。用于建模光电处理系统的正向和反向传播方程在表1中进行了总结。定义了一个特定于任务的损失函数L来量化光学强度与真实值之间的误差。表1中的损失函数中，Y是检测器区域的累积强度，Ytarget是one-hot编码向量，其中对应于正确类别的值是相机目标区域内的期望强度，而所有其他值都是0。为了 bridging 计算强度和测量强度之间的差距，在Ytarget中选择了70,000作为目标检测区域。

表1. 所提出的HNN系统中用于正向推理和基于反向传播的训练算法的方程。
正向传播　　误差反向传播
初始化W1,1和W1,2　　使用?L?W1,1和?L?W1,2根据Adam优化器更新W1,1和W1,2
数据编码的输入层　　A1=W1,1XA2=W1,2X
?L?W1,1=[r?L?A1+(1?r)?L?A2]?A1?W1,1?L?W1,2=[r?L?A2+(1?r)?L?A1]?A2?W1,2
SLM的隐藏层　　ZSLM=eiA1+eiA2|eiA1+eiA2|
?L?A1=?L?Re(ZSLM)??Re(ZSLM)?A1+?L?Im(ZSLM)??Im(ZSLM)?A1?L?A2=?L?Re(ZSLM)??Re(ZSLM)?A2+?L?Im(ZSLM)?A2
检测器的输出层　　Y=|W2ZSLM|2
?L?Re(ZSLM)=?L?Y??Y?Re(ZSLM)?L?Im(ZSLM)=?L?Y??Y?Im(ZSLM)
损失函数　　L=∑(Y?Ytarget)2
Re：实部；Im：虚部。CSV

与其分别训练两个神经元矩阵并将两个相位轮廓合并到一个SLM中，不如将表征各种任务的损失函数结合起来，并使用随机梯度下降算法和自适应矩估计优化器（Adam）（学习率为5 × 10?3）来优化输入编码权重W1,1和W1,2。在误差反向传播计算中，使用了一个任务相关系数r，如图3(a)所示。然后，这里唯一的光衍射层的相位分布可以通过矩阵向量乘法来计算。通过适当选择相关系数r，训练算法允许系统在保持高准确性的同时处理双重任务。图3(b)和3(c)分别展示了包含两个手写数字的图像数据集、每个图像中一个手写数字和一个时尚物品的图像数据集在不同相关系数r下的两种测试分类准确率。比较结果表明，如果右下方的任务与左上方的任务相关，则所提出的多任务配置可以提高左上方任务的分类准确率；否则，当右下方任务不相关时，左上方任务的分类准确率会降低。全尺寸图片 | PowerPoint

使用相同的MNIST和Fashion-MNIST组合图像数据集以及相关性因子进行训练的多任务HNN的结果，但在不同类型的数据集上进行了测试：(a) MNIST和Fashion-MNIST组合图像；(b) 仅MNIST图像；(c-e) MNIST以及重新定位和/或调整大小的Fashion-MNIST组合图像。表2显示了使用相同数据集但三种不同类型数据集训练的HNN的模拟盲测准确率比较。

训练数据集类型 测试数据集类型 左上MNIST测试准确率 右下Fashion-MNIST测试准确率
MNIST & Fashion-MNIST 91.35% 83.16%
MNIST & Fashion-MNIST 仅MNIST 91.99% 不适用
MNIST & Fashion-MNIST MNIST及重新定位和/或调整大小的Fashion-MNIST 91.00% 不适用

CSV | 显示表格

5 | 前景应用

SLM的多光束指向角度由一个端到端的神经网络控制，该网络包含数字编码和光学处理两部分。因此，这项工作在智能光束控制方面具有潜在的应用价值，例如用于OWC（光学无线通信）的AI驱动SLM控制，以实现指向误差补偿或多光束方向性调整。利用SLM的可重构和多光束可控系统在多用户通信场景中非常重要，如广播和NOMA（非正交多址）通信。所提出的HNN框架证明了多光束传播方向可以通过端到端的神经网络来确定。在实际应用中，本工作中使用的输入图像数据可以被OWC链路接收到的信号或光场所替代。MTL（多任务学习）已在无线通信的不同任务中得到应用，例如，提出了多种多任务网络模型来估计无线电信号的方向到达（DoA），并同时确定传输源的数量或调制格式。在其他无线频段中，MTL实现了THz宽带信道和用户DoA的估计，以及可见光集成定位和通信。

6 | 结论

在这项工作中，我们提出了一个能够同时处理多个图像识别任务的神经全息平台。多光束指向由一个包含数字和光学处理的端到端神经网络驱动。与光学和/或机械可重构的多任务DONN相比，HNN更易于训练和实现。通过利用光电非线性，该系统避免了复杂的光学部署，从而能够生成精确的光电输出数据，这对于可扩展性至关重要。这项工作将CGH（计算全息）的应用范围从全息显示扩展到了全息分类器。除了光电计算之外，所提出的平台还在多用户无线通信系统的智能光束控制方面具有潜在的应用价值。输入数据集和SLM控制网络可以根据更实际的光学应用进行定制。

致谢

本研究得到了中国国家重点研发计划（2023YFB2804700）、国家自然科学基金（62275208）、湖北省科技计划（2024AFE004, 2025BAB016, 2025BAB102）以及湖北省科技创新研究院的重大重点项目（PCL2025A06）的支持。

利益冲突

作者声明没有竞争性财务利益。