通过硬件加速的深度学习方法加快可重构智能表面的配置速度

《Computers and Electrical Engineering》：Accelerating configuration of Reconfigurable Intelligent Surfaces through a hardware-enhanced deep learning approach

　　鲁本·帕迪亚尔-阿卢埃（Rubén Padial-Allué）、阿尔贝托·马丁-马丁（Alberto Martín-Martín）、安东尼奥·加西亚（Antonio García）、恩卡纳西奥纳·卡斯蒂略（Encarnación Castillo）、何塞·大卫·费尔南德斯-罗德里格斯（José David Fernández-Rodríguez）、马科斯·巴埃纳-莫利纳（Marcos Baena-Molina）、路易斯·帕里利亚（Luis Parrilla）
西班牙格拉纳达大学电子与计算机技术系，Fuentenueva校区，18071

**摘要**
可重构智能表面（Reconfigurable Intelligent Surfaces，RIS）技术的出现有望通过实现对电磁波传播的动态控制来彻底改变无线通信领域。然而，要充分发挥RIS的潜力，实际应用中需要复杂的配置策略。本文提出了一种基于深度学习（Deep Learning，DL）的RIS配置硬件实现方法，该方法同时解决了配置过程的复杂性和效率问题。所开发的深度学习算法旨在优化RIS元件的相位偏移，并已被证明能够提升信号质量和系统性能。该算法被 implemented 在两个基于现场可编程门阵列（Field-Programmable Gate Arrays，FPGA）的专用硬件平台上，实现了实时处理和适应性。这种方法利用了FPGA的固有并行性，加速了与深度学习推理相关的计算密集型任务。事实上，每秒可以实现超过18,000次配置，从而为这一领域提供了一种全新的快速高效RIS配置方案。

**1. 引言**
无线通信技术的迅速发展迫切需要创新解决方案，以满足对更高数据速率、更好覆盖范围和能效不断提升的需求。2018年6月，在多年研发之后，第五代（5G）移动通信标准终于实现了商业化推广。新一代5G网络的传输速度是前一代的10倍，峰值数据速率可达20 Gbps [1]。根据代表全球移动通信网络利益的非营利组织全球移动通信系统协会（Global System for Mobile Communications Association，GSMA）的数据，到2025年，5G将占据全球移动通信市场的15% [2]。
然而，在5G无线网络的标准制定过程中逐渐明确，没有一种单一技术能够满足所有应用需求 [3]。因此，研究人员已经开始探索超越5G的技术，以提升数据速率、降低延迟并提高能效。为了满足这些严格要求，传输技术必须进一步发展，依靠新技术的应用。

RIS（可重构智能表面）在文献中也被称为智能反射表面（Intelligent Reflecting Surfaces，IRS）或大型智能表面（Large Intelligent Surfaces，LIS），它由大量低成本的无源电磁（EM）反射元件组成，每个元件都能根据控制信号调整自身的相位和幅度 [4][5][6]。这一独特功能使RIS能够主动塑造和引导无线信号环境，从而提升信号质量、减少干扰并提高频谱效率。与传统依赖放大器、发射器等有源组件的方法不同，RIS设备采用无源硬件，功耗更低，更具可持续性和成本效益。
RIS的工作原理是在信号发射器（基站，BS）与信号接收器（用户）之间创建虚拟视距（Line of Sight，LOS）。图1展示了RIS如何通过操控电磁波有效绕过障碍物、缓解信号阻断，确保通信链路的稳健性和可靠性。这种能力使得RIS技术在多种场景中都非常实用。RIS的应用涵盖了现代无线网络的广泛场景，包括建筑密集的城市环境、通信设施有限的农村地区以及工厂和办公室等复杂室内环境。通过战略性地部署RIS设备，可以创建智能无线环境，以适应用户需求和环境变化，克服传统通信系统的限制。RIS技术还能提高信噪比（SNR），进而提升能效。

RIS技术的优势不仅在于防止信号被障碍物阻挡，还能通过追踪目标用户位置实现用户移动时的不中断通信 [7]。此外，在更复杂的波束成形应用中，入射信号可以被分成多束并重定向到多个用户 [6][8]。即使在传感领域，该技术也有广泛应用，例如生成环境对象的高分辨率图像的射频（RF）成像 [9] 或人体姿态识别系统 [10]。RIS技术目前是一个热门的研究领域，近期研究已经发现了大量潜在应用。

**下载：**
下载高分辨率图像（283KB）
下载全尺寸图像

**图1. 使用RIS创建虚拟视距**

根据应用和吞吐量需求，RIS系统采用不同的硬件配置和运行模式。RIS结构大致分为基于贴片阵列的RIS（Patch Array-Based RIS）和超表面（Metasurfaces）。基于贴片阵列的RIS会在表面形成离散的相位偏移分布，导致不连续性 [11]。这类RIS常用的元件包括正/本征/负（PIN）二极管、可变电阻二极管和延迟线等技术。相比之下，超表面由密集排列的周期性单元构成，这些单元尺寸从小几毫米到微米甚至分子级别不等。这些超表面通过物理改变单元来实现相位变化，可以根据所需位数或状态更平滑地操控电磁波 [4][5][6][11]。无论RIS设备的硬件实现方式如何，所有单元都必须被控制以调整RIS模式，以满足特定应用的实时运行需求。重新配置时间包括优化RIS配置所需的计算时间以及激活RIS内部所有单元的操作时间。

由于RIS具备固有的可重构性，便于与电子电路无缝集成，并且具备支持高速运行的并行处理能力，现场可编程门阵列（FPGA）在控制单元阵列和管理激活/停用每个单元所需的电子电路方面被广泛采用 [10][12][13][14][15]。

然而，优化RIS每个单元的相位偏移是一项具有挑战性的任务。文献中描述了多种优化方法，许多方法依赖于迭代计算 [15][16]，如梯度下降（Gradient Descent，GD）算法 [17][18]。还有一些基于元启发式的方法，例如遗传算法（Genetic Algorithms，GA）[19]，它们会搜索一系列潜在的RIS配置并不断改进，以最小化期望辐射模式与实际辐射模式之间的误差。如果没有任何配置满足停止标准（即期望辐射模式与实际辐射模式之间的最小误差），则会通过重组和变异最佳配置生成新的配置集。这一过程会持续进行，直到找到满足标准的解决方案 [20]。

[20] 中提出的方法使用了一种非支配排序遗传算法（NSGA-II），通过优化表面特定区域内的电磁能量分布来确定RIS配置，从而实现所需的波束指向。该方法从初始RIS状态开始，不断进行随机修改，直到达到目标信号幅度。由于计算量巨大（在20核Intel? Xeon?服务器上生成单一RIS配置需要长达三分钟），这种方法不太适合边缘计算场景。此外，在多路径环境（如城市和室内场景中）中，问题更加复杂，因为系统配置可能需要考虑多个路径，此时优先选择某个特定角度可能并不恰当，可能需要多束配置。

上述方法往往资源消耗大且耗时，增加了为特定RIS应用进行精确高效相位调整的难度。因此，人们开始探索使用创新的人工智能（AI）算法来计算最佳RIS配置 [17]。Shan等人 [19] 提出了一种卷积神经网络（Convolutional Neural Network，CNN），能够根据所需波束模式预测RIS配置。作者还指出，在Intel? Xeon? CPU上运行时，CNN的性能优于遗传算法。遗传算法计算配置需约38秒，而深度学习方法在高性能计算机上平均只需500微秒，即每秒可生成2000个配置 [19]。Fernández-Rodríguez等人 [21] 提出了一种专为边缘计算设计的深度学习模型，特别适合实时应用和资源受限的环境。不过，该研究仅关注深度学习算法的开发，未涉及其实现细节。

更进一步，一些研究人员探索了在边缘设备上实现深度学习模型。例如，[22] 中的研究提出使用FPGA并比较了其与其他低资源设备的性能，以加速深度学习模型的推理速度，实现最佳RIS配置。实验表明，FPGA设备在深度学习推理任务中的性能优于CPU、TPU或GPU，每秒可处理高达971,140个配置 [22]。另一项研究 [15][23] 首先使用计算密集型算法预计算RIS配置，然后根据目标角度从预计算配置库中选择合适的配置。这种策略在RIS应用中很常见，其中深度学习用于目标检测，以获取目标物体相对于RIS的俯仰角和方位角 [15][23]。随后使用相应方向的预计算配置对RIS设备进行配置。

尽管传统的CPU和GPU实现方案具有优势，但它们常常难以满足边缘计算环境对性能和能效的高要求。这使得人们更加关注使用FPGA进行深度学习 [24][25]，FPGA的可重构性和并行处理能力提供了有前景的解决方案。FPGA在边缘计算中的主要优势在于不仅能加速特定计算（如RIS配置），还能承载边缘所需的任何额外硬件。对于RIS应用，FPGA可以集成计算设备配置所需的加速器以及所有辅助系统，包括通信、控制和传感功能。大量可配置的输入/输出（I/O）接口使得FPGA能够控制包含众多元件的设备，而如果使用传统CPU或GPU，则需要定制串行通信和片外硬件。FPGA可集成系统的数量仅受其自身尺寸限制。FPGA的可重构性和灵活性简化了系统设计，进一步降低了延迟，为更高效、智能的无线通信系统开辟了新可能性。

值得注意的是，所提出的实现方案便于在5G/6G基站（BS）与用户设备（UE）之间不存在视距链接的复杂室内和室外环境中实际部署RIS。例如，这种启用FPGA的边缘计算RIS设备可以将信号从走廊中的基站重定向到房间内的用户设备 [26][27]。在室外场景中，屋顶安装的5G基站信号可以通过建筑立面或电线杆上的RIS面板重定向到建筑物下方的用户 [27][28]，从而改善信号覆盖。在办公室或工厂等环境中，将RIS安装在墙壁、天花板或智能窗户上还可以增强高数据速率用户的信号强度 [29]。此外，基站通常部署在隧道或商场入口处，这些地方的信号覆盖范围会随着用户远离入口而减弱；在这种情况下，RIS辅助的信号重定向能显著提升连接性 [27]。该实现还能通过控制间接传播路径，在非视距（NLOS）条件下提高雷达探测能力，扩展检测范围至阴影区域 [33][34]。实际测试表明，64-QAM 5G NR信号在24.5 GHz频率下使用RIS（Reconfigurable Optical Interface）克服遮挡时，能够实现超过1 Gbit/s的吞吐量，并且信噪比（SNR）提升超过20 dB [35]。本文提出了一种基于边缘计算的最优RIS配置计算新方法，该方法利用神经网络（NN）和硬件加速技术。这一方法解决了当前RIS研究中的重要空白，并通过针对CNN算法的详细定制和硬件导向的微调，实现了实时部署。此外，该方法还比较了使用所提出的实时优化方法在不同RIS配置下的计算成本。值得注意的是，这种方法可以扩展到各种应用领域。本文档的其余部分组织如下：第2节描述了用于解决RIS优化问题的神经网络，并详细介绍了用于AI加速的硬件设备和工作流程。第3节专门讨论了在每个硬件平台上实现CNN的微调细节。相应的结果在第4节中展示，随后在第5.2节进行讨论。

**材料与方法**如前一节所述，本工作的目标是加速基于深度学习的最佳RIS配置的计算。这种配置能够反射入射的电磁波，使其主波束指向所需的方向。这里介绍的工作是为两种原型机械RIS设备开发的：一种使用电磁铁执行器的10 × 10 RIS [36]，另一种仍在开发中的使用步进电机执行器的15 × 15 RIS [37]。此外，还提出了一种用于未来20 × 20 RIS设备的潜在实现方案，展示了该方法的可扩展性。对于15 × 15步进电机原型，它包括多个辅助的低成本FPGA来控制步进电机以及用于外部通信和接口的额外硬件。使用这里提出的方法，单个FPGA可以承载所有这些系统以及所提出的RIS配置深度学习加速器，以及其他可能需要的系统：通信、用户界面、额外的传感或控制元件、外围设备等。补充材料中的视频展示了步进电机RIS原型在不同配置之间的切换，以及RF测量和RIS设备的完整控制系统设置。本工作展示了用于实时配置辐射元件的FPGA实现。这种辐射元件的配置可以根据深度学习框架中的更复杂输入变量，产生特定角度的指向或特定的辐射模式。因此，辐射元件配置的输入参数取决于具体应用，可能是用于最大化5G网络中用户信噪比的算法，或是用于跟踪的RIS系统，或是将这种类型的辐射元件插入微波成像系统。所有这些应用都将有不同的输入参数，但基本的硬件支持的深度学习结构将非常相似。因此，所提出的方法使用特定的目标角度作为输入，实时重新配置辐射系统。虽然Cross-Entropy或Markov Chain Monte Carlo可以用于多径干扰的处理，但在这里不会考虑这些方法，因为所提出的深度学习方法关注的是波束角度与RIS模式之间的关系，而不考虑动态调整。

为了满足实时操作的需求，所提出的深度学习算法利用FPGA设备固有的可重构性进行了加速，这使得并行数据处理成为可能。因此，本节还描述了基于Altera?（前身为Intel? FPGA）和AMD平台的两种不同工作流程，回顾了每个平台的独特方面，并概述了在这些系统上部署深度学习算法的步骤，突出了硬件加速方法的任何关键差异。

**2.1. 提出的神经网络**优化问题旨在确定RIS单元的最佳配置，使其组合状态将入射信号重新定向到指定的目标方向。此问题的输入是由两个角度?和θ定义的目标方向[38]，表示反射信号的期望方向，其中? ∈ [25°, 25°]，θ ∈ [?89°, 90°]。算法必须处理这些输入，以计算每个RIS元件的最佳相移。在这项研究中，分析了具有100、225和400个反射元素的三种RIS配置。每个元素能够引入0°或180°的相移。因此，期望的输出表示为10 × 10、15 × 15或20 × 20的二进制矩阵，其中每个元素对应于相应的RIS单元的状态。

为了应对这一优化挑战，在[21]中提出将其视为一个分类问题，例如，100个输出对应于10 × 10 RIS阵列单元，每个单元有两个可能的类别。深度学习算法为每个单元分配一个概率，指示它应处于‘0’或‘1’状态，从而决定单元是否引入0°或180°的相移。使用的神经网络是一种专为边缘计算设计的轻量级CNN。该CNN的输入来自目标方向角度分量，即sin(?)、cos(?)、sin(θ)和cos(θ)。由于网络的输入是一维张量，因此应用了一个初始的全连接层，随后是一系列卷积转置层，目的是扩展维度并提取相关特征。因此，隐藏张量是一个三维张量，并且可以应用一系列卷积层进行最终的特征提取。在初步实验中探索了多层感知器（MLPs）配置，但发现它们的性能较差，错误率非常高。此外，使用了小型卷积层以保持网络尽可能小和简单，以便简化其硬件实现。网络被构建为一个解码器，逐步生成越来越大的数组，直到达到RIS的大小。虽然技术上可以使用更少的层，但这将减少网络的卷积特性，从而逐渐增加从网络开始到结束的张量大小。

这种神经网络采用了一种通用的基础架构，并在最后两个卷积结构中进行调整，以达到所需的输出维度。该架构具有一个设计参数N，用于调整每个卷积层中内核的数量。这些配置产生了六种独特的模型结构。对于10 × 10 RIS配置，N = 25时的网络有509.140个参数，而N = 50时的网络则有显著更大的1,840.540个参数。对于15 × 15配置，模型大小分别增加到509.390个参数（N = 25）和1,841.040个参数（N = 50）。最后，对于20 × 20 RIS配置，N = 25时的网络有517.965个参数，N = 50时的网络有1,875.960个参数。NN架构在图3中展示，并在表1中详细说明。需要注意的是，在所有RIS配置中，使用最高设计参数N = 50的架构比使用N = 25的架构具有显著更好的准确性。例如，在10 × 10配置中，准确性从N = 25时的92.68%提高到了N = 50时的99.14%。准确性指标是根据CNN分类结果与真实值集合[22]之间的差异计算得出的，并在表2中总结。所有NN在训练时都考虑了每个输入有两个有效输出：原始RIS配置及其互补配置。在1位RIS中，每个单元可以配置为两种状态之一，每种状态对应180°的相移。如果所有RIS元件都 shifted by 180°，则信号的整体相移保持不变。因此，这个问题是对称的，为此开发了一个自定义的损失函数[21]、[22]，该损失函数不仅将NN的输出与真实值进行比较，还与其互补配置进行比较，即每个单元的逻辑非操作，选择两者中的最小值作为有效损失。这个自定义损失函数确保神经网络正确考虑了RIS配置的对称性。尽管训练数据集仅包含每个输入的一种有效配置，但网络被训练为识别互补配置同样正确。通过最小化预测配置或其互补配置的损失，网络可以准确学习生成其中一个有效输出。所提出的方法有效地捕捉了RIS配置问题的固有对称性，从而实现了更稳健的训练和更好的整体性能。

最初，网络使用SiLU（Sigmoid Linear Unit）激活函数进行训练，该函数在反卷积层和卷积层之后应用[21]，因为它比ReLU等更简单的函数产生了显著更好的结果。然而，由于SiLU的非线性特性，在FPGA硬件上实现时存在计算效率方面的挑战。为了解决这个问题，在使用SiLU进行初步训练之后，通过第二阶段的训练用线性近似替换了每个SiLU实例，称为Hard-SiLU或Hard-Swish函数。这种变化不仅便于在FPGA上实现，其中线性操作处理得更高效，还有助于提高性能，同时提高了速度和资源利用率。

**图3. NN架构表示。浅蓝色块代表神经网络（NN）层，深蓝色块表示特征形状。使用三种不同的替代方案来实现三种不同的RIS配置。NN从基础架构开始，根据目标RIS配置，最终结构适应10 × 10、15 × 15或20 × 20的大小。**

**表1. RIS配置的NN架构细节。**

| RIS配置 | N = 25 | N = 50 |
|---------|-----------|------------|
| 空单元 | | |
| 输出形状 | | |
| 参数 | | |
| 基础架构 | [4, 1, 1]– | [4, 1, 1] |
| | | |
| | | |
| 全连接层 | 120 | 120 |
| | | |
| | | |
| 批量归一化 | 120 | 120 |
| | | |
| | | |
| Hard Swish | 120 | 120 |
| | | |
| | | |
| | | |
| Conv2D转置 | [8×N, 4, 4] | 96.000 |
| | | |
| | | |
| | | |
| | | |
| 批量归一化 | 800 | 800 |
| | | |
| Hard Swish | 800 | 800 |
| | | |
| | | |
| Conv2D转置 | [4×N, 7, 7] | 320.000 |
| | | |
| | | |
| | | |
| | | |
| | | |
| | | |
| | | |
| | | |
| | | |
| | | |
| | | |
| | | |
| | | |
| | | |
| Conv2D转置 | [2×N, 10, 10] | 80.000 |
| | | |
| | | |
| | | |
| | | |
| | | |
| | | |
| | | |
| | | |
| | | |
| 备充单元 | | |
| | | |
| | | |
| Conv2D | [N, 10, 10] | 11.275 |
| | | |
| Hard Swish | | |
| | | |
| | | |
| | | |
| | | |
| | | |
| 总计： | 509.140 | 1,840.540 |
| | | |
| 15 × 15 | | |
| Conv2D转置 | [N, 12, 12] | 11.250 |
| | | |
| | | |
| | | |
| | | |
| | | |
| | | |
| | | |
| Hard Swish | | |
| | | |
| | | |
| | | |
| | | |
| 总计： | 509.390 | 1,841.040 |
| | | |
| 20 × 20 | | |
| Conv2D转置 | [N, 22, 22] | 20.000 |
| | | |
| | | |
| | | |
| | | |
| | | |
| Hard Swish | | |
| | | |
| | | |
| | | |
| | | |
| | | |
| | | |
| 总计： | 517.965 | 1,875.690 |Altera? Arria? 10是一款系统级芯片（SoC），它结合了Arm?处理器和FPGA可编程逻辑，是一个用于AI推理任务的灵活平台。这种集成明确划分了计算任务：Arm?处理器负责管理和预处理操作，而FPGA则处理计算密集型任务。另一方面，AMD Versal? VCK-190评估套件[40]配备了Versal? XCVC1902芯片，该芯片属于下一代自适应计算加速平台（ACAPs）的一部分。这款异构SoC集成了自适应智能引擎（AIEs）[41]、FPGA逻辑和标量处理器（CPU），使其特别适合处理复杂的、资源密集型的深度学习应用，例如实时RIS优化，这些应用对高吞吐量和低延迟要求很高。尽管Altera? Arria? 10 SX SoC开发套件的性能明显不如AMD Versal? VCK-190评估套件，但因为它及其相关工具链提供了浮点（FP）实现，因此被纳入了本研究。相比之下，AMD Versal? VCK-190评估套件中的AI实现处理的是8位定点数据，这需要一些仔细的调整和训练以避免影响准确性。关于每种设备及其相应实现的更多细节在补充材料中提供。

2.3. Intel? / Altera? 工作流程
Intel? FPGA AI套件[42]利用OpenVINO?[43]工具包来简化AI推理模型在Altera? FPGA上的部署。这种集成策略使得预训练模型的转换和优化更加高效，使其适合FPGA实现。预训练的TensorFlow/Keras模型首先通过OpenVINO?处理，然后转换为中间表示（IR）格式[44]。IR模型包含了整个神经网络结构，包括其层、连接、权重和偏置。不同NN架构的IR模型的准确性结果与表2中的结果一致，因为这些仍然是软件得出的结果。接下来，IR模型由Intel? FPGA AI套件中的DLA（深度学习加速器）图编译器进一步处理，以适应Altera? Arria? 10 FPGA的執行。它生成了关于层、它们的连接、权重和CoreDLA IP核心[45]特定指令的信息。CoreDLA IP是根据IP架构文件（.arch）中定义的配置参数为目标Altera? FPGA设备专门构建的。编译和综合使用Quartus? Prime软件[46]完成。这个IP核心可以通过不同的性能和面积参数集进行定制，从而提供了资源分配的灵活性。一旦核心IP合成完成，生成的比特流就会与FPGA AI套件运行时插件一起集成到Yocto Linux系统中，确保FPGA能够高效地执行AI推理。

2.4. AMD工作流程
AMD的工作流程与第2.3节中概述的非常相似，主要区别在于，在这个场景中，AI加速器处理的是8位定点数据。因此，模型必须事先进行量化，这可以通过训练后量化（PTQ）或量化感知训练（QAT）技术来实现。在这项研究中，使用了Vitis? AI AI（VAI）量化器的TensorFlow版本将原本以浮点格式表示的软件模型转换为8位定点模型。此外，目标硬件不支持的操作（如批量归一化层）在转换过程中会被折叠到之前的层中。AMD的实现依赖于深度学习处理器单元（DPU）核心[47]，特别是在这项工作中使用了DPUCVDX8G для AMD Versal? ACAP设备。这个IP同时使用了FPGA可编程逻辑（PL）和AIEs，并且可以配置每个领域中的资源数量。AIEs是执行卷积操作的硬件资源，它们被组织成组。每个批量处理器都有一个私有的AIE组和内存瓦片组。PL组件包括一个高级调度器模块、共享权重的全局内存，以及负责加载、保存、池化和逐元素操作的批量处理器。调度器和权重缓冲区在所有批量处理器之间共享。每个批量处理器都有自己的私有资源，包括加载和保存模块、池化模块以及逐元素模块，以及本地特征图存储。VAI编译器将转换后的网络模型转换为高度优化的DPU指令序列。过程从解析优化和量化的输入模型的拓扑结构开始，然后构建一个内部计算图作为中间表示（IR），包括相应的控制流和数据流表示。编译器执行一系列优化，例如高效的指令调度，以利用内在的并行性并提高数据重用率。最终生成的.xmodel文件是模型的XIR格式序列化版本。最后，编译后的深度学习模型通过Vitis AI运行时（VART）在DPU上部署。VART是一个软件库，作为编译模型和硬件之间的接口，它提供了加载模型、处理输入输出数据以及启动推理的API，同时抽象出硬件特定的细节以确保在DPU上的高效执行。

3. 实现细节
本节深入描述了Altera?和AMD的实现方式。它强调了用于定制RIS应用的加速器的架构配置、参数选择和资源优化策略。

3.1. Altera?
如第2.3节所述，Altera? FPGA上的实现基于Intel? FPGA AI套件IP。它支持Altera? Arria? 10平台上的FP11（1s.6m.5e）和FP16（1s.11m.5e）精度。为了最大化性能，最初考虑使用FP11表示来实现应用加速器。然而，由于所研究的NN特性，使用FP11时在准确性方面遇到了挑战。因此，最终采用了FP16精度作为准确性和性能之间的平衡。使用这种设置，评估了三种不同的加速器架构，它们的关键参数在表3中列出。这些参数直接影响加速器的性能和资源利用率。Intel? FPGA AI套件IP基于处理元素（PE）阵列，PE的数量由KVEC参数决定，该参数描述了PE阵列可以同时处理的过滤器数量，CVEC参数定义了每个PE内执行的点积大小。这些参数的不同组合产生了三种具有不同面积和性能特性的架构。表4显示了每种实现的逻辑元素和内存块的使用情况。通过将KVEC和CVEC设置为最小值（均为4），优先考虑了低资源使用，尽管这会牺牲性能。结果产生的“A10 Architecture minArea”产生了最小的加速器，可以部署多达五个并行加速器。这不仅允许单个设备托管五个独立的RIS系统（“A10 Architecture minArea (×5)”），还可以用五个较小的RIS单元组成更大的RIS系统。在本研究的背景下，这将对应于一个最多包含2000个阵列单元元素的RIS，配置为5个20 × 20单元的RIS组。此外，仍有相当一部分资源可用于其他实现，大约三分之一的ALM和BlockRAM内存位以及大多数可变精度DSP未被使用。

3.2. AMD
与第2.3节中描述的流程类似，AMD的工作流程的主要区别在于AI加速器处理的是8位定点数据。因此，模型必须事先进行量化，可以使用训练后量化（PTQ）或量化感知训练（QAT）技术来实现。在这项研究中，使用了Vitis? AI AI（VAI）量化器的TensorFlow版本将原本以浮点格式表示的软件模型转换为8位定点模型。此外，在转换过程中，目标硬件不支持的操作（如批量归一化层）会被折叠到之前的层中。AMD的实现依赖于深度学习处理器单元（DPU）核心[47]，特别是在这项工作中使用了DPUCVDX8G。这个IP同时使用FPGA可编程逻辑（PL）和AIEs，并且可以配置每个领域的资源数量。AIEs是执行卷积操作的硬件资源，它们被组织成组。每个批量处理器都有一个私有的AIE组和内存瓦片组。PL组件包括一个高级调度器模块、用于共享权重的全局内存，以及负责加载、保存、池化和逐元素操作的批量处理器。调度器和权重缓冲区在所有批量处理器之间共享。每个批量处理器都有自己的私有资源，包括加载和保存模块、池化模块和逐元素模块，以及本地特征图存储。VAI编译器将转换后的网络模型转换为高度优化的DPU指令序列。过程从解析优化和量化的输入模型拓扑结构开始，然后构建一个内部计算图作为中间表示（IR），包括相应的控制流和数据流表示。编译器执行一系列优化，例如高效的指令调度，以利用内在的并行性并提高数据重用率。最终结果是.xmodel文件，这是基于XIR格式的模型序列化版本。最后，通过Vitis AI运行时（VART）将编译后的深度学习模型部署在DPU上。VART是一个软件库，作为编译模型和硬件之间的接口，它提供了加载模型、处理输入和输出数据以及启动推理的API，同时抽象出硬件特定的细节以确保在DPU上的高效执行。它提供了一组API来管理任务，如模型加载、任务创建、输入/输出数据处理以及在DPU上执行推理。它抽象了与底层硬件交互的复杂性，从而实现高效部署。这个运行时环境确保模型在DPU上高效运行，充分利用了硬件的并行处理能力和优化性能。

3.3. 实现细节
本节提供了Altera?和AMD实现的详细描述。它强调了用于定制RIS应用的架构配置、参数选择和资源优化策略。

3.1. Altera?
如第2.3节所述，Altera? FPGA上的实现基于Intel? FPGA AI套件IP。它支持Altera? Arria? 10平台上的FP11（1s.6m.5e）和FP16（1s.11m.5e）精度。为了最大化性能，最初考虑使用FP11来实现应用加速器。然而，由于所研究NN的特性，使用FP11时在准确性方面遇到了挑战。因此，最终实现采用了FP16精度来平衡准确性和性能。使用这种设置，评估了三种不同的加速器架构，它们的关键参数在表3中列出。这些参数直接影响加速器的性能和资源利用率。Intel? FPGA AI套件IP基于处理元素（PE）阵列，PE的数量由KVEC参数确定，该参数描述了PE阵列可以同时处理的过滤器数量，CVEC参数定义了每个PE内执行的点积大小。这些参数的不同组合产生了三种具有不同面积和性能特性的架构。表4显示了每种实现的逻辑元素和内存块的使用情况。通过将KVEC和CVEC设置为最小值（均为4），优先考虑了低资源使用。结果产生的“A10 Architecture minArea”提供了一个最小的加速器，可以部署多达五个并行加速器。这不仅在允许单个设备托管五个独立RIS系统方面具有显著优势（“A10 Architecture minArea (×5)”），而且还可以用五个较小的RIS单元组成更大的RIS系统。在本研究的背景下，这相当于一个最多包含2000个阵列单元元素的RIS，配置为5个20 × 20单元的RIS组。此外，大约三分之一的ALM和BlockRAM内存位以及大多数可变精度DSP仍然可用。

表3. Intel? FPGA AI套件IP架构用于RIS加速器评估的参数
空单元 精度 KVEC 输出写入器 CVEC 流缓冲区深度
A10 Architecture minArea FP16 4 4 28.2 38.2
A10 Architecture max FP16 6 4 32 32 29.7
A10 Architecture Balance FP16 16 16 8 28.2 38

表4. 使用Intel? FPGA AI套件的Altera? Arria? 10 SX SoC开发套件中的资源使用情况
空单元 ALM BlockRAM内存位 BlockRAM 可变精度DSP
A10 Architecture minArea 35.6 45.9 48.0 360 28 14.18%
A10 Architecture minArea (×5) 178.4 20 29.5 40 18 70.89%
A10 Architecture max 84.3 41 9.4 81 110 41 18 67.65%
A10 Architecture Balance 47.0 51 11.9 5.4 66 11 68%

3.4. AMD
与Altera? FPGA上的实现不同，AMD平台通过Vitis? AI提供的架构仅支持INT8精度。因此，对于这个平台，实现的重点是使用不同的量化方法获得与软件模型中浮点精度类似的结果，如第2.4节中讨论的。最初测试了PTQ方法，因为它通常会导致最小的准确性损失。然而，在这个特定应用中，PTQ导致大多数RIS单元在量化后出现不可接受的误分类。这可能是由于网络对权重和激活精度降低的高度敏感性，导致学习到的特征表示出现显著偏差。此外，某些层中激活值的分布表现出重尾行为，这是PTQ中使用的统一量化方案无法充分捕捉到的。这些因素破坏了训练期间学到的决策边界，导致模型区分RIS单元类别的能力严重下降。因此，重点转向了QAT方法。在QAT中，训练过程在考虑最终权重精度会较低的情况下重复进行。虽然在训练期间权重保持浮点表示，但在每次梯度更新后对权重进行量化[49]。此外，初始权重不是随机的，而是来自预训练模型，确保了更稳定的起点。对于量化策略，使用了以2为底数的量化器和训练量化阈值（TQT）[50]。为了实现与原始NN类似的准确性，还需要进行另一个更改。尽管初始模型包含了Hard-Swish激活函数以促进硬件加速，如第2.1节所述，但使用SiLU激活函数重新训练获得了更好的准确性指标。量化后，使用VAI量化工具将SiLU激活层替换回Hard-Swish层以实现硬件加速。重新训练过程进行了2000个周期，以尽可能恢复各种模型的初始准确性。此外，所有重新训练程序中的周期数保持一致，以确保不同模型结果之间的公平比较。与Altera?平台类似，AMD DPU IP也有两个直接影响性能和资源利用的不同配置参数。第一个参数配置每个批次使用的AIE核心数量（CPB）。第二个参数配置可以同时处理的批次数量（B），这将决定在FPGA PL中实现的批次处理器的数量。通过调整B和CPB参数，amd DPU IP可以定制为表5中列出的三种特定配置，每种配置都针对不同的优先级（如资源效率或性能）进行了优化。第一种配置被称为“DPU Architecture minArea”，它将B设置为1，CPB设置为32。这种设计优先考虑最小化资源使用，从而可以部署多个并行加速器，最多可达三个，如表6中的“DPU Architecture minArea (×3)”所示。尽管这样会牺牲吞吐量和处理速度。表5列出了用于RIS加速器评估的AMD DPU IP架构的参数。

“DPU Architecture Balanced”配置将批量大小增加到B = 3，同时保持CPB = 32。这种方法在资源使用和性能之间取得了平衡，在不大幅增加硬件需求的情况下实现了吞吐量的适度提升。它特别适用于需要在面积限制和性能目标之间找到平衡的场景。

最后，“DPU Architecture maxPerformance”配置通过将B设置为5，CPB设置为64来最大化性能。这种实现充分利用了可用的硬件资源，以提供尽可能高的吞吐量和计算速度，但代价是显著增加了资源利用率。这三种配置使我们能够探索广泛的设计空间，并根据应用程序的具体需求和约束来定制DPU。表6总结了每种实现中的资源使用情况，包括逻辑元素、内存块、DSP嵌入式乘法器和AIE的数量。

4. 结果
本节提供了在两种FPGA平台上部署神经网络模型后获得的结果概述：Altera? Arria? 10和AMD Versal?。以下小节将全面分析每个平台在推理准确性和性能指标方面的表现。

4.1. 准确性
将实际RIS配置与FPGA推理的输出进行比较所得到的准确性被评估为整个系统的准确性。值得注意的是，准确性评估必须考虑到RIS配置的互补性。对于1位RIS，标记配置及其逻辑补码都可以以相同的效果将信号定向到所需的方向，正如第2.1节所讨论的。因此，推理输出会与标记配置及其逻辑补码进行比较，并根据两者之间的最小差异来计算误差。误差是基于预测配置和预期配置之间的逐单元差异计算的。然后对每个加速器的所有预测结果的平均值进行 hit rate 计算。表7总结了不同平台的准确性结果。

对于Altera? Arria? 10，由于从基于FP32的软件模型切换到FP16实现，观察到准确性略有下降，这是为了在该平台上高效部署所必需的，如第3节所讨论的。这种由硬件实现引起的误差是通过将不同FPGA实现的结果与软件模型生成的输出进行比较来评估的，此比较总结在表8中。在Altera? Arria? 10实现的情况下，硬件实现的平均匹配率为98.34%，这解释了与实际值之间的准确性下降。

同样，在AMD Versal?上，量化到INT8也导致了准确性的轻微下降。尽管如此，这种下降仍然在原始模型准确性的4%范围内，鉴于权重的精度显著降低，这是可以接受的。与Altera? Arria? 10实现的分析方式类似，表8还将AMD Versal?硬件实现的结果与原始软件模型进行了比较。因此，在这种情况下，差异比Altera? Arria? 10观察到的差异更大。这是因为量化过程需要重新训练所有模型；这样，当将两种预测与实际值进行比较时，AMD实现未能预测出软件模型未能预测的不同单元。因此，虽然Altera? Arria? 10和AMD Versal?设备的准确性相对于实际值都是相似的，但直接比较两种实现的预测时显示出更明显的差异。Altera? Arria? 10的结果更接近软件模型，因为使用了浮点精度并且没有重新训练。然而，两个平台在实时RIS优化任务中都表现出了稳健的性能，证实了本文描述的硬件加速策略的有效性。

4.2. 性能
RIS加速器的性能是通过每秒处理的RIS配置数量（CPS）来评估的，这是系统吞吐量的关键指标。该指标是计算单个RIS配置所需推理时间的倒数，并在整个数据集的所有输入角度上进行了测量和平均。结果代表了每个加速器能够实现的最大配置数量，而不考虑用于激活RIS设备的硬件。详细数值见表10。

Altera? Arria? 10利用FP16精度并仅依赖其FPGA资源，因此在需要中等吞吐量和精度应用的场景中表现出良好的计算效率。其性能在资源利用和输出质量之间取得了平衡，适用于对稍微高延迟下的更好精度要求较低的工作负载。然而，其传统的FPGA架构更适合计算强度较低的任务。

相比之下，AMD Versal?使用INT8量化，这是一种精度较低的格式，它可以显著加快计算速度，同时保持大多数AI工作负载的可接受精度水平。除了INT8量化的好处之外，AMD Versal?还利用了其异构架构，该架构结合了传统的FPGA资源和专门的AI引擎。这些AI引擎专为矩阵乘法操作进行了优化，使得数据处理的并行化程度更高，推理时间更快。这种双架构方法不仅提高了延迟和吞吐量，还使AMD Versal?能够高效处理需要高计算能力的复杂、资源密集型任务。

4.3. 资源使用和性能分析
评估了两种FPGA平台的资源使用情况，以了解每个系统在其可用硬件上的使用效率。Altera? Arria? 10完全依赖于DSP来执行计算密集型任务，如矩阵乘法和卷积。因此，可以通过表11中呈现的CPS/DSP指标来分析该设备的性能效率。该指标表示每秒处理的RIS配置数量，按所使用的专用资源数量进行了归一化，清楚地显示了系统如何最大化其资源利用。在Altera? Arria? 10的情况下，这些资源限于可变精度DSP乘法器，而AMD Versal?包括DSP58和AIE。

在本研究中分析的Altera? Arria? 10架构“A10 Architecture minArea”和“A10 Architecture maxPerformance”表现出相似的CPS/DSP比率，表明尽管设计优先级不同，但在处理神经网络模型方面具有可比的效率。相比之下，“A10 Architecture Balance”在资源使用和计算吞吐量之间实现了更优的平衡，表现出更高的性能效率。

另一方面，AMD Versal?采用了结合DSP切片和AIE的混合架构。这种集成允许设备通过将其深度学习推理中的矩阵密集型操作卸载给高效的AIE来实现更高的性能。虽然CPS/DSP指标仍然适用于单独比较其DSP资源的性能，但引入了新的指标CPS/(DSP+AIE)，它反映了两种资源类型的综合效率。表12显示了本文讨论的三种架构的这一指标的结果。“DPU Architecture minArea”展示了最高的平均CPS/(DSP+AIE)数值。相比之下，“DPU Architecture maxPerformance”优先考虑吞吐量，从而实现了更高的总体CPS（每秒钟指令数），但平均CPS有所下降。这反映了在最大化原始计算能力与高效利用可用资源之间的权衡。“DPU Architecture balanced”则在两者之间提供了一种折中的方案。尽管AMD Versal?在“DPU Architecture minArea”下的CPS/(DSP+AIE)高于“DPU Architecture balanced”，但Altera? Arria? 10在平衡配置下的CPS/DSP提升表明，其架构在不过度加载DSP的情况下从适度的资源分配中获益更多，展示了这些架构对资源扩展的不同响应方式。

表10. 不同设备和实现方式下的CNN执行CPS性能。

| 设备 | 架构 | 10 × 10 | 15 × 15 | 20 × 20 | 空单元 | N = 25 | N = 50 | N = 25 | N = 50 | N = 50 |
|------|--------|--------|--------|--------|-------|-------|-------|-------|-------|-------|
| Altera? Arria? 10 | minArea | 110,452 | 29,611 | 106,832 | 28,831 | 101,202 | 27,44 | | |
| | maxPerformance | 4520,111 | 1509,984 | 4096,59 | 1422,243 | 791,361 | 1362,83 | |
| | Balance | 1294,433 | 397,431 | 1218,363 | 378,961 | 1144,533 | 355,532 | |

表11. Altera? Arria? 10不同架构的CPS/DSP比率比较。

| 设备 | 架构 | 10 × 10 | 15 × 15 | 20 × 20 | 空单元 | N = 25 | N = 50 | N = 25 | N = 50 |
|------|--------|--------|--------|--------|-------|-------|-------|-------|-------|
| Altera? Arria? 10 | minArea | 3,941,063 | 3,821,033 | 3,610,98 | | |
| | maxPerformance | 4,041,353 | 3,661,273 | 3,391,22 | | |
| | Balance | 7,802,397 | 3,422,286 | 8,962,14 | | |

表12. AMD Versal?不同架构的CPS/(DSP+AIE)比率比较。

| 设备 | 架构 | 10 × 10 | 15 × 15 | 20 × 20 | 空单元 | N = 25 | N = 50 | N = 25 | N = 50 |
|------|--------|--------|--------|--------|-------|-------|-------|-------|-------|
| AMD Versal? | minArea | 31,982 | 22,583 | 30,092 | 22,372 | 19,70 | | |
| | maxPerformance | 18,791 | 15,631 | 17,981 | 14,841 | 17,081 | 13,60 | |

**结论**
在这项研究中，我们评估并实现了一种针对两种不同FPGA设备的深度学习方法，以优化RIS（射频集成系统）配置。为此，我们为硬件实现定制了一个专用的CNN（卷积神经网络）用于RIS配置。其中一个定制例子是用更适合硬件的Hard-SiLU代替了传统的SiLU层。通过利用FPGA架构固有的并行处理能力，我们证明了深度学习算法可以实时有效地应用于优化RIS元件的相位移动，从而提高信号质量并提升整体系统性能。此外，这项工作还展示了这种方法如何扩展到RIS之外的各种应用领域，FPGA使边缘计算范式中的深度学习加速成为可能。本研究评估了在Altera? Arria? 10 SX SoC开发套件和AMD Versal? VCK-190评估套件上实现的六个不同深度学习网络，提供了关于性能与资源利用之间权衡的宝贵见解。Altera? Arria? 10凭借其资源高效的设计，为计算需求适中的应用提供了出色的解决方案，在保持低资源利用的同时实现了稳定的性能。相比之下，AMD Versal?凭借其融合了DSP切片和AIE（加速引擎）的先进混合架构，提供了显著更高的吞吐量，更适合需要高计算能力的RIS配置任务。这两个平台的比较强调了根据具体应用需求选择合适硬件的必要性，同时不同的架构证明了通过调整不同的实现参数可以优先考虑效率或最大化性能。无论哪种情况，这些在边缘设备上的实现都显示了它们能够生成准确的RIS配置预测结果，无论是在单元预测准确性还是辐射模式误差方面，而且这一切都是在有限的资源下实现的，并且性能表现良好。

这种方法也适用于多波束配置，只需要首先生成适当的数据集即可。从深度学习架构的角度来看，多波束场景需要将不同的输出模式与不同的输入角度相关联。由于输出模式的大小与单波束场景中的相同，基本的网络架构将非常相似，只需重新架构输入层以适应新的输入数量，并对后续层进行微调。此外，将此方案适应多位相位量化也不需要对CNN进行重大修改，因为在这种情况下输出值被量化为一位，但可以将其量化为所需的多位相位排列。即使网络被重新架构为每个单元有多个输出，也只需修改最终层的每个元素输出数量即可。无论如何，这些解决方案都不会显著增加网络的大小，因为参数数量主要受前几层的影响。

总之，深度学习与基于FPGA的硬件相结合的方法为优化RIS配置提供了强有力的解决方案，可以扩展到任何边缘应用。这种方法不仅加速了计算过程，还具有适应性和可扩展性，为未来的无线通信系统开辟了广阔的道路。未来的工作可以探索功率效率的优化，并将这一解决方案的应用范围扩展到更大规模的RIS配置，为更复杂的实时无线通信解决方案铺平道路。

**作者贡献声明**
Rubén Padial-Allué：概念化、方法论、软件、数据管理、研究、初稿撰写、审稿与编辑、可视化。
Alberto Martín-Martín：概念化、方法论、软件、数据管理、研究、初稿撰写、审稿与编辑。
Antonio García：概念化、方法论、初稿撰写、审稿与编辑、可视化、监督。
Encarnación Castillo：审稿与编辑、项目管理、资金获取。
José David Fernández-Rodríguez：数据管理、软件、初稿撰写、审稿与编辑。
Marcos Baena-Molina：软件、审稿与编辑、可视化。
Luis Parrilla：审稿与编辑。