残差深度神经网络及响应特征在微波无源器件逆向建模中的应用
《Engineering Science and Technology, an International Journal》:Residual deep neural network and response features for inverse modeling of microwave passives
【字体:
大
中
小
】
时间:2026年05月15日
来源:Engineering Science and Technology, an International Journal 5.1
编辑推荐:
斯瓦沃米尔·科齐尔(Slawomir Koziel)|考斯塔布·C·萨胡(Kaustab C. Sahu)|安娜·皮特伦科-达布罗夫斯卡(Anna Pietrenko-Dabrowska)
工程优化与建模中心,雷克雅未克大学,冰岛雷克雅未克102
**摘要**
电磁
斯瓦沃米尔·科齐尔(Slawomir Koziel)|考斯塔布·C·萨胡(Kaustab C. Sahu)|安娜·皮特伦科-达布罗夫斯卡(Anna Pietrenko-Dabrowska)
工程优化与建模中心,雷克雅未克大学,冰岛雷克雅未克102
**摘要**
电磁(EM)求解器因其准确性而在微波设计中得到广泛应用,但计算成本较高。替代模型提供了一种解决方案,但仍面临诸如维度灾难(curse of dimensionality)等挑战。本研究提出了一种新颖的逆向建模方法,该方法利用深度学习和精心挑选的响应特征,从所需的操作参数(如中心频率和功率分配比)预测电路几何形状。模型训练的数据样本是通过一个基于性能的顺序过程收集的。在特征层面上设置模型可以隐式地降低维度,因为特征集比几何参数集小。这使得可以使用更少的训练样本构建可靠的回归器,从而大幅降低计算成本。通过使用全局敏感性分析进行显式维度降维,进一步节省了成本。为了建立逆向替代模型,我们采用了一种定制的残差深度神经网络(ResNet),该网络特别适合捕捉特征与几何参数之间的依赖关系。这是因为ResNet对电路结构中一定程度的参数冗余具有鲁棒性。逆向模型生成的参数向量与最优参数向量非常接近,因此只需要进行微调。此外,我们的模型被证明比现有的最先进的前向和逆向元模型更准确。本研究的主要人工智能相关贡献是提出的ResNet在逆向建模中的应用,以及与维度降维顺序采样相结合的方法。工程应用展示了我们的框架在快速全局电路优化中的成功应用,以三个微波无源器件为例进行了说明。
**1. 引言**
现代微波器件的设计离不开仿真工具的使用。特别是在器件开发的初期阶段,全波电磁(EM)仿真被广泛使用[1]、[2]、[3]、[4]。EM分析的主要优势在于能够捕捉影响器件性能的各种现象,包括交叉耦合[5]、各种类型的损耗(例如介电损耗或辐射损耗)[6]、各向异性[7],以及外部设备(例如连接器)的影响[6]。这些效应必须被精确量化,以确保对电路行为的可靠分析。这在设计越来越复杂的现代组件时尤为重要(微型结构,或涉及超材料或基板集成波导的组件[8]、[9]、[10]、[11]、[12]、[13])。微波组件几何复杂性的增加,又是现代应用领域需求增长的副产品(移动通信[14]、汽车雷达[15]、微波成像[16]、能量收集[17]等)。因此,EM分析的使用变得不可或缺。然而,其无与伦比的准确性带来了相当大的成本,通常由于过高的CPU需求使得仿真密集型程序不经济。这几乎适用于所有设计程序,包括数值优化[18]、[19]、[20],以及鲁棒性设计[21]、[22]、[23]或多标准设计[24]、[25]、[26]。无论采用哪种类型的数值优化算法,仿真驱动设计的过高成本问题仍然存在。例如,尽管如今非常流行,但受自然启发的算法[27]、[28]通常成本较高。虽然基于梯度的算法[29]、[30]的计算负担通常较轻,但仍相当显著。
这些障碍促使研究人员转向替代的、更具成本效益的方法。第一组开发的方法侧重于通过各种机制加速直接仿真驱动的设计程序,例如通过降低基于梯度的算法的敏感性评估成本(稀疏敏感性更新[31]、[32]、伴随敏感性[33]或网格变形[34])。通过基于特征的技术(利用设计变量与器件响应上的特征点之间的规律关系)[35]、[36],也可以加速基于梯度的优化。另一种选择是可变分辨率方法,如空间映射[37],或维度降维方法,例如模型阶数降低[38]。第二组旨在实现成本效益的微波设计的技术依赖于替代建模[39]、[40]、[41]、[42]。可以区分两种类型的模型:基于物理的[43]、[44]、[45]、[46]和基于行为的[47]、[48]、[49]、[50]。前者主要用于局部搜索,而后者通常用于全局优化。替代模型最常见的应用是在机器学习(ML)程序中[51]、[52]、[53]、[54],其中模型通常在算法过程中迭代改进。在高频组件的替代建模中,也应用了上述的响应特征技术,因为它能够显著降低获取训练数据的成本[55]、[56]。
行为(数据驱动)模型在微波工程中的吸引力在于它们的广泛可用性和简单的部署[53]、[57]、[58]、[59]、[60]、[61]。最近,人工神经网络(ANNs)在这一类替代模型中引起了越来越多的兴趣,并且经常成为基于ML框架的首选建模方法。使用了各种复杂程度的ANN架构。较简单的模型包括多层感知器(MLPs)[62]、[63]、[64]、[65]、[66]、[67]、[68],深度神经网络(DNNs)[69]、[70]、[71],以及卷积神经网络(CNNs)[72]、[73]、[74]。在更先进的架构中,包括长短期记忆(LSTM)网络[75]、进化网络[76]、自编码器[77]和可变保真度NNs[78]。尽管如此,神经网络在独立或通用建模中的应用仍然有限,尽管最近有一些尝试[79]、[80]、[81]、[82]、[83]、[84]。不幸的是,在上述工作中,ANNs仅作为简单的回归器使用,无法表示设计参数与系统响应之间的非平凡关系。因此,它们表现出与其他数据驱动建模技术类似的局限性。
本研究提出了一种新颖的微波器件逆向建模技术,该技术利用回归模型和响应特征。在开发的框架中,模型根据其响应中识别的关键点来预测器件的几何参数。这些点(特征)被选为评估重要性能指标(如中心频率、功率分配)提供依据。数据采集过程是顺序进行的,样本的接受基于其质量。这使得可以评估模型域的范围。由于特征点的数量少于设计变量的数量,因此发生了隐式的维度降维,减少了准确建模所需的数据量。此外,通过全局敏感性分析进行了显式的维度降维,进一步提高了整个过程的成本效益。对于模型构建,采用了定制的残差神经网络(ResNet),该网络能够有效地学习特征与几何参数之间的相互关系。ResNet的主要优势在于其相对于其他基于神经网络的建模方法具有更好的泛化能力,这得益于特征空间与电路几何参数之间关系的独特特性,以及设计空间内的固有参数冗余。开发的逆向模型的最终目的是实际的设计应用。该替代模型能够识别在扩展参数范围内满足预期操作条件的全局最优设计。具体来说,它有助于根据目标性能规格生成接近最优的设计,然后使用加速的基于梯度的算法进行低成本细化。该建模框架已通过三个微波器件进行了验证,并被证明在可靠性方面优于几种基于核和神经网络的建模方法。所提出的模型也被证明适用于设计应用,特别是满足不同性能要求的全局电路优化。
**2. 基于回归的逆向建模与响应特征**
本节详细介绍了所提出的建模方法。2.1节介绍了该方法的核心概念和关键前提条件。2.2节描述了响应特征及其提取过程。2.3节介绍了用于提高建模效率的维度降维技术。2.4节描述了用于实现逆向替代模型的深度残差神经网络(ResNet)。2.5节给出了整个建模工作流的逐步总结,2.6节讨论了将开发的模型应用于电路设计任务(全局优化)。
**2.1. 逆向建模与正向建模:前提条件和优势**
传统的替代模型遵循正向框架,其中电路频率响应(主要是S参数)表示为设计参数的函数,通常是器件尺寸。然而,如第1节所述,由于设计空间的高维度、非线性系统行为和广泛的参数范围,构建此类模型非常困难。此外,正向模型不直接支持设计任务,需要单独的优化步骤。在这项研究中,我们采用了逆向建模方法,其中模型输入是精心选择的电路响应的特征点,而输出是设计参数。这些特征被选为表示重要的性能指标,如中心频率、带宽、功率分配比,甚至材料属性(例如基板介电常数),使模型能够生成针对特定操作目标的设计向量。为了有效捕捉响应特征与设计变量之间的复杂映射,我们使用了定制的深度神经网络架构(特别是残差神经网络),详见2.3节。
与传统正向模型相比,逆向替代模型的一些关键优势包括:
- 逆向模型通常提供更高的准确性,因为响应特征点与设计变量之间的映射通常比几何参数与全频率响应之间的映射更少非线性。
- 逆向模型需要较少的训练样本即可实现稳健的性能,从而减少了整体建模工作量。
- 由于特征点的数量通常少于设计变量的数量,逆向建模本质上引入了维度降维。
- 训练仅限于产生可接受或高性能解决方案的设计空间区域(即存在有效特征点的区域),提高了模型的可靠性,并避免了在次优区域的浪费采样。
- 逆向模型能够直接预测给定目标规格的设计参数,消除了传统正向模型设计工作流程中所需的单独优化阶段。
**2.2. 响应特征和特征提取。训练数据采集**
所提出的逆向建模方法的核心在于使用响应特征,其定义对应于考虑的设计规格。以下两个向量是感兴趣的:设计参数向量x = [x1 … xn]T(通常包括器件的尺寸),以及响应特征向量v = [v1 … vK]T。例如,图1、图2、图3、图4展示了如何为不同的微波组件和不同的设计问题定义响应特征。图1显示了一个微波耦合器的S参数,其性能指标包括操作频率和功率分配。对于这种类型的器件,特征集包含两个频率f1和f2,它们对应于|S11|和|S41|特性的最小值,以及相应的电平l1和l2。使用这些信息,可以评估耦合器的操作参数:中心频率可以确定为f0,即频率f1和f2的平均值(即f0 = (f1 + f2)/2)。功率分配在估计的操作频率f0处评估为ds = |S21(f0)| – |S31(f0)|。因此,特征向量为v = [f1 f2 l1 l2 ds]T。
**图1. 微波耦合器S参数的特征定义示例:|S11|(—)、|S21|(????)、|S31| |(? ? ?)、|S41|(?)。特征包括:两个频率f1(蓝色)和f2(红色),它们对应于|S11|(蓝色)和|S41|(红色)特性的最小值,以及相应的电平l1(蓝色)和l2(红色)。**耦合器的操作参数可以根据以下特征进行估算:耦合器的中心频率 f0 = (f1 + f2)/2(黑色),以及其功率分配 ds = |S21(f0)| – |S31(f0)|(黑色)。下载:下载高分辨率图像(160KB)下载:下载全尺寸图像
图2. 微波耦合器带增强特征定义的示例(为清晰起见,仅显示了|S11|和|S41|响应):(a) 情况I(两个最小值均低于-20 dB),特征是:界定|S11|响应-20 dB带的频率,即f11和f21(蓝色),以及界定|S41|响应-20 dB带的频率,即f12和f22(红色);(b) 情况II(两个最小值均高于-20 dB),特征是:表示|S11|(蓝色)和|S41|(红色)响应最小值的频率f1(蓝色)和f2(红色),以及相应的电平l1(蓝色)和l2(红色);(c) 情况III(只有一个最小值高于-20 dB,这里对于|S41|(红色)特性,相反情况也有类似的定义),特征是:对应于|S11|(蓝色)响应-20 dB带的频率,即f11和f21(蓝色),以及电平l1 = -20 dB(黑色),还有对应于|S41|(红色)响应最小值的频率f2(红色)以及相应的电平l2(红色)。下载:下载高分辨率图像(33KB)下载:下载全尺寸图像
图3. 双频功率分配器特征定义的示例:|S11|(---),|S21|(--),|S31|(----),|S22|(--),和|S33|(-------)。为了简化,特征仅从其中一个组件的特性中提取,即S11(红色)。特征集包括四个元素:频率f1和f2(红色),对应于S11特性的最小值,以及相关的电平l1和l2(红色)。下载:下载高分辨率图像(31KB)下载:下载全尺寸图像
图4. 微波滤波器的示例特征定义。特征集包括六个元素:频率f1和f2(红色),它们定义了滤波器的通带,这些频率下S11特性的相应值lb(红色),以及对应于带内组件响应最大值的电平lm1和lm2(蓝色),以及相应的频率fm1和fm2(蓝色)。对于更高阶的滤波器结构,特征集可以扩展以包括额外的最小值。
然而,如果关注的是增强耦合器的带宽,则需要选择不同的响应特征(见图2)。在这种情况下,特征向量将包括定义-20 dB带宽的频率:f11和f21(基于|S11|特性评估),以及f21和f22(基于S41特性评估)。剩余的特征是电平l1 = -20 dB。因此,特征集将表示为v = [f11 f21 f12 f22 l1 l2]T。上述特征排列适用于图2(a)中显示的情况I,其中可以识别出两个响应的-20 dB带对应的频率。而图2(b)展示了情况II,其中两个考虑的响应的最小值都超过了-20 dB。在这种情况下,我们将f11 = f21 = f1(|S11|的最小值频率)和f12 = f22 = f2(|S41|的最小值频率)。对于电平,我们将l1和l2设置为|S11|和|S41|特性的最小值。这种方法允许无论设计质量如何,都能保持特征点数量的一致性。此外,图2(c)显示的情况III指的是只有一个最小值超过-20 dB的情况。这种情况在图2(c)中用|S11|特性进行了说明;当S41特性的最小值超过-20 dB时,也有类似的定义。在这种情况下,特征包括界定|S11|响应-20 dB带的频率,即f11和f21,以及电平l1 = -20 dB(黑色),还有对应于|S41|响应最小值的频率f2(红色)以及相应的电平l2(红色)。下载:下载高分辨率图像(33KB)下载:下载全尺寸图像
图3还展示了双频功率分配器的S参数。为了简化特征提取,尽管存在多个响应,特征仅从其中一个组件的特性中评估,即|S11|。因此,特征向量包含四个条目:频率f1和f2(红色),对应于S11特性的最小值,以及相关的电平l1和l2(红色)。在这种情况下,特征向量的形式为v = [f1 f2 l1 l2]T。
最后一个示例在图4中展示,用于一个微波滤波器(这里是三阶滤波器)。对于这个组件,特征向量如下:v = [f1 f2 l1 l2 lm1 lm2]T。前两个条目指的是界定滤波器通带的频率f1和f2。接下来的两个条目是这些频率下|S11|特性的值。最后,lm1和lm2对应于带内组件响应的最大值。
这个示例可以通过包括其他最小值来推广到更高阶的滤波器结构。还应该注意的是,无论考虑的是哪个组件,特征向量也可能包括额外的参数。例如,如果模型旨在考虑在不同基板材料上实现该组件,那么还可以包括基板介电常数εr这样的参数。
一旦定义了响应特征,下一步就是获取训练数据。在这项工作中,我们采用了随机顺序采样方法。生成一系列候选设计向量xtmp(j),并对每个候选向量,从EM评估的响应R(xtmp(j))中提取相应的特征向量v(xtmp(j))。只有满足所有特征组件的预定义阈值标准的样本才会被纳入训练数据集。图5概述了这种采样过程的伪代码以及相关评论。重要的是,这个过程不仅构建了训练数据集,还根据被接受样本的空间分布隐式地定义了逆模型的有效区域。相反,被拒绝的候选者对应于性能较差的设计区域,因此被排除在建模过程之外。
完成数据采集过程后,我们获得了一组样本对{v(xt(j)), xt(j)}, j = 1, …, Nt,这些样本对用于构建逆模型s(v): F → X,其中F代表特征空间。在模型识别阶段(见第2.4节),特征向量v(xt(j))被用作替代模型的输入,相应的设计向量xt(j)作为输出。所选择的建模框架——深度残差神经网络——在第2.4.2.3节中有详细描述。
如前所述,维度灾难在构建准确的数据驱动模型时是一个重大障碍。为了解决这个问题,所提出的建模框架包含了显式的维度降低。训练数据不是在完整的设计空间X中生成的,而是在通过快速全局敏感性分析(FGSA)[85]确定的缩减仿射子空间Xd中生成的。FGSA有效地确定了最具影响力的方向——那些对电路的电磁(EM)响应有显著影响的方向。该过程涉及评估随机生成的样本对之间的EM响应差异,从而构建了一个重定位矩阵S。对S进行谱分解可以得到代表电路输出变化主方向的特征向量ej。每个方向的重要性通过其对应的特征值λj来量化,j = 1,…,n。然后由Nd < n个最重要的特征向量张成缩减域Xd。这些特征向量的选择是为了确保这些方向捕获的“能量”满足条件|| [λ1 … λNd]T || / || [λ1 … λn]T || ≥ Cmin(这里Cmin = 0.9,详见[85])。
(1) Xd = x∈X: x = xc + ∑j=1Nd aj ej∩X,其中aj是实数,xc是X的几何中心。FGSA的一个实际优势是其计算成本低:在这项研究中,仅使用了五十个随机样本。
2.4. 残差深度神经网络用于逆向建模
从微波频率响应特征预测几何设计参数面临两个主要挑战。首先,输入空间是冗余的——不同的几何形状可能产生相似的频率响应(例如,重叠的共振带)。其次,有效训练样本的数量有限,特别是在基于频域接受标准丢弃低质量数据之后(参见第2.3节)。这些因素使得逆映射任务对欠拟合和过拟合都非常敏感:浅层模型通常缺乏足够的容量,而深层模型即使经过仔细的正则化也倾向于过拟合。
鉴于这种权衡,我们选择的模型架构是为了在保持足够深度以捕捉非线性结构的同时,保留泛化能力。初步实验表明,标准的深度神经网络(DNNs)、卷积神经网络(CNNs)和径向基函数(RBF)模型会迅速过拟合。而更简单的替代方案,如支持向量回归器(SVRs)和岭回归,即使经过大量调整也经常欠拟合(参见第3节的比较结果)。
2.4.1. ResNets:动机和背景
为了解决逆向建模任务中模型复杂性和泛化之间的权衡,我们采用了紧凑的残差神经网络(ResNet)架构[86]。ResNets最初是为图像分类引入的,它们包含了跳跃连接,允许神经层学习残差函数——即对恒等函数的修正——而不是完整的输入-输出映射。这种结构改善了梯度流动并减少了收敛问题,特别是在深层网络中[87]。尽管ResNets是为卷积图像模型设计的,但它们的残差学习核心机制自然地扩展到了具有冗余或相关输入的回归任务[88]——例如我们的任务。我们将这种架构适应于从频率响应中得到的1D特征向量,即使在数据有限和噪声较大的情况下也能实现稳定训练。与计算机视觉中使用的典型ResNet变体不同,我们的版本完全省略了卷积层,采用了只有两个残差块的浅层结构。这种设计选择是在受限数据条件下经过多次试验后做出的。所选的配置代表了在所有考虑的设计案例中都能可靠泛化的最小网络。
通过在完全连接的环境中使用残差连接,模型避免了标准多层感知器(MLPs)中看到的优化不稳定性,同时保持了足够的容量来捕捉逆映射中的非线性依赖性。此外,在我们的任务中,能够在块之间重用低级特征特别有用,因为关键响应特性(例如,共振深度、带宽)在参数组合中反复出现。应该强调的是,在存在参数冗余的情况下,使用残差学习尤为重要,如第3.1节所讨论的。在这种情况下,从响应特征到设计参数的逆映射本质上是非唯一的,即多个不同的参数向量可能对应于相似的操作特性。这导致了一个病态的回归问题,其中传统的前馈模型倾向于对可行解进行平均或对特定样本进行过拟合。残差架构通过学习中间表示的增量修正来缓解这些问题,从而在输入-输出模糊的情况下提高了稳定性和泛化性能。这种属性对于像Circuit II这样的结构特别相关。
这种紧凑的ResNet架构因此提供了一个实际的平衡:它利用了残差学习的已知优势,同时为基于1D的、数据有限的微波电路建模进行了定制。在这项研究中,我们将ResNet架构扩展到了回归设置,专注于从频率响应特征预测微波组件的几何设计参数(如第2.2节所讨论的)。第3.2节提供了与替代架构的比较结果。
2.4.2. 模型架构
基于之前的要求,我们设计了一个专为从频域特征逆向建模微波几何形状而定制的残差网络(ResNet)架构。最终架构如图6所示,这是始终避免过拟合的最小配置。它通过残差学习保持了足够的非线性容量,同时在训练期间保持稳定和易于处理。每个组件的设计都旨在在数据量少的情况下平衡表示灵活性和鲁棒性。
图6. 提出的ResNet架构:块图。该网络通过两个残差块处理从频率响应中得到的特征向量,每个块结合了一个主路径和一个投影快捷方式。最后一个密集层输出预测的几何参数。所有隐藏层使用256个神经元,层类型和尺寸都有标注。输入层接收预处理的1D特征向量(见第2.2节),该向量编码了共振频率、带宽、反射水平和其他光谱特征。在此阶段不再进行进一步的归一化处理,因为所有输入在预处理过程中已经进行了预缩放。残差块1:
• 主路径:两个全连接(密集)层,每层有256个神经元,并使用ReLU激活函数(FC1 → RELU1 → FC2)。
• 一个投影层(PROJ1)用于对齐输入维度以便进行残差相加。
• 输出:主路径和快捷路径的结果相加(ADD1),然后通过另一个ReLU激活函数(ReLU_ADD1)。
这种结构使网络能够学习残差映射F(x) = H(x) – x,从而实现更稳定的训练并减少梯度消失的问题。
残差块2:结构与第一个块相同:一对密集层(FC3, FC4)、投影路径(PROJ2)、加法操作(ADD2)以及最后的ReLU激活函数(ReLU_ADD2)。
输出层:
• 最后一个全连接层将256维的潜在表示降维为输出尺寸——等于目标几何参数的数量。
• 回归输出计算预测值与真实参数值之间的均方误差(MSE)损失。
最终模型包含大约270,000个可训练参数,每个密集层设置有256个神经元。发现两个残差块(总共四个密集层)足以捕捉非线性关系而不会过拟合。选择ReLU作为激活函数是因为其性能始终优于tanh和leaky ReLU等替代函数。这种配置在数据受限的回归场景中提供了深度、容量和泛化能力之间的实际平衡。
如前所述,虽然多层感知器(MLPs)、卷积神经网络(CNNs)和径向基函数(RBF)网络常用于回归任务,但在我们的案例中它们未能提供可靠的泛化能力。即使经过大量调整,MLPs也容易过拟合或欠拟合,在更深层次的结构中优化过程不稳定。CNNs更适合结构化的空间数据,但在处理扁平的、非结构化的输入向量时表现不佳。RBF网络和支持向量回归器(SVRs)在可扩展性和泛化能力方面存在问题,常常由于输入冗余和缺乏归纳结构而失效。
此外,我们还考虑了图神经网络(GNNs)和基于Transformer的模型。由于输入特征缺乏固有的拓扑结构,需要大量的预处理和特定于任务的图构建,因此排除了GNNs。Transformer虽然强大,但引入了过多的架构复杂性和计算开销,在数据受限的设置中特别容易过拟合。相比之下,残差架构在深度、表达能力和训练稳定性之间提供了良好的平衡,当映射是非线性的但部分可逆时,这是一个理想的特性。
2.4.3 训练设置和超参数
ResNet模型使用Adam优化器[89]进行训练,该优化器利用一阶和二阶矩估计自适应调整学习率。这结合了动量和RMSProp[90]的优点,从而在多次试验中实现高效稳定的收敛。模型初始化时的学习率相对较低,为5 × 10^-4,因为较高的学习率通常会导致更新不稳定和损失行为不规律。这个基础学习率每128个周期衰减0.96倍,通过分段调度实现更精细的更新。这种逐渐衰减对于确保收敛到平滑、可泛化的解决方案至关重要。
模型训练最多进行1024个周期,之后通常会提前停止训练。提前停止基于验证误差,如果连续128个周期内验证误差没有改善,则终止训练。此外,还会监控收敛行为,一旦验证损失稳定且变化微不足道,也会终止训练。选择16的小批量大小以平衡梯度稳定性和通过批量噪声进行的正则化——鉴于数据集较小以及损失函数的敏感性,这一点尤为重要。这些超参数是根据之前在相关微波逆问题中的建模经验确定的。随后通过迭代实验进一步优化,逐步降低模型复杂度和学习率,直到实现稳定收敛。
我们还观察到,在这种训练模式下,模型性能对初始化几乎不敏感——即随机权重初始化在不同种子下会产生相似的收敛行为。这进一步证明了所选设置下优化过程的稳定性。
验证损失每32次迭代在保留集上评估一次,并在整个训练过程中监控,用于超参数调整和提前停止的标准。保留集大约占可用样本的5%,在训练前随机选取。表1提供了所有关键训练参数的总结。
表1. 提出的ResNet:训练设置和关键参数。
参数 值 描述
优化器 Adam 结合了动量和RMSProp
初始学习率 5 × 10^-4 权重更新的起点
学习率调度 分段式 每128个周期衰减0.96倍
最大周期数 1024 训练迭代的上限
小批量大小 16 每次训练更新的样本数
验证频率 32次迭代 评估验证损失的间隔
残差块 2 每个块包含2个密集层和一个投影快捷路径
隐藏层宽度 256个神经元 所有残差块中的密集层都使用
激活函数 RELU 每个密集层之后应用
输出层 全连接层 + 回归层 映射到目标几何参数
2.5 建模过程
本节概述了完整的建模框架,并在图7中提供了流程图。过程从指定输入参数开始:设计变量空间X、响应特征点的定义以及训练样本的接受标准(见第2.2节)。建模过程包括两个主要阶段:
• 通过性能驱动的顺序采样获取训练数据。
• 构建逆模型,涉及初始化ResNet架构的超参数并随后进行优化。更多实施细节见第2.4节。
下载:下载高分辨率图像(339KB)
下载:下载全尺寸图像
图7. 提出的建模框架:流程图。
需要强调的是,唯一用户定义的控制参数是数据获取的计算预算,即最大训练候选数Nmax。特征点定义和接受条件的选择是特定于问题的,将在第3.2节中针对每个测试案例单独讨论。
2.6 用于设计优化的逆向建模
如前所述,逆向替代模型的基本作用是加速电路优化。这个过程包括几个简单步骤,如图8所示。关键步骤是根据目标特征向量vt重新制定设计规范,并评估逆模型以找到候选设计x(0) = s(vt)。由于替代模型的准确性很高,实际特征向量v(x(0))很可能接近vt,因此只需要进行少量调整(这里使用加速的基于梯度的算法)。
下载:下载高分辨率图像(137KB)
下载:下载全尺寸图像
图8. 应用逆向替代模型进行电路优化。
此时还需要做一些额外的说明。回想一下,训练数据集{v(xt(j))}定义了替代模型的有效范围。因此,为了使特征向量vt可实现,它必须位于{v(xt(j))}的邻域内。验证这个条件很简单:只需检查vt是否属于Ht({v(xt(j))}的凸包)。Ht是包含{v(xt(j))]的最小凸集。实际上,Ht是通过{v(xt(j))}的三角剖分确定的,并检查vt是否属于这样得到的任何单纯形。如果不是,则电路很可能不符合设计要求。
接下来需要讨论函数U(x)。在这项工作中,我们采用极小极大值公式。考虑两个与第3节测试案例相关的例子。第一个例子是一个微波耦合器,旨在改善其在目标中心频率f0处的阻抗匹配|S11|和端口隔离|S41|,并实现目标功率分割比KP = |S21| – |S31|(也在f0处)。在这种情况下,我们设置:
(3) U(x) = max(|S11(x,f0)|, |S41(x,f0)| + β|S21(x,f0)| - |S31(x,f0)| - KP
其中第二项强制功率分割,β > 0是一个惩罚系数。
第二个例子是一个双频段功率分配器,旨在确保在操作频率f01和f02处实现等功率分割,并同时最小化输入匹配|S11|、输出匹配|S22|、|S33|和端口隔离|S23|。在这种情况下,我们设置:
(4) Ux = max(k ∈ 1,2,3, l ∈ 1,2) Skkx,f0l + β∑l=12(S21x0l - S31x,f0l)
与(2)类似,第二项中的β > 0用于强制功率分割条件。
最后一点是关于用于微调电路设计的算法。在这项研究中,我们采用了基于信任区域的梯度优化方法[91]。在第一次迭代期间,最初使用有限差分(FD)近似[92]评估响应雅可比矩阵。对于后续步骤,应用Broyden更新公式[93],[94],鉴于通常需要的调整较小,这是合适的。由于逆替代模型的高预测准确性,微调过程通常在不到三十次EM模拟内完成。
3. 验证和基准测试
第2节中提出的逆向建模方法使用第3.1节介绍的三个微带电路进行验证。将提出的基于特征的ResNet替代模型与几种前向和逆向元模型进行比较,包括第3.2节中概述的各种基于回归和神经网络的策略。提出的模型设置和发现分别在3.3节(逆向模型设置)和3.4节(结果和讨论)中总结。第3.5节详细介绍了针对各种目标操作参数和基板材料的设计应用,特别是电路优化。
3.1 验证电路
测试电路如图9所示。表2汇总了它们的关键参数。感兴趣的特性是S参数与频率的关系:Circuit I和II的S11、S21、S31和S41,以及Circuit III的S11、S22、S32和S21。设计规范如表3所解释的那样施加到这些响应上。对于Circuit I和II,目标是改善阻抗匹配和端口隔离,并确保所需的功率分割比ds = |S31| – |S21|。此外,在Circuit II的情况下,相对介电常数是一个额外的参数,其值范围为2.0到5.0。这使得可以使用替代模型优化不同基板材料的结构。最后,对于Circuit III,设计规范包括:在目标频率f01和f02处最小化|S11|、|S22|和|S32|特性,并确保目标功率分割。模型实现使用CST Microwave Studio中的时域求解器进行评估。在考虑的电路中,Circuit II是说明参数冗余性的最佳示例。Circuit II是一个使用紧凑微带谐振单元(CMRCs)的分支线耦合器。虽然它只产生一个操作频段,但它由十个几何参数描述。
下载:下载高分辨率图像(136KB)
下载:下载全尺寸图像
图9. 测试电路:(a) 紧凑型跑道耦合器(Circuit I)[95],紧凑型分支线耦合器(Circuit II)[96],(c) 双频段功率分配器(Circuit III)[97]。
表2. Circuit I至III的关键参数。
参数 Circuit I Circuit II Circuit III
基板 RO4003基板(εr = 3.38, h = 0.762 mm) εr – 操作参数,h = 0.76 mm
AD250基板(εr = 2.5, h = 0.81 mm)
设计变量 x = [l1 l2 l3 d w w1] Tx = [g l1r la lb w1 w2r w3r w4r wa wb]
其他参数 d1 = d + |w – w1|, d = 1.0, w0 = 1.7, l0 = 15 L = 2d
L + Ls, Ls = 4 w1 + 4 g + s + la + lb, W = 2d
L + Ws, Ws = 4 w1 + 4 g + s + 2 wa, l1 = lbl1r, w2 = wa
w2r, w3r wa, w4r wa, l1 = 2.2(确保50欧姆线阻抗),g = 1
参数空间 X = [2.0 7.0 12.5 0.2 0.7 0.2] T, u = [4.5 12.5 22.0 0.65 1.5 0.9]
Tl = [0.4 0.43 5.9 7.7 0.68 0.28 0.1 0.1 2.0 0.2]
T,u = [1.0 0.86 14.0 16.5 1.5 0.99 0.65 0.25 5.5 0.8]
Tl = [14.5 1.1 13.0 0.5 1.6 0.19 3.9]
T,u = [37.0 16.6 35.0 15.0 5.6 1.5 5.8]
频率范围 0.5 GHz至2.5 GHz 0.1 GHz至2.5 GHz 0.5 GHz至7.0 GHz
表3. Circuit I至III的设计目标。
设计目标 Circuit I Circuit II Circuit III
- 在频率f0处最小化|S11| 在频率f0处最小化|S41| 确保目标功率分割|S31| – |S21| = ds
- 在频率f0处最小化|S11| 在频率f0处最小化|S41| 确保在频率f01和f02处功率分割相等|S31| – |S21| = 0
- 在频率f01和f02处最小化|S11|、|S22|和|S32| 确保在频率f01和f02处功率分割相等|S31| – |S21| = 0
- 在目标介电常数εr的基板上实现电路 -
这些参数的数量远超过控制中心频率、阻抗匹配和端口隔离以及功率分割比所需的参数数量,这意味着有多个参数向量可以产生相似的操作条件。另一方面,频率响应与设计变量向量之间的依赖性仍然是唯一的,因为电路特性中包含的数据量很大(四个S参数对应数百个频率点)。
表3总结了Circuit I至III的设计目标。表4总结了响应特征的定义(参见第2.2节的图形说明)以及第2.2节中概述的采样算法的接受标准。### 电路I至III的响应特征定义
#### CircuitFeature向量
#### 响应特征定义
#### 接受标准
Iv = [f1 f2 l1 l2 ds]T
- 频率f1和f2标记|S11|和|S41|的最小值
- 频率f1时|S11|的水平l1
- 频率f2时|S41|的水平l2
- 功率分配ds = |S31| – |S21|,在频率(f1 + f2)/2处
- 0.5 ≤ f1 ≤ 2.5
- 0.5 ≤ f2 ≤ 2.5
- l1 ≤ –10 dB
- l2 ≤ –10 dB
- –6 ≤ ds ≤ 1
IIv = [f1 f2 l1 l2 ds εr]T
- 频率f1和f2标记|S11|和|S41|的最小值
- 频率f1时|S11|的水平l1
- 频率f2时|S41|的水平l2
- 功率分配ds = |S31| – |S21|,在频率(f1 + f2)/2处
- 0.5 ≤ f1, f2 ≤ 2.5
- l1, l2 ≤ –10 dB
- –1 ≤ ds ≤ 1
- 介质介电常数2.0 ≤ εr ≤ 5.0由用户提供
IIIv = [f1 f2 l1 l2]T
- 频率f1和f2标记两个工作频段下|S11|的最小值
- 频率f1时|S11|的水平l1
- 频率f2时|S11|的水平l2
- 1.0 ≤ f1 ≤ 4.0
- 1.4 ≤ f2/f1 ≤ 2.0
- l1 ≤ –10 dB
- l2 ≤ –10 dB
#### 3.2 基准测试程序
所提出的建模技术通过几个正向和反向替代模型进行了评估,如表5所示。正向基准包括基于核的回归方法,如克里金(Kriging)、高斯过程回归(GPR)和支持向量回归(SVR),以及三种深度神经网络的变体。反向基准模型通过额外的技术扩展了这些方法,包括岭回归(Ridge Regression)和随机森林(Random Forest)。正向替代模型使用拉丁超立方抽样(Latin Hypercube Sampling,LHS)[98]在原始参数空间中分布的800个样本进行训练。相比之下,反向模型(包括所提出的方法)是在降维参数空间中开发的(见第2.3节),使用根据第2.2节概述的程序生成的训练数据。数据采集的总计算预算设置为Nmax = 1000。模型性能使用相对均方根误差(RRMSE)进行评估,该误差是在一个单独的100个测试样本集上计算的。
表5. 基准建模程序
| 模型类型 | 方法 |
|---------|-------------------|
| Forward | Kriging [99] |
| | 使用二阶多项式作为趋势函数 |
| | 高斯相关函数 |
| | 通过最大似然优化找到超参数 |
| Radial Basis Functions (RBF) [99] | 使用高斯基函数 |
| | 通过交叉验证调整缩放系数 |
| Gaussian Process Regression (GPR) [100] | 使用有理二次核函数 |
| | 为响应的实部和虚部分别建立GPR模型 |
| | 通过最大似然估计优化超参数 |
| Support Vector Regression (SVR) [101] | 使用高斯(RBF)核函数 |
| | 为响应的实部和虚部分别建立SVR模型 |
| | 自动优化每个频率的核尺度 |
| Artificial Neural Network (ANN 1) [102] | 全连接架构,使用ReLU激活函数 |
| | 层次:512 → 256 → 128 → 64 → 输出(实数 + 虚数) |
| | 使用Adam优化器训练,400个周期 |
| ANN 2 [102] | 全连接架构,使用ReLU激活函数 |
| | 层次:128 → 128 → 128 → 128 → 128 → 输出(实数 + 虚数) |
| | 使用Adam优化器训练,400个周期 |
| ANN 3 [102] | 全连接架构,使用ReLU激活函数 |
| | 层次:256 → 256 → 256 → 256 → 256 → 输出(实数 + 虚数) |
| | 使用Adam优化器训练,400个周期 |
| Reverse | Ridge Regression (RR) [103] |
| | 带有岭(L2)正则化的最小二乘回归 |
| | 通过交叉验证选择正则化参数 |
| RBF [99] | 使用高斯基函数 |
| | 通过交叉验证调整缩放系数 |
| GPR [100] | 使用有理二次核函数 |
| | 通过最大似然估计优化超参数 |
| SVR [101] | 使用高斯(RBF)核函数 |
| | 自动优化每个频率的核尺度 |
| Random Forest (RF) [104] | 100个回归树的集合 |
| | 使用自助法聚合 |
| | 不进行显式超参数调整 |
| ANN 1 [102] | 前馈神经网络 |
| | 3个隐藏层(256 → 512 → 256单元),ReLU激活函数 |
| | 使用Adam优化器训练,512个周期,批量大小为16 |
| ANN 2 [102] | 前馈神经网络,带注意力层 |
| | 层次:64 → 128 → 64;使用Adam优化器,512个周期,批量大小为16 |
| ANN 3 [102] | 全连接架构,使用ReLU激活函数 |
| | 层次:256 → 256 → 256 → 256 → 256 → 输出(实数 + 虚数) |
| | 使用Adam优化器训练,400个周期 |
| | |
#### 3.3 反向模型设置
所提出的基于ResNet的模型架构的设置已在第2.4节中详细说明。训练数据如第2.2节所述生成,计算预算为Nmax = 1000。实际接受的样本数量在600到750之间(取决于电路)。替代模型的降维域Xd的维度是使用第2.3节解释的全局敏感性分析确定的。敏感性分析使用了五十个随机参数向量,Cmin = 0.9。测试电路的标准化特征值如下:
- 电路I:λ1 = 1.00, λ2 = 0.65, λ3 = 0.51, λ4 = 0.46, λ5 = 0.37, λ6 = 0.28(降维维度Nd = 3,C = || [λ1 … λNd]T || / || [λ1 … λn]T || = 0.9),
- 电路II:λ1 = 1.00, λ2 = 0.66, λ3 = 0.54, λ4 = 0.48, λ5 = 0.41, λ6 = 0.39, λ7 = 0.30, λ8 = 0.25, λ9 = 0.22, λ10 = 0.16, λ11 = 0.13(降维维度Nd = 4,C = 0.9),
- 电路III:λ1 = 1.00, λ2 = 0.77, λ3 = 0.66, λ4 = 0.64, λ5 = 0.50, λ6 = 0.48, λ7 = 0.45(降维维度Nd = 4,C = 0.9)。
#### 3.4 结果与讨论
表6总结了所提出的反向建模方法和基准技术的结果。建模误差RRMSE以百分比表示。选定设计变量的EM模拟和反向模型预测的电路参数的散点图分别见图10、图11、图12(针对电路I至III)。
表6. 图9中电路的建模结果
| 建模方法 | 平均RRMSE |
|---------|---------|
| Circuit I | 8.0% |
| Circuit II | 23.3% |
| Circuit III | 32.3% |
| RBF | 8.9% |
| GPR | 27.2% |
| ANN1 | 10.4% |
| ANN2 | 27.2% |
| ANN3 | 15.9% |
| ANN4 | 9.0% |
| ANN5 | 13.9% |
| ANN6 | 11.2% |
| ANN7 | 14.5% |
| Reverse LR | 3.0% |
| RBF | 1.0% |
| SVR | 4.6% |
| ANN8 | 1.1% |
| GPR | 5.6% |
| ANN9 | 11.4% |
| ANN10 | 0.7% |
| ANN11 | 4.2% |
| RF | 1.5% |
| ANN12 | 6.9% |
| ANN13 | 10.7% |
| ANN14 | 4.5% |
| ANN15 | 11.2% |
| ResNet(本研究)| 0.4% |
#### 3.5 设计应用
所提出的反向替代模型的主要应用是全局优化。替代辅助优化过程的详细信息在第2.6节中强调。作为演示,电路I、II和III针对不同的目标操作参数值进行了优化(包括电路II的介质介电常数)。规格被纳入目标特征向量vt中,成为反向替代模型的输入。替代模型生成起始点x(0) = s(vt),然后使用第2.6节中概述的加速基于梯度的算法进行微调。
对于每个电路,考虑了四种设计场景,如表7所示。同一表格还报告了优化过程的总体成本。此外,图13、图14、图15分别展示了电路I至III在反向模型预测的初始设计和最终设计下的电路频率特性。
表7. 电路I至III的设计优化场景
| 电路 | 设计目标 & 优化成本 |
|---------|----------------------|
| Circuit I | f0 [GHz], ds [dB] |
| | 1, 0 | 1.2, –6 |
| | 1.5, –1 |
| | 1.8, –3 |
| Fine-tuning cost | #1 | 17 |
| Circuit II | f0 [GHz], εr |
| | 1.2, 2.5 | 1.0, 3.0 |
| | 2.0, 3.5 | 1.5, 4.3 |
| | 1.0, 0.1 | 0.2, 3.0 |
| Fine-tuning cost | #19 | 20 |
| Circuit III | f01 and f02 [GHz] |
| | 1.5, 2.3 | 2.5, 3.8 |
| | 3.0, 4.5 | 4.0, 6.0 |
| | 1.5, 0.1 | 0.1, 0.4 |
| Fine-tuning cost | #16 | 18 |
图13. 电路I的优化结果:图片显示了所提出的反向替代模型预测的初始设计下的响应,以及微调设计下的EM模拟特性。案例1至4从左上角到右下角显示。
图14. 电路II的优化结果:图片显示了所提出的反向替代模型预测的初始设计下的响应,以及微调设计下的EM模拟特性。案例1至4从左上角到右下角显示。
图15. 电路III的优化结果:图片显示了所提出的反向替代模型预测的初始设计下的响应,以及微调设计下的EM模拟特性。案例1至4从左上角到右下角显示。
需要强调的是,设计规格(例如中心频率)首先转换为相关的目标特征向量,这些特征向量随后成为反向模型的输入。特征向量随后用于获得进一步微调的初始设计。对于某些特征点(如频率和功率分配比),设计规格和特征向量是一致的。对于其余参数,特别是|S11|或|S41|的水平,需要选择合理的值,这里选择0.1(或–20 dB)。最后,在电路II的情况下,所需的相对介电常数εr直接作为模型输入。
图13、图14、图15的结果强调了所提出的反向建模方法的卓越性能。对于所有测试电路和设计案例,替代模型产生的初始设计都表现出令人满意的质量。特别是,这些设计要么满足假设的规格,要么接近满足这些规格。因此,基于梯度的微调只需少量的EM分析即可实现。平均调整成本仅为18次EM分析,并且与问题维度关系不大。电路I(六个参数)的平均成本为15次模拟,电路III(七个参数)的成本为18.5次模拟,电路II(十个参数)的成本为19.8次模拟。
上述结果验证了所提出的反向建模方法在促进电路在广泛的操作条件和材料参数范围内的全局优化方面的适用性。
#### 4. 结论
本研究介绍了一种针对微波无源组件的新颖反向建模方法,专为设计应用而设计。该方法的核心是一个深度学习替代模型,它直接将电路的操作参数映射到其设计变量。通过利用这两个领域之间的弱非线性,该模型在广泛的操作频率、带宽和其他相关条件下实现了高预测精度,同时只需要少量的训练数据。建模过程通过快速的全局敏感性分析实现了显式的降维。替代模型本身实现为一个定制的深度残差网络(ResNet),旨在捕捉关键响应特征与组件几何参数之间的关系。为了进一步提高效率,模型仅关注一小部分关键性能指标,而不是对整个频率响应进行建模。
所提出的技术已经使用三个微带组件进行了全面验证,并与一系列基准方法进行了比较,包括正向和反向元模型。鉴于测试案例的复杂性,所有正向建模方法的预测精度都有限,导致模型的实际设计价值很小或没有。相比之下,逆向模型的性能显著更好,所提出的基于ResNet的替代模型在所有电路中始终表现出最高的可靠性。为了突出该方法的实际应用价值,这些电路在各种性能场景下都进行了优化。在每种情况下,替代模型都能成功生成高质量的初始设计,这些设计只需要最少的改进,平均只需进行不到二十次电磁(EM)仿真即可完成。未来工作的重点将是进一步提高模型的鲁棒性和计算效率。计划中的改进措施包括引入空间域限制和采用可变分辨率的电磁分析方法。
**CRediT作者贡献声明:**
Slawomir Koziel:撰写 – 审稿与编辑、撰写 – 原始草稿、可视化、验证、监督、软件开发、资源管理、项目管理、方法论研究、资金筹集、形式化分析、数据整理、概念构思。
Kaustab C. Sahu:撰写 – 原始草稿、可视化、方法论研究。
Anna Pietrenko-Dabrowska:撰写 – 审稿与编辑、撰写 – 原始草稿、项目管理、概念构思。
**资助情况:**
本研究部分得到了冰岛研究基金(Grant 2410297)和波兰国家科学中心(Grant 2024/55/B/ST7/01413)的支持。