LipKernel:通过耗散层实现Lipschitz有界的卷积神经网络

《Automatica》:LipKernel: Lipschitz-bounded convolutional neural networks via dissipative layers

【字体: 大 中 小 】 时间:2026年04月29日 来源:Automatica 5.9

编辑推荐:

  帕特里夏·保利 | 王瑞刚 | 伊恩·R·曼彻斯特 | 弗兰克·阿尔戈沃 埃因霍温理工大学机械工程系,5600 MB 埃因霍温,荷兰 **摘要** 我们提出了一种新的卷积神经网络(CNN)的分层参数化方法,该方法通过强制实施规定的Lipschitz界限来内置鲁棒性保

  帕特里夏·保利 | 王瑞刚 | 伊恩·R·曼彻斯特 | 弗兰克·阿尔戈沃
埃因霍温理工大学机械工程系,5600 MB 埃因霍温,荷兰

**摘要**
我们提出了一种新的卷积神经网络(CNN)的分层参数化方法,该方法通过强制实施规定的Lipschitz界限来内置鲁棒性保证。我们参数化中的每一层都设计为满足线性矩阵不等式(LMI),这反过来意味着相对于特定的输入率具有耗散性。这些分层LMI共同确保了神经网络输入-输出映射的Lipschitz有界性,从而比通过谱界限或正交层提供了更具表现力的参数化方法。我们的新方法LipKernel直接使用2-D Roesser型状态空间模型对耗散性卷积核进行参数化。这意味着卷积层在训练后以标准形式给出,并且可以在没有计算开销的情况下进行评估。在数值实验中,我们展示了使用我们的方法运行时间比在傅里叶域中对卷积进行参数化的最先进Lipschitz有界网络快几个数量级,这使得我们的方法特别适用于提高基于学习的实时感知或控制在机器人技术、自动驾驶车辆或自动化系统中的鲁棒性。我们专注于CNN,与以往的工作不同,我们的方法适应了CNN中通常使用的各种层,包括1-D和2-D卷积层、最大和平均池化层以及步长和扩张卷积和零填充。然而,我们的方法自然可以扩展到CNN之外,因为我们可以纳入任何具有渐进耗散性的层。

**1. 引言**
深度学习架构,如深度神经网络(NNs)、卷积神经网络(CNNs)和循环神经网络,在工程和计算机科学的许多领域引发了范式转变(LeCun等人,2015年)。这些NN的一些突出应用包括图像和视频处理任务、自然语言处理任务、非线性系统识别以及基于学习的控制(Bishop,1994年;Li等人,2021年)。在这些应用中,NN在灵活性、准确性和可扩展性方面超过了其他方法。然而,作为黑箱模型,NN通常缺乏鲁棒性保证,这限制了它们在安全关键应用中的实用性。特别是,已经显示出NN对小的“对抗性”输入扰动非常敏感(Szegedy等人,2014年)。这种敏感性可以通过NN的Lipschitz常数来量化。在基于学习的控制中,确保具有神经组件的闭环系统的安全性和稳定性通常需要NN的增益是有界的(Berkenkamp等人,2017年;Brunke等人,2022年;Jin和Lavaei,2020年),而Lipschitz常数限制了NN的增益。已经提出了许多用于Lipschitz常数估计的方法(Combettes和Pesquet,2020年;Fazlyab等人,2019年;Latorre等人,2020年;Virmaux和Scaman,2018年)。虽然计算Lipschitz常数是一个NP难问题(Jordan和Dimakis,2020年;Virmaux和Scaman,2018年),但可以通过矩阵的谱范数的乘积获得计算成本低但宽松的上界(Szegedy等人,2014年),并且可以使用源自鲁棒控制的半定规划(SDP)方法确定更紧的界限(Fazlyab等人,2019年;Latorre等人,2020年;Pauli、Gramlich和Allg?wer,2023年;Pauli等人,2024a;Revay等人,2020a)。虽然分析给定的NN很有趣,但自然会引出如何合成具有内置Lipschitz界限的NN的问题,这也是本文的主题。受Lipschitz界限的组合性质的启发,大多数方法假设1-Lipschitz激活函数(Anil等人,2019年;Prach和Lampert,2022年)并尝试约束网络中出现的矩阵和卷积算子的Lipschitz常数(即谱界限)。然而,这可能过于保守,导致表达能力有限,即约束限制了拟合底层函数行为的能力。

为了施加更复杂的基于线性矩阵不等式(LMI)的Lipschitz界限,Gouk等人(2021年)和Pauli等人(2022年、2021年)在训练问题中加入了约束或正则化项。然而,由此产生的受限优化问题往往具有较高的计算开销,例如,由于代价高昂的投影或障碍计算(Pauli等人,2022年;Pauli等人,2021年)。另一种方法是Pauli、Wang、Manchester和Allg?wer(2023年;Revay等人,2020b;Revay等人,2023年)以及Wang和Manchester(2023年)构建了所谓的直接参数化,它们将自由变量映射到网络参数,从而在设计上满足LMI,进而确保了平衡网络(Revay等人,2020b)、循环平衡网络(Revay等人,2023年)、深度神经网络(Wang & Manchester,2023年)和1-D卷积神经网络(Pauli、Wang、Manchester & Allg?wer,2023年)的Lipschitz有界性。直接参数化的主要优点是将训练鲁棒NN的问题视为一个无约束的优化问题,可以使用现有的基于梯度的求解器来解决。在这项工作中,我们为Lipschitz有界的CNN开发了一种新的直接参数化方法。

Lipschitz有界的卷积可以在傅里叶域中参数化,如Trockman和Kolter(2021年)以及Wang和Manchester(2023年)中的正交层和Sandwich层所示。然而,这增加了执行非线性操作或全图像大小核的计算开销,导致推理时间更长。相比之下,在本文中,我们使用Roesser型2-D系统表示(Roesser,1975年)进行卷积(Gramlich等人,2026年;Pauli等人,2024b)。这使我们能够直接参数化卷积层的核条目,因此我们将我们的方法称为LipKernel。这种直接的核参数化的好处是在推理时可以以标准形式评估CNN的卷积层,这对于系统验证和验证过程是有利的。与傅里叶表示相比,它还显著降低了推理的计算需求,使得我们的方法特别适合实时控制系统,例如在机器人技术、自动驾驶车辆或自动化中。此外,LipKernel在架构选择上提供了额外的灵活性,可以轻松结合池化层和任何类型的零填充。

我们的工作扩展并推广了Pauli、Wang、Manchester和Allg?wer(2023年)关于参数化Lipschitz有界1-D CNN的结果。在这项工作中,我们以比Pauli、Wang、Manchester和Allg?wer(2023年)更一般的方式构建了我们的方法,以便可以将任何耗散层包含在Lipschitz有界的NN中,并讨论了广义的Lipschitz属性。在此过程中,我们将耗散性的概念纳入了合成问题,而我们之前仅将其用于分析问题(Pauli、Gramlich和Allg?wer,2023年)。然后,我们将分层参数化的详细推导集中在重要的CNN类别上。与Pauli、Wang、Manchester和Allg?wer(2023年)的一个主要区别以及这项工作的关键技术贡献是从1-D CNN到2-D CNN的非平凡扩展,同时考虑了包括步长和扩张在内的更一般形式。我们的参数化依赖于Cayley变换,这也用于Trockman和Kolter(2021年)以及Wang和Manchester(2023年)。此外,我们为新构建了2-D有限脉冲响应(FIR)滤波器的特定2-D Lyapunov方程的解,并在我们的参数化中加以利用。

本文的其余部分组织如下。第2节,我们陈述问题并介绍前馈NN和所有考虑的层类型。第3节讨论了用于通过半定规划估计Lipschitz常数的耗散分析问题,第4节我们讨论了主要结果,即通过耗散层对Lipschitz有界CNN的分层参数化。最后,在第5节,我们展示了推理时的运行时间优势,并将我们的方法与其他用于设计Lipschitz有界CNN的方法进行了比较。

**符号说明:**
In表示维度为n的单位矩阵。如果从上下文中可以清楚地知道维度,则省略n。Sn(S++n)表示(正定的)对称矩阵,Dn(D++n)表示维度为n的(正定的)对角矩阵。chol(?)表示矩阵A=L?L的Cholesky分解L=chol(A)。在我们的论文中,我们研究处理图像信号的CNN。为此,我们将图像理解为序列(u[i1,…,id]),其中自由变量i1,…,id∈N0。在这个序列中,u[i1,…,id]是Rc的元素,c称为通道维度(例如,对于RGB图像,c=3)。信号维度d通常是d=1(时间信号)和d=2(图像(两个空间维度)。这样的信号/序列的空间表示为??2ec(N0d)?{u:N0d→Rc}。图像是具有有限正方形的?2ec(N0d)中的序列。为了方便起见,我们有时使用多索引符号来表示信号,即我们将u[i1,…,id]表示为u[i],对于i∈N0d。对于这些多索引,我们使用符号i+j表示(i1+j1,…,id+jd)和ij=(i1j1,…,idjd)。我们进一步用[i,j]={t∈N0d∣i≤t≤j}表示所有在i,j∈N0d之间的多索引区间,并用|[i,j]|表示该区间中的元素数量,以及区间[i,j[=[i,j?1]。‖?‖表示信号的?2范数,对于长度为1的向量,它简化为欧几里得范数,而?‖u‖X2?∑i=0N?1u[i]?Xu[i]是加权了一些正半定矩阵X?0的长度为N的信号的信号范数。

**2. 问题陈述和神经网络**
在这项工作中,我们将深度NN视为l层(1)NNθ=Ll°Ll?1°?°L2°L1的组合。各个层Lk,k=1,…,l包括许多不同的层类型,包括但不限于卷积层、全连接层、激活层和池化层。其中一些层,例如全连接层和卷积层,由训练期间学习的参数θk,k=1,…,l表征。相比之下,其他层如激活层和池化层不包含调整参数。

从输入到NN u1到其输出yl的映射递归地由(2)yk=Lk(uk),uk+1=yk,k=1,…,l给出,其中uk∈Dk?1和yk∈Dk分别是第k层的输入和输出,Dk?1和Dk是输入和输出域。在(2)中,我们假设第k层的输出空间与第k+1层的输入空间一致,这是通过不同层类型之间的重塑操作来确保的。

这项工作的目标是合成Lipschitz有界的NN,即形式为(1),(2)的NN,它们满足广义Lipschitz条件(3)‖NNθ(ua)?NNθ(ub)‖Q≤‖ua?ub‖R,对于给定的Q∈S++cl,R∈S++c0,输入和输出维度为c0和cl,我们称这样的NN为(Q,R)-Lipschitz NN。选择Q=I和R=ρ2I,我们恢复了标准的Lipschitz不等式(4)‖NNθ(ua)?NNθ(ub)‖≤ρ‖ua?ub‖,对于所有ua,ub∈Rn,其中Lipschitz常数为ρ。然而,通过选择Q和R,我们可以结合领域知识并实施针对预期或最坏情况输入扰动的定制耗散性基鲁棒性度量,包括方向信息。在这个意义上,我们可以将u??u?=u?X0u=u?L0?L0u,即u?=L0u视为将预期输入扰动集重新缩放到单位球。我们还可以根据不同类别的输出变化(=输出向量的条目)的重要性进行不同的加权。Singla等人(2022年)建议在最后一层进行归一化,这相当于重新缩放Wl的每一行,使得所有行的范数为1,即使用LlWl而不是带有某些对角缩放矩阵Ll的Wl。我们可以将这种缩放矩阵Ll?Ll解释为输出增益Xl=Ll?Ll。

**注1**
为了逐步参数化输入被动(即强单调)NN,即映射f:D0→Dl且输入和输出维度c0=cl的NN,满足(ua?ub)?(f(ua)?f(ub))≥0对于所有ua,ub∈Rn,可以包括一个残差路径f(u)=μu+NNθ(u),其中μ>0,并约束NNθ具有Lipschitz界限<μ,参见例如behrmann等人(2019年;chen等人,2019年;perugachi-diaz等人,2021年;wang等人(2024年)。循环平衡网络将这一点扩展到具有更一般渐进(qsr)-耗散性的动态模型(revay等人,2023年)。

**2.1. 问题陈述**
为了训练一个(q,r)-lipschitz nn,可以在底层优化问题中包括对参数θ=(θk)k=1l的约束,以确保所需的lipschitz属性。这产生了一个受限优化问题(5)minθ1m∑i=1mj(f(x(i),θ),s.t.θ∈θ(q,r),其中(x(i),y(i))i=1m是训练数据,j(?,?)是训练目标,例如均方误差或交叉熵损失,θ(q,r)是参数集?θ(q,r)?{θ∣(3)对于给定的q∈s++cl,r∈s++c0}。然而,找到描述所有(q,r)-lipschitz nn的约束θ∈θ(q,r)是一个np难问题,而传统的通过nn范数约束的表征是保守的。这激发了我们推导出适用于大量(q,r)-lipschitz nn的lmi约束的动机。

**问题1**
给定一些矩阵q∈s++cl和r∈s++c0,确定参数集θ(q,r)的一个子集,由lmi描述,使得对于所有满足这些lmi的权重nnθ,广义lipschitz不等式(3)成立。为了避免使用pauli等人(2022年;pauli等人,2021年)中使用的投影或障碍函数来解决这样的受限优化问题(5),我们改用了直接参数化??θ。 **2.1. 问题陈述** 为了训练一个(q,r)-lipschitz nn,可以在底层优化问题中包括对参数θ=(θk)k=1l的约束,以确保所需的Lipschitz属性。这产生了一个受限优化问题(5)minθ1m∑i=1mJ(f(x(i),θ),s.t.θ∈Θ(Q,R),其中(x(i),y(i))i=1m是训练数据,J(?,?)是训练目标,例如均方误差或交叉熵损失,Θ(Q,R)是参数集?Θ(Q,R)?{θ∣(3)对于给定的Q∈S++cl,R∈S++c0}。然而,找到描述所有(Q,R)-Lipschitz nn的约束θ∈θ(q,r)是一个np难问题,而传统的通过nn范数约束的表征是保守的。这激发了我们推导出适用于大量(q,r)-lipschitz nn的lmi约束的动机。 **问题1**>
**2.1. 问题陈述**
为了训练一个(q,r)-lipschitz nn,可以在底层优化问题中包括对参数θ=(θk)k=1l的约束,以确保所需的lipschitz属性。这产生了一个受限优化问题(5)minθ1m∑i=1mj(f(x(i),θ),s.t.θ∈θ(q,r),其中(x(i),y(i))i=1m是训练数据,j(?,?)是训练目标,例如均方误差或交叉熵损失,θ(q,r)是参数集?θ(q,r)?{θ∣(3)对于给定的q∈s++cl,r∈s++c0}。然而,找到描述所有(q,r)-lipschitz nn的约束θ∈θ(q,r)是一个np难问题,而传统的通过nn范数约束的表征是保守的。这激发了我们推导出适用于大量(q,r)-lipschitz nn的lmi约束的动机。

**问题1**
给定一些矩阵q∈s++cl和r∈s++c0,确定参数集θ(q,r)的一个子集,由lmi描述,使得对于所有满足这些lmi的权重nnθ,广义lipschitz不等式(3)成立。为了避免使用pauli等人(2022年;pauli等人,2021年)中使用的投影或障碍函数来解决这样的受限优化问题(5),我们改用了直接参数化??θ。>这意味着我们以这样一种方式参数化θ,即底层线性矩阵不等式(LMI)约束在设计上得到满足。然后,我们可以通过解决一个无约束优化问题(6)min?1m∑i=1mJ(f(x(i),θ(?)),y(i))来训练具有Lipschitz界限的神经网络(NN),使用常见的一阶优化器。在此过程中,我们优化无约束变量?∈RN,而参数化确保NN满足LMI约束,这反过来又意味着(3)。这引导我们找到直接参数化??θ的问题。

问题2
给定一些矩阵Q∈S++cl和R∈S++c0,构造一个参数化??θ,使得NNθ满足广义Lipschitz不等式(3)。

2.2. CNN架构
本小节定义了(Q,R)-Lipschitz CNNs参数化的所有相关层类型。一个示例架构(1)是一个分类CNN:CNNθ=Fl°σ°?°σ°Fp+1°R°P°σ°Cp°?°P°σ°C1,其中Lk∈{F,C,P,σ,R},F表示全连接层,C表示卷积层,P表示池化层,σ表示激活函数,R表示重塑层。在下文中,我们将正式定义这些层。

卷积层
具有层索引k的卷积层表示为Ck:yk=Kk?uk+bk,其中?表示卷积运算符,k是一个卷积核,bk是一个偏置项,即θk=(Kk,bk)。输入信号uk可以是一维信号(如时间序列)、二维信号(如图像)或甚至d维信号。
对于一般维度d,卷积层将Dk?1=?2eck?1(N0d)映射到Dk=?2eck(N0d)。使用紧凑的多索引表示法,我们写作(7)yk[i]=bk+∑t∈[0,rk]Kk[t]uk[ski?t],其中如果ski?t不在uk[?]的定义域内,则uk[ski?t]被设置为零,以考虑可能的零填充。卷积核Kk[t]∈Rck×ck?1(对于0≤t≤rk)和偏置bk∈Rck表征了卷积层,步长sk决定了核沿相应传播方向的移动步数。

注3
我们使用因果表示法(7)来处理卷积层,即yk[i]是基于过去的信息进行评估的。通过移动核,我们可以得到一个非因果表示法(8)yk[i]=bk+∑t∈[?rk/2,rk/2]Kk[t]uk[ski?t],使用对称的核。因此,(7)和(3)的输出会相应地移动。

在这项工作中,我们专注于1-D和2-D CNNs,它们的主要构建块分别是1-D和2-D卷积层。1-D卷积层是(7)的一个特例,表示为(9)yk[i]=bk+∑t=0rkKk[t]uk[ski?t]。
此外,2-D卷积层(d=2)表示为(10)yk[i1,i2]=bk+∑t1∈[0,rk1]∑t2∈[0,rk2]Kk[t1,t2]uk[sk1i1?t1,sk2i2?t2],其中rk=(rk1,rk2)是核大小,sk=(sk1,sk2)是步长。

全连接层
全连接层Fk是静态映射,其定义域空间为Dk?1=Rck?1,图像空间为Dk=Rck,可能的通道维度为ck?1,ck (= 隐藏层中的神经元数量)。我们定义全连接层为(11)Fk:Rck?1→Rck,uk?yk=bk+Wkuk,其中bk∈Rck,Wk∈Rck×ck?1是权重矩阵,即θk=(Wk,bk)。

激活函数
卷积层和全连接层通常是仿射层,其后通常跟着一个非线性激活函数。这些激活函数σ可以应用于定义域空间Dk?1=Rck?1或Dk?1=?2eck?1(N0d),但它们要求Dk?Dk?1。激活函数σ:R→R是逐元素应用于输入uk∈Dk?1的。对于向量输入uk∈Rck,σ定义为σ:Rck→Rck,uk?yk=σ(uk1)?σ(ukck)?。
此外,我们将标量激活函数提升到信号空间?2eck?1(N0dk?1),从而得到σ:?2eck(N0d)→?2eck(N0d),(uk[i])i∈N0d?(yk[i])i∈N0d=(σ(uk[i]))i∈N0d。

池化层
卷积层之后可以跟着一个额外的池化层P,即从Dk?1=?2eck(N0d)到Dk=?2eck(N0d)的下采样操作,该操作是按通道应用的。池化层从输入信号批次(uk[ski?t]∣t∈[0,rk])生成一个单一的输出信号项y[i]。两种最常见的池化层是平均池化Pav:?2eck(N0d)→?2eck(N0d),?yk[i]?mean(uk[ski?t]∣t∈[0,rk])=1|[0,rk]|∑0≤t≤rkuk[ski?t]和最大池化Pmax:?2eck(N0d)→?2eck(N0d),?yk[i]?max(uk[ski?t]∣t∈[0,rk]),其中最大值是按通道应用的。除了Pauli、Wang、Manchester和Allg?wer(2023)的方法外,我们允许所有sk≤rk,这意味着核大小要么大于步长,要么与步长相同。

重塑操作
神经网络(NN)(1)可能包括信号处理层,如卷积层,以及操作向量空间的层,如全连接层。在这些不同层类型的转换处,我们需要一个重塑操作R:?2ec(N0d)→R|[0,N]|?c,(y[i])i∈N0d?R(y),它将信号展平为一个向量R(yk)=yk[0]?…yk[Nk]??=uk+1,或者反之,将向量转换回信号。

3. 神经网络的耗散分析
在第4节介绍Lipschitz有界CNN的直接参数化之前,我们在本节解决问题1,即通过线性矩阵不等式(LMIs)来表征(Q,R)-Lipschitz NNs。在3.1节中,我们首先讨论了逐步耗散层,然后在3.2节中介绍了卷积的状态空间表示(Roesser类型)。在3.3节中,我们提出了斜率受限非线性的二次约束,并讨论了证明层耗散性的逐层LMIs以及在3.4节中证明CNN的(3)。在本节的整个过程中,我们在可能的情况下省略了层索引以提高可读性。下标“?”指的是前一层;例如,c是ck的缩写,c?是ck?1的缩写。

3.1. 逐步耗散层
为了设计具有Lipschitz界限的NN,以前的工作已经将CNN的各个层参数化为正交的或具有受限的谱范数(Anil等人,2019年;Prach和Lampert,2022年;Trockman和Kolter,2021年),从而确保它们是1-Lipschitz的。然后给出端到端映射的Lipschitz常数的上界为ρ=∏k=1lLip(Lk),其中Lip(Lk)是k=1,…,l层的Lipschitz上界。相比之下,我们的方法不要求各个层是正交的,而是要求它们是逐步耗散的(Byrnes & Lin,1994年),从而提供了更多的自由度,同时也保证了端到端映射的Lipschitz上界。

定义4 逐步耗散性
如果对于所有输入uka,ukb∈Dk?1和所有Nk∈N0d,都有(12)∑i∈[0,Nk?1]s(Δuk[i],Δyk[i])≥0,其中Δuk[i]=uka[i]?ukb[i],Δyk[i]=yka[i]?ykb[i],则层Lk:Dk?1→Dk:uk?yk是相对于供应率s(Δuk[i],Δyk[i])逐步耗散的。
特别是,我们设计层使其相对于供应是逐步耗散的,即(13)∑i=0Nk?1s(Δuk[i],Δyk[i])=‖Δuk‖Xk?12?‖Δyk‖Xk2,这可以被视为具有方向增益矩阵Xk∈S++c和Xk?1∈S++ck?1的广义逐步增益/ Lipschitz属性。注意(12)包括向量输入,在这种情况下Nk=0。此外,我们的方法自然地扩展到了第2.2节中介绍的CNN的主要层类型之外,因为任何相对于(13)逐步耗散的函数都可以作为层Lk包含在一个(Q,R)-Lipschitz前馈NN(1)中。图1展示了通过考虑逐步耗散层而不是Lipschitz有界层而获得的额外自由度。对于输入增量来自单位球的情况,我们找到了一个椭圆E={y1a,y1b∈Rc∣(y1a?y1b)?X1(y1a?y1b)≤1}来过度近似隐藏层中的可达集,或者使用一个表示圆的Lipschitz界限来表征这个目的。第三个也是最后一个可达集是一个按Lipschitz上界缩放的圆。这个集合是使用由X1或前一层的圆作为输入创建的。选择这些输入集是为了使最终的可达集最小化。我们看到两种方法之间的明显差异。使用逐步耗散方法得到的椭圆,Lipschitz界限是1,而使用圆的方法,Lipschitz界限几乎是2,这表明我们可以找到更紧的Lipschitz上界。

下载:下载高分辨率图像(164KB)
下载:下载全尺寸图像
图1. 对于F2°σ°F1,其中c0=c1=c2=2,我们比较了使用逐步耗散层(顶部)和Lipschitz界限(底部)显示的可达集的过度近似。在NN设计中,这转化为更高的模型表达能力。为了说明这一点,我们考虑了在?π2和π2之间拟合余弦函数的回归问题,这也被Pauli等人(2021年)使用。我们使用一个简单的NN架构F2°σ°F1,其中c0=c2=1,c1=2,激活函数为tanh,并构建权重和偏置为W1=?1?1,b1=?11,W2=?11,b2=?0.5。这两个层都是逐步耗散的,权重满足LMI约束,从而保证端到端映射是1-Lipschitz的,这将在第3.4节中详细讨论。显然,权重的谱范数为2,这意味着各个层不是1-Lipschitz的。接下来,我们构建了一个NN来最佳拟合余弦函数,权重通过谱归一化获得,即W1=12?1?1,b1=?22,W2=12?11,b2=?0.5。在图2中,我们看到了两种函数的拟合结果,以及使用耗散层的基于LMI的参数化的表达能力明显优于使用1-Lipschitz层的NN。

下载:下载高分辨率图像(122KB)
下载:下载全尺寸图像
图2. 使用基于LMI的参数化和具有1-Lipschitz权重的NN拟合余弦函数

3.2. 卷积的状态空间表示
在核表示(7)中,卷积不适合基于SDP的方法。然而,它们可以通过Toeplitz矩阵重新表述为全连接层(Aquino等人,2022年;Goodfellow等人,2016年;Pauli等人,2022年),在傅里叶域中参数化(Wang & Manchester,2023年),或在状态空间中表示(Gramlich等人,2026年;Pauli等人,2024b)。在下文中,我们提出了Pauli等人(2024b)中推导出的1-D和2-D卷积的紧凑状态空间表示,这些表示允许直接参数化核参数。

1-D卷积
一个可能的离散时间状态空间表示为(9),步长s=1,表示为(14)x[i+1]=Ax[i]+Bu[i],v[i]=Cx[i]+Du[i]+b,初始条件为x[0]=0,其中(15)A=0Ic?(r?1)00,B=0Ic?,C=K[r]?K[1],D=K[0]。
在(14)中,我们用x[i]∈Rn,u[i]∈Rc?和y[i]∈Rc表示状态、输入和输出,状态维度为n=rc?。
应该注意的是,在状态空间表示(15)中,所有参数K[i],i=0,…,r都收集在矩阵C和D中,A和B负责将之前的输入移入内存。因此,C和D在第4节中进行了参数化。

2-D卷积
我们使用Roesser模型(Roesser,1975年)描述2-D卷积(16)??x1[i+1,j]x2[i,j+1]=A11A12A21A22︸?Ax1[i,j]x2[i,j]+B1B2︸?Bu[i,j]??y[i,j]=C1C2︸?Cx1[i,j]x2[i,j]+D︸?Du[i,j]+b。状态为x1[i,j]∈Rn1,x2[i,j]∈Rn2,输入为u[i,j]∈Rnu,输出为y[i,j]∈Rny。2-D卷积(10)的一个可能状态空间表示由引理5(Pauli等人,2024b)给出。

引理5 2-D卷积的实现
考虑一个卷积层C:?2ec?(N02)→?2ec(N02),表示为(10),步长s1=s2=1,由卷积核K和偏置b表征。这个层在状态空间(16)中通过矩阵(17)实现,其中K[i1,i2]∈Rc×c?,i1=0,…,r1,i2=0,…,r2,初始条件为x1[0,i2]=0对于所有i2∈N0,以及x2[i1,0]=0对于所有i1∈N0。状态、输入和输出维度分别为n1=cr1,n2=c?r2,nu=c。

注2
对于步长s>1,(Pauli等人,2024b)构建了状态空间表示(15),(17),基于这些表示,我们的参数化可以直接扩展到步长卷积。

3.3. 斜率受限的激活函数
NN的非线性和大规模特性通常使它们的分析变得复杂。然而,用二次约束过度近似激活函数可以实现基于SDP的Lipschitz常数估计和验证(Fazlyab等人,2020年;Fazlyab等人,2019年)。常见的激活函数如ReLU和tanh在[0,1]上是斜率受限的,并满足以下逐步二次约束(Fazlyab等人,2019年;Pauli等人,2021年)。

引理6 斜率限制
假设σ:R→R在[0,1]上是斜率受限的。那么对于所有Λ∈D++n,向量值函数σ(u)?=σ(u1)…σ(un):Rn→Rn满足(18)ΔuΔy?0ΛΛ?2ΛΔuΔy≥0?ua,ub∈Rn,其中Δu=ua?ub和Δy=σ(ua)?σ(ub)。

3.4. 逐层LMI条件
使用二次约束(18)来过度近似非线性激活函数,Fazlyab等人(2019年;Gramlich等人,2026年;Pauli,Gramlich,Allg?wer,2023年;Pauli等人,2024a)为Lipschitz常数估计制定了SDPs。这些工作(Pauli,Gramlich和Allg?wer,2023年;Pauli等人,2024a)分别为1-D和2-D CNN制定了逐层LMI条件。在这项工作中,我们通过这些LMIs来表征Lipschitz NNs,从而解决了问题1。更具体地说,Pauli,Gramlich和Allg?wer,2023年;Pauli等人,2024a中的LMIs产生了逐步耗散层,因此,端到端映射满足(3),如下一个定理7中详细说明。

定理7
设NN(1)的每一层k=1,…,l相对于供应(13)是逐步耗散的,并且设X0=R,Xl=Q。那么输入–输出映射u1?yl满足(3)。
证明
所有层k=1,…,l相对于供应(13)都是逐步耗散的,即(19)‖Δuk‖Xk?1?‖Δyk‖Xk≥0,k=1,…,l。
我们对所有k=1,…,l层求和(19通过选择基于LMI的方法,该方法在层连接中包含池化层和激活函数,而不是使用1-利普希茨线性层,我们考虑了神经元之间的信息耦合。这导致了更好的表达能力。接下来,我们陈述了对于层类型σ°F、σ°C和P°σ°C的LMI,这些LMI意味着相对于(13)具有增量耗散性。卷积层。

**引理8 σ°C的LMI(Pauli等人,2024a)**
考虑一个2-D(1-D)卷积层σ°C,其激活函数的斜率被限制在[0,1]范围内。对于某些X∈S++c和X?∈S++c?,如果存在正定矩阵P1∈S++n1、P2∈S++n2、P=blkdiag(P1,P2)(P∈S++n)和对角矩阵Λ∈D++c,使得(21)成立,则σ°C满足相对于供应(13)的(12)。

**推论9 P°σ°C的LMI**
考虑一个2-D(1-D)卷积层P°σ°C,其激活函数的斜率被限制在[0,1]范围内,并且包含一个平均池化层/最大池化层。对于某些X∈S++c / X∈D++c和X?∈S++c?,如果存在正定矩阵P1∈S++n1、P2∈S++n2、P=blkdiag(P1,P2)(P∈S++n)和对角矩阵Λ∈D++c,使得(22)成立,则P°σ°C满足相对于供应(13)的(12),其中ρp是池化层的利普希茨常数。

**注释3**
引理8和推论9涵盖了所有类型的零填充(Pauli等人,2024a),就像(Prach & Lampert,2022)一样,这使我们的方法相对于(Trockman和Kolter,2021,Wang和Manchester,2023)具有优势,后者仅限于圆形填充。

**全连接层**
**引理10 σ°F的LMI(Pauli等人,2024a)**
考虑一个全连接层σ°F,其激活函数的斜率被限制在[0,1]范围内。对于某些X∈S++c和X?∈S++c?,如果存在对角矩阵Λ∈D++c,使得(23)成立,则σ°F满足相对于(13)的(12)。

**注释4**
从技术上讲,我们可以将全连接层解释为一个信号长度为1的0-D卷积层,其中D=W且A=0,B=0,C=0。因此,(23)是(21)的一个特例。

**最后一层**
最后一层被单独处理,因为它通常没有激活函数,并且Xl=Q是预先定义的。在分类神经网络中,最后一层通常是一个全连接层Fl,对于该层,LMI(24)Xl?1?Wl?QWl?0意味着相对于供应(13)的(12),参见定理7。

我们将LMI(21)到(24)表示为Gk(Xk,Xk?1,νk)?0的实例,其中νk表示特定LMI中的相应乘数和松弛变量(对于σ°Fk,νk=Λk;对于σ°Ck,νk=(Λk,Pk))。

**注释5 利普希茨常数估计**
为了确定给定神经网络的利普希茨常数的上限,我们解决SDP(25):
minρ2,X,ν
ρ2s.t.
Gk(Xk,Xk?1,νk)?0,
k=1,…,l
X0=R=ρ2I,Xl=Q=I。
在(25)中,X={Xk}k=1l?1,ν={νk}k=1l,ρ2作为决策变量。根据定理7,ρ的解是神经网络利普希茨常数的上限(Pauli等人,2024a)。

**4. 耗散层的合成**
在前一节中,我们回顾了Pauli等人(2024a)中为神经网络的利普希茨常数估计推导出的LMI,我们使用这些LMI来表征满足(3)或(4)的鲁棒神经网络。这项工作致力于合成这样的利普希茨有界的神经网络。为此,在本节中,我们为θk推导了逐层参数化,使得逐层LMI Gk(Xk,Xk?1,νk)?0, k=1,…,l在设计上是可行的,从而解决了问题2。对于我们的参数化,利普希茨界限ρ或相应的矩阵Q、R是用户可以选择的超参数。低利普希茨界限ρ可以提高鲁棒性,但会牺牲神经网络的表达能力,正如我们将在第5.2节中观察到的。将本节中介绍的参数化??θ插入(5)可以得到(6),可以使用一阶求解器方便地解决。

在4.1节中介绍了Cayley变换后,我们在4.2节和4.3节分别讨论了基于Cayley变换的全连接层和卷积层的参数化,以及一维和二维Lyapunov方程的解。为了提高可读性,我们在本节中省略了层索引k。如果我们引用前一层的变量,我们用下标“?”来表示它。

**4.1. Cayley变换**
Cayley变换将斜对称矩阵映射为正交矩阵,其扩展版本可以将非方阵参数化为Stiefel流形。Cayley变换可用于将连续时间系统映射为离散时间系统(Guo & Zwart,2006)。此外,它在设计具有范数约束权重或利普希茨约束的神经网络时也被证明是有用的(Helfrich等人,2018;Trockman和Kolter,2021;Wang和Manchester,2023)。

**引理11 Cayley变换**
对于所有Y∈Rn×n和Z∈Rm×n,Cayley变换CayleyYZ=UV=(I+M)?1(I?M)2Z(I+M)?1,产生满足U?U+V?V=I的矩阵U∈Rn×n和V∈Rm×n。

**4.2. 全连接层**
对于全连接层σ°F,定理12给出了一个从无约束变量?到(23)的映射??(W,b),从而使得该层相对于供应(13)是耗散的。

**定理12**
一个由(26)W=2Γ?1V?L?参数化的全连接层σ°F,其中Γ=diag(γ),UV=CayleyYZ,L=2UΓ,满足(23)。这产生了映射(Y,Z,γ,b)?(W,b,L),其中Y∈Rc×c,Z∈Rc?×c,γ,b∈Rc。证明见Pauli, Wang, Manchester和Allg?wer(2023,定理5)。我们将?=(Y,Z,γ,b)中的自由变量收集到θ=(W,b)中,并将权重和偏置项收集到θ中。为了训练一个利普希茨有界的神经网络,我们使用(26)参数化所有全连接层的权重W,然后使用(6)训练自由变量?。工具箱用于确定相对于?的梯度。副产品Γ参数化了Λ=Γ2,L参数化了方向增益X=L?L,并传递给后续层,在那里它表现为X?。第一层k=1时,L0=chol(R),当考虑(4)时,L0=ρI。增量属性(如利普希茨有界性)与偏置项无关,因此b∈Rc也是一个自由变量。

**注释5**
为了确保Γ和L是非奇异的,不失一般性,我们可以将Γ=diag(eγ),γ∈Rc(Wang & Manchester,2023)和L=U?diag(el)V,l∈Rc参数化为正交矩阵U和V,例如,可以使用Cayley变换找到。

**4.3. 卷积层**
卷积层的参数化分为两个步骤。首先,我们参数化(21)中的左上块,即(27)?F?P?A?PA?A?PB?B?PAX??B?PB?0,通过构建一个依赖于参数的1-D或2-D Lyapunov方程的解。其次,我们从上一步确定的辅助变量参数化C和D。

**4.2. 全连接层**
为了简化(21)的表示,我们引入了?C??CD。接下来,我们区分1-D卷积层和2-D卷积层的参数化。

**1-D卷积层**
1-D卷积层的参数化使用可控性格拉姆矩阵(Pauli, Wang, Manchester & Allg?wer,2023),这是离散时间Lyapunov方程的唯一解。第一个参数化步骤是参数化P,使得(27)是可行的。为此,我们使用以下引理(Pauli, Wang, Manchester & Allg?wer,2023)。

**引理13 P的参数化**
考虑1-D状态空间表示(15)。对于某些??>0和所有H∈Rn×n,矩阵P=T?1满足(28)T=∑k=0n?c?Ak(BX??1B?+H?H+?I)(A?)k,使得(27)是可行的。证明见Pauli, Wang, Manchester和Allg?wer(2023,引理7)。证明背后的关键思想是,通过Schur补数,(27)可以表示为一个Lyapunov方程。表达式(28)提供了这个Lyapunov方程的解。第二步现在从F参数化C?,详见定理14。所有核参数都出现在C?中,参见所选的状态空间表示(15),并如下参数化。

**定理14**
一个由(29)C?=CD=2Γ?1V?LF参数化的1-D卷积层σ°C,其中Γ=diag(γ),UV=CayleyYZ,LF=chol(F),满足(21)。这里,F由(27)给出,P使用(28)从X?和H参数化,其中X=L?L,L0=R,L=2UΓ。这产生了映射(Y,Z,H,γ,b)?(K,b,L),其中Y∈Rc×c,Z∈R(r+1)c?×c,H∈Rn×n,γ,b∈Rc。注意,如果卷积层包含平均池化层,我们需要稍微修改L。然后我们参数化L=2ρpUΓ,其中ρp是平均池化层的利普希茨常数。如果卷积层包含最大池化层,即Pmax°σ°C,我们需要修改L的参数化以确保X是对角矩阵,参见推论9。

**推论15**
一个包含最大池化层Pmax°σ°C的1-D卷积层,由(30)C?=Λ?1Γ?U??LF参数化,其中Λ=12Γ??Γ?+Q,Γ?=diag(γ?),U?=Cayley(Y?),满足(21)。这里,F由(27)给出,P使用(28)从X?和H参数化,其中X=L?L,L0=ρI,L=diag(l)。自由变量Y?∈Rrc?×c,H∈Rn×n,γ?,l∈Rc,构成了映射(Y?,H,γ?,l,b)?(K,b,L)。

**定理14和推论15的证明**见Pauli, Wang, Manchester和Allg?wer(2023,定理8和推论9)。

**2-D卷积层**
接下来,我们转向更复杂的2-D卷积层(10)的情况。2-D卷积层在其2-D状态空间表示中的参数化,即核参数的直接参数化,是这项工作的主要技术贡献之一。由于一般情况下不存在2-D Lyapunov方程的解(Anderson等人,1986),我们为2-D卷积层的特殊情况(即2-D FIR滤波器)构建了一个解。FIR滤波器的状态空间表示(17)具有特征结构,我们利用这一点来找到参数化。我们像在1-D情况下一样进行参数化,首先参数化P以使(27)可行。在2-D情况下,这一步需要依次参数化P1和P2,它们组成P=blkdiag(P1,P2)。将(17)插入(16)后,我们认识到由于A21=0,x2动态与x1动态是解耦的。因此,可以首先参数化P2,然后参数化P1。定义一些辅助矩阵T1=P1?1,T2=P2?1,T=blkdiag(T1,T2),(31)X?=X?11X?12X?12?X?22=BX??1B?,根据状态维度n1和n2进行划分,即X?11∈Rn1×n1,X?12∈Rn1×n2,X?22∈Rn2×n2。我们进一步定义(32)X?11=A12T2A12?+X?11+(X?12+A12T2A22?)(T2?A22T2A22??X?22)?1(X?12+A12T2A22?)?。

**引理16**
考虑2-D状态空间表示(17)。对于某些??>0和所有H1∈Rn1×n1,H2∈Rn2×n2,矩阵P1=T1?1,P2=T2?1满足(33a)T1=∑k=0n1?cA11k(X?11+H1?H1+?I)(A11?)k,(33b)T2=∑k=0n2?c?A22k(X?22+H2?H2+?I)(A22?)k,使得(27)是可行的。

**推论17**
一个包含最大池化层Pmax°σ°C的1-D卷积层,由(30)C?=Λ?1Γ?U??LF参数化,其中Λ=12Γ??Γ?+Q,Γ?=diag(γ?),U?=Cayley(Y?),满足(21)。这里,F由(27)给出,P使用(28)从X?和H参数化,其中X=L?L,L0=ρI,L=diag(l)。这产生了映射(Y,Z,H,γ,b)?(K,b,L),其中Y∈Rc×c,Z∈Rc?×c,H1∈Rn1×n1,H2∈Rn2×n2,A12∈Rn1×n2,B1∈Rn1×c?,δ,q,b∈Rc。

**推论18**
一个2-D卷积层σ°C由C2D=C?2=C1F1?1F12?LΓ?V?LF参数化,其中对于某些?>0,LΓ=chol(2Γ?C1F1?1C1?),Γ=diag(γ),γi=?+δi2+∑j12|C1F1?1C1?|ijqjqi,i=1,…,c,UV=CayleyYZ,LF=chol(F2?F12?F1?1F12),满足(21)。这里,F由(27)给出,P使用(28)从X?和H参数化。我们看到对角优势成立,因为 ∑j|C1F1?1C1?|ij=|C1F1?1C1?|ii+∑j,i≠j|C1F1?1C1?|ij,这导致 2?+2δi2>0,这一点显然是成立的。根据引理17,2Γ?QC1F1?1C1?Q?1 是对角优势的意味着 2Γ?C1F1?1C1? 是正定的。等式(39)意味着不等式 2Γ?C1F1?1C1??ΓXΓ?(?C?2+C1F1?1F12)(F2?F12?F1?1F12)?1(?C?2+C1F1?1F12)??0,我们将其左右两边都乘以 Λ=Γ?1,由于 γi≥?,Λ 是可逆的。我们得到(40)2Λ?ΛC1F1?1C1?Λ?X?(?ΛC?2+ΛC1F1?1F12)(F2?F12?F1?1F12)?1(?C?2?Λ+F12?F1?1C1?Λ)?0。鉴于 F?0,我们知道 F1?0,F2?0,并且根据舒尔补数,F2?F12?F1?1F12?0。根据舒尔补数,(40)等价于 F2?F12?F1?1F12?C?2?Λ+F12?F1?1C1?Λ?ΛC?2+ΛC1F1?1F122Λ?X?ΛC1F1?1C1?Λ?0,这又根据舒尔补数等价于(38)。

注8:定理18中γ的另一种参数化方式是 γi=?+δi2+1/2∑j|C1F1?1C1?|ij,i=1,…,c,通过设置 diag(q)=I 获得。另一种方法是 γi=?+δi2+1/2maxeig(C1F1?1C1?),i=1,…,c,因为它也能使 2Γ?C1F1?1C1?=2?I+2diag(δ2)+maxeig(C1F1?1C1?)I?C1F1?1C1? 成为正定的。

如果卷积层包含池化层,我们还需要稍微调整参数化。对于平均池化层,我们可以简单地将 X 替换为 ρp2X,得到 L=1ρpULΓΓ?1 而不是 L=ULΓΓ?1,其中 ρp 是平均池化层的利普希茨常数。最大池化层是非线性运算符。因此,增益矩阵 X 需要进一步限制为对角矩阵,参见 Pauli, Wang, Manchester 和 Allg?wer (2023) 的研究。

定理19:一个包含最大池化层的2-D卷积层,其利普希茨常数为 ρp,参数化为 C2D=C?2=C1F1?1F12?LΓ?U??LF,其中对于某个 ?>0,LΓ=chol(2Γ?ρp2ΓXΓ?C1F1?1C1?),Γ=diag(γ),γi=1/2ηi+ωi2,ηi=?+δi2+∑j|C1F1?1C1?|ijqjqi,U?=Cayley(Y?),LF=chol(F2?F12?F1?1F12),满足(22)。这里,F 是根据 X? 和自由变量 H1, H2, B1, A12 使用(33)参数化的,其中 X=L?L,L=diag(l),li=2γi?ηiγiρp,L0=ρI。这产生了映射 (Y?,H1,H2,A12,B1,δ,ω,b)?(K,b,L),其中 Y?∈Rc?(r2+1)×c,H1∈Rn1×n1,H2∈Rn2×n2,A12∈Rn1×n2,B1∈Rn1×c,δ,ω,q,b∈Rc。

证明:证明的思路与定理18的证明类似。我们首先解出 U?=LF??(?C?2+C1F1?1F12)?LΓ?1,然后将其代入 U??U?=I,并分别左右乘以 LΓ? 和 LΓ,得到(41)LΓ?LΓ=2Γ?ρP2ΓXΓ?C1F1?1C1?=(?C?2+C1F1?1F12)(F2?F12?F1?1F12)?1(?C?2+C1F1?1F12)?。使用 Xii=li2=2γi?ηiγi2ρP2,我们注意到 2Γ?ρP2ΓXΓ?QC1F1?1C1?Q?1 通过对角优势设计是成立的,因为它满足 2γi?2γi+ηi?|C1F1?1C1?|iiqiqi=?+δi2+∑j|C1F1?1C1?|ijqjqi?|C1F1?1C1?|iiqjqi>∑j,i≠j|C1F1?1C1?|ijqjqi,对所有 i=1,…,c 都成立。因此,根据引理17,2Γ?ρP2ΓXΓ?C1F1?1C1??0。等式(41)意味着不等式 2Γ?ρP2ΓXΓ?C1F1?1C1??(?C?2+C1F1?1F12)(F2?F12?F1?1F12)?1(?C?2?+F12?F1?1C1?)?0,或者等价地,使用 Λ=Γ?1(由于 γi≥?,Λ 是可逆的),得到 2Λ?ρP2X?ΛC1F1?1C1?Λ?(?ΛC?2+ΛC1F1?1F12)(F2?F12?F1?1F12)?1(?C?2?Λ+F12?F1?1C1?Λ)?0,根据舒尔补数,这等价于(22),参见定理18的证明。

4.4 最后一层:在最后一层,我们直接设置 X=Q=LQ?LQ,而不是通过 L 参数化某个 X=L?L。

推论20:一个仿射全连接层(11)由(42)W=LQ?1V?L?,UV=CayleyYZ 参数化,其中 LQ=chol(Q),Y∈Rc×c,Z∈Rc?×c,满足(24)。

证明:证明的思路与 Pauli, Wang, Manchester 和 Allg?wer (2023, 定理5) 中的证明类似。我们将 V=L???Wl?LQ? 代入 U?U+V?V=I,得到 LQWlL??1L???Wl?LQ?=I?U?U?I,然后通过左右乘以 LQ?1/LQ??,得到 WlX??1Wl??Q?1,这通过两次舒尔补数得出(24)。

4.5 LipKernel 与 Sandwich 卷积层:在本节中,我们提出了一种基于 LMI 的方法来参数化利普希茨有界的 CNN,我们称之为 LipKernel,因为我们直接参数化了核参数。同样,Sandwich 层的参数化(Wang & Manchester, 2023)也是基于 LMI 的,即它也比使用正交层和具有约束谱范数的层具有更高的表达能力。在下文中,我们指出了 Sandwich 和 LipKernel 卷积层之间的区别,这些区别也在图3中进行了说明。

下载:下载高分辨率图像(174KB)
下载:下载全尺寸图像

图3. 使用 LipKernel(我们的方法)和 Sandwich 层(Wang & Manchester, 2023)在参数化复杂性和标准评估方面的区别。浅蓝色框代表图像,绿色框代表核。两种参数化方法 Sandwich 和 LipKernel 都使用 Cayley 变换,并且在训练时需要计算逆矩阵。然而,LipKernel 直接通过双射映射 (A,B,C,D)?K 参数化核参数 K,该映射由引理5给出。这意味着在推理时,我们可以从 (A,B,C,D) 构造 K,然后使用这个 K 来评估训练好的 CNN。使用 Sandwich 层(Wang & Manchester, 2023)则无法做到这一点。在推理时,Sandwich 层可以使用全图像大小的核或在傅里叶域进行评估。后者需要使用快速傅里叶变换和快速傅里叶逆变换,并且在推理时计算逆矩阵,这使得计算成本高于 LipKernel 层的评估。

我们注意到 Sandwich 需要使用圆形填充而不是零填充,而 Wang 和 Manchester (2023) 的实现只接受特定大小的输入图像,即 2n,n∈N0。在这方面,LipKernel 比 Sandwich 更灵活,它可以处理所有类型的零填充,并且考虑了池化层,而这些在 Wang 和 Manchester (2023) 中没有考虑。

5. 数值实验
5.1 推理时间:首先,我们比较了不同通道数、不同输入图像大小和不同核大小的 LipKernel、Sandwich 和 Orthogon 层在推理时的运行时间,这些层的权重是随机生成的。
- Sandwich:Wang 和 Manchester (2023) 提出了一种基于 LMI 的方法,使用 Cayley 变换,其中卷积层在傅里叶域中使用圆形填充进行参数化。
- Orthogon:Trockman 和 Kolter (2021) 使用 Cayley 变换来参数化正交层。卷积层在傅里叶域中使用圆形填充进行参数化。
平均运行时间显示在图4中。对于所有选定的通道、图像和核大小,LipKernel 的推理时间非常短(从<1毫秒到大约100毫秒),而 Sandwich 层和 Orthogon 层的评估时间慢两个到三个数量级,并且随着通道和图像大小的增加而显著增加(从大约10毫秒增加到超过10秒)。核大小对任一层的影响都不显著。

我们工作的一个特别动机是提高神经网络(NN)在实时控制系统中的鲁棒性。在这种情况下,这些推理时间的差异可能会有显著影响,无论是在可实现的采样率(100 Hz 对 0.1 Hz)还是反馈回路中的延迟方面。此外,计算(特别是 NN 推理)在移动机器人和其他“边缘设备”中消耗了大量电力(Chen 等人,2020年)。因此,显著减少 NN 的推理时间对于在电池供电系统中的使用是一个关键因素。

下载:下载高分辨率图像(358KB)
下载:下载全尺寸图像

图4. LipKernel、Sandwich 和 Orthogon 层在不同通道数 c=cin=cout、输入图像大小 N=N1=N2 和核大小 k=k1=k2 下的推理时间。对于所有层,步长都设为1,并对10次不同的初始化进行了平均。

5.2 准确性和鲁棒性比较:接下来,我们将 LipKernel 与另外三种开发用于训练利普希茨有界 NN 的方法在准确性和鲁棒性方面进行比较。特别是,我们将 LipKernel 与 Sandwich 和 Orthogon 以及 vanilla 和几乎正交的 Lipschitz(AOL)NN 进行比较:
- Vanilla:无约束的神经网络。
- AOL:Prach 和 Lampert (2022) 提出了一种基于重新缩放的权重矩阵参数化方法,以获得 1-利普希茨的 AOL 层。与 LipKernel 层类似,在推理时,卷积 AOL 层可以以标准形式进行评估。
我们在 MNIST 数据集(LeCun & Cortes, 2010)上训练分类 CNN,数据集大小为 32 × 32 图像,CNN 架构为 2C2F: c(16,4,2).f(100).f(10),2CP2F: c(16,4,1).p(av,2,2).f(100).f(10),其中 c(C,K,S) 表示具有 C 个输出通道、核大小 K 和步长 S 的卷积层,f(N) 表示具有 N 个输出神经元的全连接层,p(type,K,S) 表示‘av’或‘max’池化层。

在表1中,我们展示了干净准确率(即在未受干扰的测试数据上的准确率)、认证的鲁棒准确率以及在 ?2 投影梯度下降(PGD)攻击下的鲁棒性。认证的鲁棒准确率是一种衡量 NN 鲁棒性的指标,它表示在所有来自 ?-球体的扰动下仍能保持正确的测试数据点的比例。它是通过识别所有分类边际 Mf(x) 大于 2ρ? 的测试数据点来获得的,其中 ρ 是 NN 的利普希茨常数的上界(Tsuzuku 等人,2018年)。?2 PGD 攻击是一种白盒多步攻击,它通过在该点周围的 ?2 ?-球体内最大化损失来修改每个输入数据点(Aleks 等人,2018年)。在 ?2 PGD 攻击下的准确率表示被正确分类的受攻击测试数据点的比例。

首先,我们注意到 LipKernel 在通用性和灵活性方面表现更好,因为我们可以将其用于 2C2F 和 2CP2F 架构,而 Sandwich 和 Orthogon 仅限于 2n 的图像大小和圆形填充,AOL 不支持步长卷积。与 Sandwich 和 AOL 相比,LipKernel 在更高的干净准确率和更强的鲁棒性方面表现更好,其利普希茨界限为 1 和 2。然而,如上所述,LipKernel 在架构方面更灵活,并且在推理时间上有显著优势。

在图5中,我们绘制了 LipKernel 和其他方法在 2C2F 和 2CP2F 架构下相对于利普希茨下界的干净测试准确率。再次,我们看到 LipKernel 在准确性和鲁棒性方面都优于 Orthogon 和 AOL,并且性能相似。

表1. 使用 2C2F 和 2CP2F 架构和 ReLU 激活函数,经过20个周期训练后,三种方法的实证下界利普希茨界限、干净准确率、认证的鲁棒准确率和 ?2 PGD 攻击下的鲁棒性,每种方法平均了三次不同的初始化。

模型 方法 认证 UBEmp. LB 测试准确率 认证鲁棒准确率 ?2 PGD 攻击后测试准确率
Empty Cell Empty Cell Empty Cell Empty Cell Empty Cell Empty Cell
?=3 2C2F 22 1.79 9.0% 0.0% 0.0% 69.5%
?=7 25 55 61.9% 59.6%
?=10 82 94.6% 92.9% 91.0% 88.3%
?=1.0 83 76.5% 60.4%
?=2.0 25 96.6% 95.6% 94.3%
?=3.0 21 74.0 95.2% 93.8%
?=3.0 21 74.0 95.6% 93.6%
?=4 21 74.0 98.2% 67.8%

下载:下载高分辨率图像(187KB)
下载:下载全尺寸图像

图5. 2C2F(左)和 2CP2F(右)NN 在三种初始化下的鲁棒性准确率对比

6. 结论:我们介绍了 LipKernel,这是一种表达能力强且灵活的利普希茨有界 CNN 的参数化方法。我们对卷积层的参数化基于 Roesser 类型的二维状态空间表示,与傅里叶域中的参数化不同,它允许直接参数化卷积层的核参数。这反过来使得在推理时能够快速评估,使 LipKernel 特别适用于实时控制系统。我们的参数化满足逐层 LMI 约束,使得各个层逐步
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号