利用CKKS方案Functional Bootstrapping（FBT，函数自举）的同态神经网络评估

《Future Internet》：Homomorphic Evaluation of Neural Networks Using Functional Bootstrapping with CKKS

　　

本研究首次将新近发展的Cheon–Kim–Kim–Song(CKKS)方案的Functional Bootstrapping(FBT，函数自举)用于同态评估加密神经网络。FBT相较于以往同态评估非线性激活函数的方法，其优势在于将Bootstrapping(自举)与同态函数评估相结合。为此，研究人员将CKKS的FBT推广至实数输入，通过在全体定义域[0,1]（原文为区间记号）上评估一阶Hermite插值函数而不仅是在插值点上。对于Sigmoid函数，为兼顾CKKS内部负数表示方式及三角插值的收敛性，研究人员将以平移与反射Sigmoid函数拼接得到的连续周期函数作为FBT的输入函数。实验结果表明：在128位安全级别下，使用含100个隐藏神经元的全连接神经网络对MNIST测试集进行分类，获得97.33%的准确率，相对于基于Hermite插值的明文对照模型相对损失为0%；单张图像摊销时间约1.66 s，内存消耗约201 GB。

《利用CKKS方案Functional Bootstrapping实现同态神经网络评估》论文解读

本文发表于《Future Internet》，研究对象为将Cheon–Kim–Kim–Song(CKKS)同态加密(Homomorphic Encryption, HE)方案中新提出的Functional Bootstrapping(FBT，函数自举)技术首次应用于同态加密域下的神经网络推理(Privacy-Preserving Machine Learning, PPML，隐私保护机器学习)，重点解决CKKS方案中非线性激活函数（如Sigmoid）难以高效同态评估且需单独自举(Bootstrapping)刷新生津噪声的问题。

研究背景与动机：

全同态加密(Fully Homomorphic Encryption, FHE)允许直接对密文进行计算而无需解密，基于Learning With Errors(LWE)或Ring-LWE(RLWE)问题的FHE方案被认为可抵抗量子攻击。CKKS方案是近似同态加密方案，支持复数向量加密及单指令多数据(SIMD)打包，适合实数值神经网络计算；但其同态乘法引起噪声增长，需Bootstrapping刷新密文模数以维持计算深度。传统做法用低次多项式（如Minimax多项式）近似ReLU或Sigmoid，会消耗乘法深度且仍需额外Bootstrapping，成为深层网络瓶颈。TFHE方案提出了Functional Bootstrapping可通过查找表(Look-Up Table, LUT)同时完成函数求值和自举，近期[11]给出了CKKS上FBT的蓝图（原针对系数编码BFV密文及整数输入）。本文动机即扩展CKKS-FBT至实数输入，将其用作神经网络Sigmoid激活函数的同态求值兼自举，以减少深度消耗并提高精度。

关键技术方法：

研究人员基于sec-ckks（OpenFHE分支）实现CKKS-FBT，采用环维数(ring dimension)N=2¹⁶，128位安全参数，FIXED_MANUAL缩放模式，SPARSE_TERNARY密钥分布。构造p周期连续拼接函数f(x)近似Sigmoid：当x∈[0,p/2]取σ(x?p/2)，当x∈[p/2,p]取1?σ(p?x?p/2)，以匹配CKKS负数用模q上半区间表示的特性。FBT流程含ModRaise提模→CoeffToSlot系数列槽→EvalExp用N阶三角Hermite插值多项式T近似f（满足T(k·p/N)=f(k·p/N), k=0,…,N?1）→SlotToCoeff槽回系数，同步消除溢出并刷新密文。明文网络用PyTorch训练MNIST数据集（784-隐层-10全连接，Sigmoid激活，Adam优化器），加密推理加载明文权重，线性层用明文对角矩阵与密文旋转及逐点乘法，隐藏层激活调FBT评估f。FBT周期参数p按首层权重矩阵输出L₁范数上界两倍取值（最终统一取p=16）。基线对照含：明文Sigmoid模型、明文Hermite插值模型（同f插值核）、传统9次多项式近似Sigmoid密文推理。

研究结果：

6.1. Accuracy（准确率）：

FBT-CKKS-30（30隐神经元）准确率95.71%，相对Hermite明文模型损失0.48%；FBT-CKKS-60为96.69%（损失0.32%）；FBT-CKKS-100为97.33%（损失0%）。Hermite明文模型相对原Sigmoid明文模型无精度损失，故加密模型微小损失源于同态运算误差增长（矩阵旋转、密钥切换及FBT内高深度乘法与重线性化）。分类一致率(Agreement Ratio)分别达99.29%、99.47%、99.75%。

6.2. Amortised Runtime and Memory Consumption（摊销运行时间与内存消耗）：

128位安全下FBT-CKKS-30单图摊销时间1.52 s、内存≈201 GB；FBT-CKKS-100为1.66 s、内存≈201 GB。80位安全时30神经元模型降至1.38 s及95.84 GB内存。因两架构共享相同CKKS参数及FBT开销（库暂仅支持全槽打包），总时间差异小，主导项为首层线性运算与FBT。

6.3. FBT Versus Polynomial Sigmoid Approximation（FBT与多项式Sigmoid近似对比）：

30神经元架构下，128位安全时9次多项式近似密文推理（需乘深度14）对前100张MNIST测试图准确率94.85%，同期CKKS-FBT（需乘深度23）达98.77%。明文域9次多项式对Sigmoid网络近似准确率亦仅94.85% vs Sigmoid 98.33%。多项式在低次时无法在整个预激活值区间良好近似Sigmoid，且CKKS截断效应使小系数项在密文域失真；FBT通过三角Hermite插值直接在消息空间近似并同步自举，精度更高。作者指出多项式法深度更浅故单层时略快，但多层网络中FBT可刷新密文，理论上可用固定深度（文中称23级）评估任意层数Sigmoid网络。

讨论与结论翻译总结：

所有加密模型维持高绝对准确率，源于Hermite明文模型高保真度及高分类一致率；30与60神经元模型轻微精度降归因于同态误差增长而非插值近似误差（Hermite明文无降点）。相比文献[12]基于TLWE离散化权重的方案，本文CKKS-FBT支持实值权重故无先验离散化损失，绝对准确率和相对损失均更优。运行时间两架构接近，受同一CKKS参数支配；128位安全带来内存陡增（≈201 GB），是实际部署权衡点。FBT将激活函数求值与自举合一，多层网络下有望仅用恒定乘法深度完成深层Sigmoid网络推理，是PPML中CKKS-FBT的重要前景。

结论：本研究首次将CKKS-FBT用于全连接神经网络同态推理，扩展原FBT至实数输入并构造适配CKKS负数表示的p周期Sigmoid近似函数f。实验表明100隐神经元架构加密推理准确率与明文Hermite模型持平（97.33%，相对损失0%），证明CKKS-FBT是PPML中同态评估神经网络激活函数的可行方案。未来可拓展至ReLU、更深或卷积架构（如ResNet-20），以及预计算Hermite系数、支持稀疏槽打包、改进缩放技术与大输入FBT算法。