基于云的神经网络模型训练的完整性验证

《Neurocomputing》：Integrity verification of cloud-based neural network model training

　　徐光伟|何世飞|冯云轩|罗欣|冯向阳|甘扬兰
中国上海201620，东华大学计算机科学与技术学院

摘要
基于云端的模型训练已成为深度神经网络中普遍采用的策略。然而，不完整的训练可能会导致模型出现偏差或输出错误结果。尽管近年来出现了许多旨在保护隐私且可验证的机器学习训练方案，但这些方案大多侧重于保护训练数据与模型本身，或确保模型推理的可验证性，而忽视了模型训练的完整性问题。为解决这一问题，本文提出了IVPNet，一种用于云端神经网络模型训练的兼具完整性与隐私保护的验证方案。在训练过程中，该方案利用可信执行环境生成轻量级的可验证承诺，从而在保障训练数据及模型参数保密性的同时实现完整性验证。此外，该方案还采用了高效的验证机制，使得用户无需依赖可信的云服务器即可有效验证模型训练的完整性。理论分析与实验结果表明，所提出的方案既能满足模型训练完整性验证的隐私保护需求，又能比现有最先进方案降低49%以上的验证开销。

引言
近年来，机器学习在图像识别[1]、推荐系统[2]以及机器翻译[3]等实际应用领域得到了广泛应用。其中，神经网络因其强大的表征能力和出色的预测性能，已成为最突出的学习框架之一[4]。尽管神经网络模型的性能优异，但其训练过程需要大量的计算资源与时间[3]。因此，许多用户（如医院、中小企业以及个体研究人员）由于计算能力有限，往往难以独立完成神经网络模型的训练。为解决计算资源不足的问题，将模型训练外包给强大的云服务器已成为一种可行的解决方案。目前，谷歌、亚马逊和微软等知名服务提供商都已推出了基于云端的机器学习即服务平台。

基于云计算的深度神经网络模型训练可能存在威胁模型训练完整性的风险。已有研究表明，恶意行为者可通过引入对抗性扰动或污染数据来干扰训练过程，这可能影响模型的性能与可靠性。此外，不安全的训练方式还可能导致模型产生偏差或输出错误结果[5]。这些现象表明，一旦模型训练过程遭到破坏，用户就无法再信任最终生成的模型。因此，确保模型训练的完整性对于保障机器学习系统的可靠性至关重要。本文主要关注模型训练的完整性问题。同时，由于训练后的模型属于需要投入大量成本的专有资产，且必须防止其被泄露，因此训练数据与模型的隐私保护也亟需重视。正因如此，如何在保证隐私的前提下实现模型训练的完整性验证，已成为当前的研究热点[6]。

为验证云端模型训练的完整性，即确保云端能够按照用户要求完整地执行训练过程，一些研究者提出了交互式验证机制[7][8]。然而，这类方法要求用户在模型训练期间保持持续在线状态，这不利于其在大规模训练等现实场景中的应用。为克服这一限制，后续研究提出了非交互式验证机制。不过，这类方法要么仅适用于模型推理阶段的验证[9][10][11]，要么依赖于复杂的加密技术或双云平台，从而导致较高的计算与通信开销[6][12][13][14]。基于可信执行环境的技术[15][16][17][18]在保障一定程度的完整性与隐私性方面具有优势，但仍然存在较高的计算开销问题。此外，一些研究者还将安全多方计算与同态加密技术融入到交互式与非交互式验证机制中，以在模型验证过程中保护数据隐私[19][20][21][22][23][24][25][26][27][28][29]，但由于这类技术的计算能力有限，难以满足复杂模型训练验证的需求。

为解决上述问题，我们提出了一种用于云端神经网络模型训练的兼具完整性保护与隐私保护的验证方案——IVPNet。该方案无需用户在模型训练验证期间保持在线状态，也无需使用双云平台，从而大大降低了参与方的负担，同时实现了模型训练的完整性验证与隐私保护。本文的主要贡献如下：
1）为了使单个云服务器能够实现对模型训练的持续监控与完整性验证，同时减少传统双云平台外部交叉检查所带来的计算与通信开销，本文提出了基于TEE技术的轻量级单云平台承诺链机制。
2）针对神经网络训练过程的高度动态性，以及由于验证标签持续更新而产生的复杂依赖关系，本文提出了一种基于公钥的动态验证标签生成方法。通过引入非线性运算特性，该方法能够实现对模型训练过程中关键步骤（如前向传播与后向传播）的完整性验证。
3）为弥补传统模型训练完整性检测方法的不足，本文提出了一种结合随机扩展与标签聚合的验证方法。该方法不仅能验证训练过程的完整性，还能降低验证开销。
4）安全分析表明，所提出的方案不仅能够验证模型训练的完整性，还能在验证过程中保护模型隐私。将该方案应用于实际模型与数据集后的实验结果，进一步证明了其实用性与可行性。

本文的其余结构如下：第2节简要概述了模型训练的可验证性及验证过程中的隐私保护问题；第3节介绍了本文所采用的一些技术基础；第4节阐述了问题描述，包括系统模型、威胁模型与设计目标；第5节详细介绍了所提方案的实现方式，并对安全性进行了分析；第6节评估了该方案的性能；最后，第7节对全文进行了总结。

片段摘录
**模型训练的完整性验证**
在研究的早期阶段，主流方法是通过交互式机制来验证模型训练的完整性。郭等人[7]提出了一种可验证的集中式聚合方案，需要服务器与数据所有者之间频繁交互，以确认训练过程是否按正确方式执行。此后，VerifyNet[8]引入了同态哈希机制，使服务器能够向客户端交互式证明其未对数据进行处理。

**技术基础**
本节主要介绍本文所使用的同态加密系统技术基础以及模型训练验证机制。

**系统模型**
系统模型由两个实体组成，即用户与云服务器。用户拥有数据集与目标模型，但由于本地资源有限或出于计算效率与成本控制等实际考虑，用户会将神经网络模型的训练任务委托给功能强大的云服务器。作为模型训练的执行者，云服务器负责接收用户的任务并执行指定的模型训练操作。

**概述**
在神经网络模型的训练过程中，参数需要经过多次优化迭代才能逐渐逼近最优解。本文研究了云计算环境中的模型训练完整性验证问题，重点在于在保障用户模型与数据隐私不被泄露的同时，验证模型训练的正确性与完整性。为实现上述目标，本文提出了一种兼具完整性保障与隐私保护的解决方案。

**性能分析**
为评估所提出的IVPNet在验证模型训练完整性方面的有效性，本文从系统架构与隐私保护机制两个方面，选取了几种具有代表性的隐私保护型机器学习方案作为对比基准。随后通过理论分析与实验评估相结合的方式进行了全面比较。值得注意的是，所选的基于双云架构的隐私保护型SVM训练方案也进行了对比分析。

**结论**
本文旨在解决云端环境中神经网络模型训练过程中的完整性验证与隐私保护难题。为此，本文提出了一种高效的隐私保护型训练完整性验证方案。该方案可在单个云服务器上实现，无需用户实时参与，用户只需在从云服务器获取训练完成的模型后，即可对其完整性进行验证。

**作者贡献声明**
徐光伟：撰写——审稿与编辑、撰写——初稿、方法论、概念设计。何世飞：撰写——初稿、可视化、数据整理。冯云轩：可视化。罗欣：撰写——审稿与编辑。冯向阳：撰写——审稿与编辑。甘扬兰：撰写——审稿与编辑。

**利益冲突声明**
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：徐光伟表示获得了上海市自然科学基金的资金支持。其他作者则声明没有已知的可能影响本文工作的财务利益或个人关系。

**致谢**
本研究得到了上海市自然科学基金（编号19ZR1402000）、上海市教育科研项目（编号C160076）以及国家自然科学基金（编号61772128）的支持。徐光伟是中国上海东华大学计算机科学与技术学院的教授，其研究兴趣包括远程数据存储、数据完整性验证、模型训练完整性验证、数据共享中的隐私保护、可搜索加密、传感器网络与车联网的QoS与路由技术。电子邮箱：[e-mail]