IDADP：一种基于区块链赋能的联邦学习、用于开发工业人工智能工具的以信息为驱动的敏捷框架

《Future Generation Computer Systems》：IDADP: An information-driven agile framework for developing industrial AI tools based on blockchain-enabled federated learning

　　夏振昭|张帅|李凯 中国湖北省武汉市华中科技大学土木与水利工程学院，邮编430074

摘要
敏捷开发为工业人工智能工具的快速原型设计及持续优化提供了可能，但仍有两大障碍：数据所有者不愿共享敏感资产，且需求模型需不断演变，同时不能容忍数据浪费或泄露。为应对这些挑战，我们提出了一种基于信息驱动的敏捷开发平台（IDAADP），该平台将联邦学习与区块链技术相结合，并通过明确的信息流重新定义了联邦学习流程。理论收敛机制阐明了关键训练信息如何在非独立同分布环境下引导优化过程，从而证明其相比现有调度算法能减少通信次数。基于这一见解，我们设计了开发预算分配算法和训练调度算法，根据实时需求信息和现实世界信息来分配带宽和任务额度。此外，我们还给出了最优局部到全局迭代比的上限值。在MNIST、CIFAR-10和NUS-WIDE数据集上的实验表明，该平台能在降低通信成本的同时提升模型精度。在建筑领域关键事件分析的案例研究中，IDAADP仅使用少量训练数据即可达到目标精度，且在整个流程中都能保障数据隐私，展现了如何将分布式工业数据转化为安全、高价值的人工智能资产。

引言
工业人工智能工具是一种专门用于特定工业领域、借助人工智能算法来完成任务和解决问题的软件应用。这类工具旨在自动化复杂流程[1]、分析大规模数据集[2]，并提升各领域的决策能力[3]。工业人工智能工具的工程价值在于其能够优化生产流程、提高产品质量并降低运营成本。通过引入人工智能驱动的解决方案，各行业可实现预测性维护[4]、实时监控[5]以及自适应控制系统[6]，进而提升效率与竞争力。例如，在制造业中，人工智能工具可提前预测设备故障，从而减少停机时间和维护成本；在建筑行业，人工智能则有助于项目规划与风险评估，确保项目按时按预算完成。总体而言，工业人工智能工具的广泛应用使各行业能够充分利用数据驱动的洞察力，推动创新与可持续发展。近年来，能源[7]、建筑[8][9]、机械[10]以及交通[11][12]等领域都采用了针对自身需求定制的人工智能解决方案。这些工具的快速发展使得市场变化和用户需求对系统的响应速度提出了更高要求。

敏捷开发旨在快速且全面地满足用户需求，采用迭代式开发方法[13]。在敏捷开发模式下，团队能够快速交付功能原型，并通过持续集成、持续交付和持续部署等流程不断改进产品[14]。这种方法使工具能够适应不断变化的需求，让原型更快推向市场，产品也能实时得到优化。将敏捷开发应用于工业人工智能工具的开发，可大幅提升效率，使产品更新更贴合市场变化和用户需求。然而，直接将敏捷开发理念应用于人工智能项目会带来传统软件开发所没有的复杂性。与传统系统具有明确输出结果不同，人工智能模型的开发面临着数据质量不确定、迭代周期非线性以及不同数据集间性能差异等问题。这些问题往往使得传统敏捷开发框架所强调的固定迭代周期和模块化交付方式难以适用。因此，与其强制实行固定的时间限制，不如从信息驱动的角度重新诠释“敏捷性”，以便灵活引导模型发展。

在工业人工智能工具的开发中应用敏捷开发还面临以下挑战：首先，这类工具的开发严重依赖于大量行业专属数据来训练高效的人工智能模型。但由于知识产权和竞争优势的考量，企业往往不愿共享自有数据。这种保守态度阻碍了敏捷开发中所需的协作，而多种数据源的持续整合本可加速开发进程。在金融和国防等敏感领域，数据隐私法规以及敏感信息泄露的风险进一步抑制了数据共享，导致数据孤岛现象，不利于强大的人工智能解决方案的开发。其次，敏捷开发依赖迭代式开发与不断演化的需求建模。在工业人工智能项目中，若对需求判断失误，可能会导致模型在不足或无关的数据上训练，进而造成资源浪费或数据泄露。例如，用于制造业预测性维护的人工智能工具，如果无法提取有效特征，就可能给出错误预测，带来安全隐患[4]。人工智能项目的动态特性要求需求建模方法既灵活又精准，以支持持续学习和适应。也就是说，在人工智能模型训练过程中，需要做到：第一，实现非侵入式数据使用，即数据所有者无需将现有数据传输到外部；第二，建立模型开发者与数据所有者之间的安全可靠通信渠道，以便明确相关的训练信息，并动态调整流程以满足敏捷开发需求；第三，现有的集中式信息系统或基于公共网络的平台难以同时满足数据安全与开发效率的要求[15]。从根本上说，如果数据所有者与模型开发者之间无法实现信息获取的均衡，那么就很难同时满足这两方面的需求。

为解决数据共享问题，非侵入式数据利用方法至关重要。联邦学习作为一种可行的解决方案，使得人工智能模型能够在保留本地数据样本的情况下，在分散的设备上进行训练，而无需实际交换数据本身[16]。这种方法能够保障数据隐私与安全，因为原始数据始终留在本地环境中[17]。例如，在医疗领域，联邦学习允许医院在不暴露个人病历的情况下，共同训练人工智能模型，从而在遵守隐私法规的同时充分利用集体智慧[18][19]。

在模型开发者与数据所有者之间建立安全可靠的通信渠道，对于明确训练参数以及动态调整流程以满足敏捷开发需求极为重要。区块链技术提供了一种去中心化的框架，能够确保数据的完整性与透明度。通过实施智能合约，相关方可以自动化且安全地交换模型更新信息与需求，降低数据被篡改的风险，同时增强各方之间的信任。例如，一系列能源企业可以通过基于区块链的平台安全共享匿名数据，用于训练优化能源分配的人工智能模型，确保所有参与方都遵循既定协议[20]。

尽管敏捷开发注重快速开发与灵活性，但将其与工业人工智能工具的开发相结合时，仍需在敏捷性与安全性之间找到恰当平衡。通过采用隐私保护计算技术，如同态加密[21]和安全多方计算[22]，可以在加密状态下处理数据，从而在计算过程中也保障数据保密性。不过，这些方法可能会增加计算开销，进而可能减缓开发进度。因此，有必要权衡安全措施与开发效率之间的关系，根据项目的具体需求和约束条件选择合适的方案。

为克服数据共享障碍并解决需求建模问题，我们提出了一种基于信息驱动的敏捷开发平台（IDAADP），该平台将联邦学习与区块链技术相结合，并通过创新的算法设计而非简单组合现有技术来实现目标。具体而言，IDAADP基于关键训练信息这一概念，该概念用于量化需求信息与现实世界信息应如何指导联邦学习超参数的调整。我们的技术贡献主要体现在四个方面：第一，我们将相关信息正式划分为需求信息、现实世界信息与关键训练信息三类，并推导出了由关键训练信息引导的收敛界限，明确了统计异质性项和梯度噪声的值。这一分析为局部更新与全局更新的最佳比例提供了封闭形式表达式，相较于以往的启发式调度方法更具创新性。第二，我们将这一理论转化为两种具体算法：一种是为开发预算分配算法，它能根据实时验证反馈动态估算所需的全局迭代次数；另一种是训练调度算法，它可根据测得的统计异质性项、梯度噪声值、带宽成本和同步成本来分配局部迭代预算。第三，我们将IDAADP实现为一个基于区块链的联邦学习框架，该框架通过智能合约在链上协调开发预算分配与训练调度工作，确保每个超参数决策的可重复性与可靠记录。第四，我们在MNIST、CIFAR-10和NUS-WIDE图像分类任务，以及一个真实的建筑领域关键事件分析系统中，对IDAADP进行了广泛测试。测试结果涵盖了准确率/平均精度均值、收敛速度、通信量以及统计显著性等指标。对比基准包括FedOpt、Oort算法以及不采用开发预算分配与训练调度功能的传统联邦学习系统。实验结果表明，IDAADP在准确率方面通常能缩小与集中式模型的差距90%以上，同时还能将通信次数减少34%。在建筑领域关键事件分析系统的案例研究中，我们提供了详细的评估指标和对比数据，证明所提出的方法确实能带来可量化的优势，而非仅仅是定性上的改进。

节选内容
敏捷开发
敏捷开发是一种通过迭代和渐进式循环推进的开发方法。它注重团队协作、快速适应变化以及持续交付有价值的软件产品。与传统瀑布式开发相比，敏捷开发更强调灵活性。它通过短周期的迭代来完成特定功能，并定期纳入反馈意见并进行调整。

在工业人工智能工具的开发过程中，人工智能项目常常面临各种挑战，比如……

关键训练信息对联邦学习的影响
在将联邦学习应用于人工智能开发实践之前，需要充分考虑现实世界中的目标与限制条件。开发目标包括对人工智能模型及其运行性能的具体要求，如功能能力、准确率、速度以及资源消耗等，这些都可以视为反映需求的信息。而限制条件则包括可用于模型训练的数据来源，可称之为现实世界信息。在分布式且无直接接触的环境中……

基于联邦学习的基于信息驱动的敏捷开发平台（IDAADP）
根据第3节的分析，我们已经了解了需求信息、现实世界信息与关键训练信息之间的内在关联，以及关键训练信息如何影响最终训练出的人工智能模型的性能。这些认知为我们构建这样一个平台提供了依据：该平台利用联邦学习与区块链技术来开发（训练）人工智能模型，其中联邦学习能够实现以数据为导向的无接触式训练，而区块链则能保障联邦学习过程及信息流转的安全性。此外，这样的平台还应符合敏捷开发的理念，具备足够的通信功能。

基于YOLO v8的基坑施工关键事件分析系统
在本节中，我们基于所提出的IDAADP平台，开发了一个用于基坑挖掘的关键事件分析系统。该系统采用了基于YOLO v8的计算机视觉任务模型，该模型被嵌入到现场监测系统中，可用于对施工过程中的关键事件进行实时分析。每个部署在现场的监测设备都能自动识别和跟踪视频流中的事件，并自主保存分析结果（见图5）。在系统开发过程中，所有数据……

IDAADP在不同驱动模式下的优势
第一，数据资产驱动模式：该模式旨在最大化从原始数据存储库到可部署智能系统的转换效率。对于拥有结构化数据资产的机构，该平台可通过系统化整合分散的数据源来助力人工智能开发。IDAADP会在保障数据主权的前提下，协调训练任务的分配，使其与真实数据模式相契合。在这种模式下，IDAADP利用联邦学习这一非侵入式框架来协调各项开发工作。

结论
所提出的IDAADP平台将联邦学习与区块链技术相结合。联邦学习实现了非侵入式的数据使用方式，而区块链则保障了通信的安全性与透明度。IDAADP引入了需求信息、现实世界信息以及关键训练信息等概念，这些概念能够动态影响模型训练过程，从而提升效率与精度。该平台还通过开发预算分配算法和训练调度算法来简化需求建模流程，降低相关风险。案例研究证明了IDAADP在数据保护与训练优化方面的有效性。不过，该平台也存在一定的局限性。

CRediT作者贡献说明
夏振昭：撰写——审阅与编辑，撰写——初稿，项目管理，方法论研究，数据收集，研究构思，资金申请。张帅：撰写——审阅与编辑，软件开发。李凯：撰写——审阅与编辑，结果可视化。

利益冲突声明
作者声明不存在任何可能影响本文研究成果的已知财务利益关系或个人关系。

致谢
本研究得到了“用于开发基于工业大型语言模型应用的敏捷开发范式、平台及方法”项目（项目编号：WKH20250221）的支持与资助。所有作者均已审阅并批准了本文的最终版本。