《Future Generation Computer Systems》：Optimizing AI Development Efficiency Through MLOps and Security Integration: A Measurement Approach Using Data Envelopment Analysis (DEA)
编辑推荐：
Adi Saputra等人通过数据包络分析（DEA）研究MLOps与安全集成（MLSecOps）对AI开发效率的影响，发现整合安全到自动化流程能显著提升效率（DEA效率达1.0），减少30-40%人力投入和25%开发时间，同时增强系统可靠性和扩展性。
阿迪·萨普特拉（Adi Saputra）|埃尔玛·苏里亚尼（Erma Suryani）|努尔·阿伊尼·拉克马瓦蒂（Nur Aini Rakhmawati）
印度尼西亚苏拉巴亚十月十日技术学院（Institut Teknologi Sepuluh Nopember Surabaya）的跨学科管理技术学院（Interdisciplinary School of Management Technology）
摘要
人工智能（AI）在工程行业中的日益广泛应用加剧了开发速度与安全性之间的权衡。尽管机器学习运营（MLOps）有助于自动化和扩展，但它们往往被视为对工作流程的限制，从而减慢了AI项目的进展。关于安全集成对开发效率影响的定量证据几乎不存在。
为了量化MLOps和安全实践（MLSecOps）的系统级评估框架，研究人员使用数据包络分析（Data Envelopment Analysis, DEA）来评估AI开发的效率。八个AI项目被作为决策单元（Decision Making Units, DMUs）进行评估，这些项目在标准工作流程和集成的MLSecOps流程下进行了测试。DEA模型考虑了六个输入变量，包括开发时间、训练时间、数据集规模、计算资源、人力投入，以及三个输出变量：性能、鲁棒性和运行速度。
根据恒定和可变规模回报的结果，所有MLSecOps流程都达到了满分效率，而传统工作流程的效率明显较低。Slack分析表明，自动化和持续的安全集成可以将人力投入减少30-40%，开发时间减少约25%。结果表明，在自动化的MLOps（MLSecOps）流程中嵌入安全措施有助于提高效率、鲁棒性和可扩展性，同时不会影响性能。
引言
AI/ML指的是人工智能（Artificial Intelligence）和机器学习（Machine Learning）。如今，许多行业、企业和组织都在利用AI/ML的快速发展。AI和ML的广泛采用得益于其在解决复杂问题、推动产品创新和提供卓越客户价值方面的优势。尽管AI/ML开发非常受欢迎，但它并非没有挑战。开发者需要监督庞大的数据流程，确保模型的可扩展性，并在不同环境中复现模型效果。数据工程占机器学习工作流程的99% [1]。
AI/ML开发与部署的效率是任何AI解决方案成功和可扩展性的关键因素。提高开发吞吐量可以减少模型训练的停机时间、浪费和成本。此外，如果系统不足，将使创新变得不可行，并推迟AI解决方案在现实世界中的应用。为了解决这些问题，我们需要快速创建AI的方法，以确保性能或可靠性不受影响 [2,3]。
传感和测量技术的最新进展也凸显了同时评估复杂参数的必要性。例如，最近的研究提出了基于负载依赖性的传感器数量确定的多目标优化策略 [4]，以及用于结构健康监测的具有冗余性的非概率多目标优化和传感器放置算法 [5,6]。受这些先进的多变量优化策略启发，数据包络分析（DEA）提供了一种有前景的系统级评估方法。
在这种情况下，数据包络分析（DEA）提供了一种有前景的系统级评估方法，因为它能够无需预先定义的生产函数即可比较评估复杂的多输入-多输出过程。然而，现有文献中尚无能够通过MLOps提高AI/ML开发效率的集成框架。本研究的主要研究目标包括：
- •
本研究旨在利用DEA评估AI/ML开发的效率，定量评估性能的鲁棒性及所使用资源的状况。
- •
分析自动化安全集成对MLOps流程工作流程的影响，重点关注系统层面的开发效率、资源分配和运行鲁棒性。
鉴于这些不足，本研究提出了一个整合MLOps和安全实践（MLSecOps）的定量评估框架，并使用DEA评估其对AI开发效率的影响。现有研究分别讨论了MLOps或AI安全，但缺乏关于将安全集成到自动化MLOps流程中如何影响开发效率和资源利用的定量系统级证据。
本研究的贡献有三个方面：首先，它提出了一个基于DEA的定量框架，用于评估作为集成AI系统的MLOps和MLSecOps流程的效率；其次，它提供了实证证据，展示了安全集成对实际AI项目中开发效率、资源利用和鲁棒性的影响；第三，它将定量效率结果转化为可操作的见解，以用于设计、自动化和管理安全的MLOps工作流程。
章节摘录
工业领域AI开发概述
多年来，人工智能（AI）和机器学习（ML）经历了重大变化。AI和ML通过改变行业标准彻底改变了各个行业。
随着AI和ML的加速发展，各行各业都实现了数字化转型。它们优化了制造和供应链管理，还有助于预测设备和车辆的维护需求。
研究设计
本文采用数据包络分析（DEA）作为评估不同项目实施AI开发效率的比较模型 [30]。预计集成安全功能的MLOps将影响效率、性能和资源利用。数据集包含了采用两种方法完成的AI开发项目：传统的AI开发方法以及结合MLOps和安全集成的AI开发方法。通过比较这两种方法，本研究有助于……
结果
本章解释了使用DEA对集成安全MLOps框架进行定量分析的结果。测量涵盖了8个决策单元（DMUs），比较了集成框架与传统开发方法的效果。输入变量包括开发时间（130-210小时）和训练时间（50-180小时）等全生命周期消耗指标。
讨论
在AI开发中实施MLOps流程和安全措施比什么都不做要高效得多。为了全面评估各项指标，DEA方法在基准测试AI流程方面表现出高效性和数学准确性。该方法无需预先定义的参数方程，就能有效处理多输入和多输出约束，准确地界定了效率边界。
结论
本研究结果表明，具有安全意识的MLOps流程不应被视为可选的附加组件，而应是可扩展且可靠AI系统的基础组成部分。随着AI部署规模和复杂性的不断增加，将自动化和安全集成到MLOps工作流程中将成为维持实际环境中效率、鲁棒性和运行可靠性的前提条件。
根据数据包络分析（DEA）的报告……
未引用的参考文献
[[50], [51], [52]]
资金支持
本文的撰写和发表未获得任何组织的财务支持。
CRediT作者贡献声明
第一作者（阿迪·萨普特拉）负责数据收集、初步分析和手稿起草；第二作者（埃尔玛·苏里亚尼教授）负责监督、修订和定稿；第三作者（努尔·阿伊尼·拉克马瓦蒂教授）对稿件进行了严格审查，并提供了重要的内容改进建议。
生成式AI使用声明
生成式AI工具仅用于文本编辑，包括语法、拼写和句子结构的改进。没有使用AI工具生成科学内容、数据、图表或艺术作品。
CRediT作者贡献声明
阿迪·萨普特拉：数据分析、概念化。
埃尔玛·苏里亚尼：监督。
努尔·阿伊尼·拉克马瓦蒂：内容验证和监督。
