面向结构化AI开发生命周期的增强型MLOps框架:从需求定义到实施时机

《Future Generation Computer Systems》:From what to how and when: Implementing an enhanced MLOps framework for a structured AI development lifecycle

【字体: 大 中 小 】 时间:2026年09月21日 来源:Future Generation Computer Systems 6.2

编辑推荐:

  摘要专业翻译 当前,公共部门中的人工智能(AI)解决方案往往以碎片化的方式开发,限制了其在不同组织间的可迁移性,凸显了对能够简化AI开发流程的方法论的需求。为此,监管机构引入了界定AI系统所需特性的标准,而近期研究也呼吁采用综合性方法来指导这些需求在整个AI生

  
摘要专业翻译 当前,公共部门中的人工智能(AI)解决方案往往以碎片化的方式开发,限制了其在不同组织间的可迁移性,凸显了对能够简化AI开发流程的方法论的需求。为此,监管机构引入了界定AI系统所需特性的标准,而近期研究也呼吁采用综合性方法来指导这些需求在整个AI生命周期中的整合。然而,现有方法往往停留在较高层面,忽视了将原则转化为底层实现以及衔接流程视角与技术视角的挑战。此外,AI生命周期阶段的粒度水平不利于AI系统的模块化——而模块化恰恰能够支持新实现方案的便捷集成以满足系统需求。为应对这些挑战,本文通过引入支持AI产品模块化开发和复用的显式操作,对AI生命周期进行了增强。研究人员提出一个结构化框架,该框架在AI生命周期的不同阶段将系统级目标操作化,同时系统性地利用现有工具包。具体而言,该框架通过弥合监管目标与技术实施之间的鸿沟来实现跨领域需求的操作化,明确阐明AI产品满足哪些需求、如何实施这些需求,以及在生命周期中何时应予以处理。通过促进模块化和可复用性,该框架支持AI产品的系统化开发和适配,从而支撑其在公共部门组织中的规模化推广和成本效益型采用。一项与十位AI研究人员和工程师共同开展的探索性研究为该框架提供了初步反馈。最后,两个概念验证用例展示了其实际适用性。

论文解读文章

一、研究背景与问题

人工智能(AI)在各领域尤其是公共管理中正经历快速增长,能够改善决策过程、提升运营效率并促进公共服务供给。公共管理部门的一个显著特征是不同组织间的流程和操作具有相似性,这为AI解决方案的复用和推广创造了有利条件。然而,实现这一目标面临诸多挑战:一方面,AI解决方案的交付具有内在复杂性,源于技术本身的复杂性以及数据持续演变的特性;另一方面,公共管理部门在更大程度上面临专业知识和技能缺口、组织层面的实施挑战,以及设计、部署和监控AI系统时架构支持不足等问题。这些因素导致AI解决方案在公共部门的复用水平较低,而多项欧洲指令和意大利法规均鼓励并强制要求信息、数据和完整解决方案的共享与复用。
此外,公共管理部门开发和部署AI产品还需考虑监管合规性和AI可信度方面的问题。公共组织往往缺乏明确定义的程序来系统化地开发、验证和自动化评估隐私、公平性、资源约束和性能质量等关键特性,以符合现有法规和政策。将这些行动显式化、可追溯和可问责,并将其与监管要求关联,对于公共管理部门将AI驱动的创新引入其流程至关重要。
现有方法从两个角度应对这些挑战。第一,国际AI监管机构侧重于建立指南和原则,以解决AI开发和部署的特定方面,如透明度、适应性和伦理考量。这些指南虽然定义了构建合规AI解决方案的层次,但停留在较高的抽象层面,缺乏必要专业知识时难以操作化。第二,业界提出了多种支持AI产品开发和执行互补活动的解决方案,如数据与模型质量验证、模型输出过滤等软件库和框架,但其使用往往碎片化或过于专门化,与监管设置和需求的关系常常不明确。
现有框架如TOP方法论、capAI、Z-inspection、ECCOLA、POLARIS、OOD-BC和TAII等,在将AI需求原则转化为实践方面各有不足:有的生命周期粒度停留在阶段层面,有的未能提供整体视角,有的未能与现有工具包有效衔接。总体而言,尚无现有框架或方法提供一种策略,将可操作的AI生命周期操作与AI系统必须遵守的所有相应需求对齐,且从生命周期视角看,需求实施和验证的自动化水平较低。

二、研究内容与核心贡献

针对上述问题,研究人员提出对参考MLOps生命周期进行修订,以提供更高的操作粒度和模块化水平。具体而言,该研究实现了四个目标:第一,用具有明确执行语义的显式操作丰富生命周期模型,促进底层流程的自动化;第二,展示质量、公平性、优化、适应性、隐私和透明度等相关跨领域需求如何被操作化并与增强后的AI生命周期操作对齐;第三,展示现有实现库和工具如何与该分类体系关联,为这些解决方案在不同情境下的模块化复用铺平道路;第四,展示如何利用现有解决方案和工具实现这些操作,促进不同领域中可复用操作、模块乃至管线的创建。
该框架采用矩阵式设计:水平轴代表AI生命周期的三个阶段——数据准备、建模和运营化,细分为15个显式操作;垂直轴代表AI系统必须满足的需求维度。框架将实施程序组织到矩阵中,使AI开发阶段与相应需求对齐,每个程序封装利用特定库的代码,在AI产品生命周期的特定操作期间执行。该框架的核心创新在于:通过显式操作定义实现模块化开发,通过需求与操作的矩阵映射实现跨领域需求的操作化,通过关联现有开源工具库实现技术方案的系统化集成,从而弥合监管目标与技术实施之间的鸿沟。

三、关键技术与方法

研究人员采用了多项关键技术方法。框架将AI生命周期划分为数据准备、建模和运营化三个阶段,细分为数据画像、数据验证、数据预处理、数据文档化、特征工程与选择、模型训练、模型评估、模型验证、模型文档化、模型部署、模型监控、生产数据监控、系统监控、推理前转换和推理后转换共15个显式操作。每个操作定义了明确的输入输出工件类型,包括数据、模型、报告、配置、状态、文档、函数、服务和日志。框架实现采用声明式YAML规范定义操作和工件,以Python类表示工件,采用原子化模块化代码实现,并提供全面的技术文档。此外,框架集成了开源工具库目录,如fairlearn、AIFairness360、holistic.ai用于公平性,evidently.ai、alibi-detect用于适应性,model-card-toolkit用于透明度等。研究还开发了基于Streamlit的图形化界面,并支持与DigitalHub和Google Vertex AI等云原生MLOps平台集成。

四、研究结果

4.1 概念验证用例一:基于表格数据的分类模型
第一个用例是用于招聘候选人筛选的分类模型,该应用属于欧盟AI法案附件III中的高风险应用。研究人员利用holistic.ai库实施公平性相关程序,包括数据验证阶段的'data_validation_demographics_qty'、预处理阶段的'preprocess_reweighing'和训练阶段的'in_process_bias_mitigation_training'。模型评估阶段实施了公平性指标的两类评估:结果平等类别中估计统计均等和差异影响,机会平等类别中计算均等机会差异(EOD)。推理后阶段采用均等化几率方法进行偏差缓解。适应性维度利用Evidently库检测数据和概念漂移。部署程序利用KServe引擎实现可扩展的模型服务。该用例还展示了端到端的监管可追溯性,将数据画像操作与欧盟AI法案第10(2)条关于训练数据集偏差检查的要求显式关联。
4.2 概念验证用例二:公共服务交付中的聊天机器人
第二个用例涉及文本数据,将框架应用于支持大语言模型操作(LLMOps)。该用例基于常见问题(FAQ)集合作为训练和评估数据,用于构建公共服务聊天机器人,帮助公民在信息密集的政府网站中找到答案。该用例验证了框架对文本数据模态和LLMOps场景的适用性。
4.3 探索性用户研究
研究人员与十位AI研究人员和工程师开展了探索性研究,为该框架提供了初步反馈。研究结果验证了框架在实际AI产品开发中的实用价值,支持其减少产品上线时间的目标。

五、讨论与结论

讨论部分指出,该框架通过提供更细粒度的操作层级和显式的需求-操作矩阵映射,解决了现有方法在操作粒度、模块化和工具集成方面的不足。框架采用双重方法面向AI实施和验证,既帮助AI开发者显式透明地声明和实施所有需求,又通过将需求嵌入AI生命周期的每个操作,将质量保证、透明度、公平性等作为AI系统的内置和基于证据的属性,而非事后考虑。框架通过负责任地工程化AI解决方案,解决了公共部门AI解决方案复用性有限的问题。
研究结论表明,该框架通过促进模块化和可复用性,支持AI产品的系统化开发和适配,从而支撑其在公共部门组织中的规模化推广和成本效益型采用。框架将监管目标与技术实施之间的鸿沟显式化,明确了AI产品满足哪些需求、如何实施以及何时在生命周期中予以处理,为公共部门AI系统的合规开发和可信部署提供了结构化路径。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号