编辑推荐:
机器学习(Machine Learning, ML)在工业环境中的采用受到设计、部署和维护ML流水线复杂性的阻碍,尤其是对于缺乏专业知识的组织而言。本工作提出LAREDOMLOps,一个基于开源机器学习运维(Machine Learning Operation
机器学习(Machine Learning, ML)在工业环境中的采用受到设计、部署和维护ML流水线复杂性的阻碍,尤其是对于缺乏专业知识的组织而言。本工作提出LAREDOMLOps,一个基于开源机器学习运维(Machine Learning Operations, MLOps)的平台,旨在为非专家用户简化ML模型生命周期的核心阶段——从数据预处理和训练到模型注册和部署。该系统提供图形界面(Graphical User Interface, GUI),抽象工作流复杂性,使预测流水线能够作为可复用服务进行创建、训练、注册和部署。LAREDOMLOps支持两种使用模式:(i)基于自动化机器学习(Automated Machine Learning, AutoML)的自动化方法,用于快速生成流水线;(ii)利用scikit-learn的手动配置模式,面向中级用户。该平台包括用于版本控制和可复现性的模型注册表(model registry),并通过REST/GRPC端点暴露已训练模型,以便集成到外部系统。此外,它集成LaredocMind,一个对话助手(conversational assistant),提供上下文指导和解释,以提高可用性并降低学习曲线。通过结合可用性、模块化设计和MLOps最佳实践,LAREDOMLOps降低了工业人工智能(Artificial Intelligence, AI)采用的门槛,尤其是在资源受限环境中。
论文解读:LaredoMLOps——面向非专家用户的开源MLOps平台
来自Universidad de Cantabria的Ricardo Dintén与Marta Zorrilla围绕机器学习(Machine Learning, ML)在工业环境中落地困难的问题,提出并介绍了LaredoMLOps。原文指出,ML虽能从大规模、异构和领域特定数据中发掘隐藏模式并生成可操作洞见,但其设计、训练、部署与维护高度依赖专门知识;许多领域专家缺乏数据驱动方法所需的技术技能,只能依赖数据科学家,限制了数据科学的民主化。自动化机器学习(Automated Machine Learning, AutoML)与机器学习运维(Machine Learning Operations, MLOps)被视为降低技术负担的途径,但现有工具存在权衡:云厂商生态方案易形成供应商锁定并依赖按需付费;专用商业平台多为专有许可且部分仍需编码;工作流工具在免费版本中常限制部署、监控和版本控制等关键MLOps阶段。另一些开源方案中,BESSER侧重代码生成,Weka缺少版本控制与部署能力。基于此,研究人员旨在开发轻量、可访问、完全开源且可本地部署的平台,支持ML生命周期核心阶段而不设财务壁垒,使用户能在自有基础设施中实验、学习和部署模型。LaredoMLOps通过整合并编排先进开源技术,降低工业人工智能(Artificial Intelligence, AI)采用门槛,尤其在资源受限环境中具有意义。
关键技术与方法(不超过250字):平台以Python REST API为后端,采用scikit-learn、PyTorch与AutoGluon构建ML与深度学习(Deep Learning, DL)模型;以MLflow进行实验跟踪、模型注册与产物存储;以KServe在Kubernetes上创建InferenceService(推理服务对象),并通过REST/GRPC(Representational State Transfer/GRPC)提供推理;各组件以Docker镜像与Helm chart交付,前端采用React。AI助手基于LangChain构建检索增强生成(Retrieval-Augmented Generation, RAG)系统,支持商业API与本地开放权重模型。可用性评估招募14名硕士生(8名计算、3名计算机工程、3名软件工程),完成9项预定义任务,采用系统可用性量表(System Usability Scale, SUS)与NASA任务负荷指数(NASA Task Load Index, NASA-TLX)测量;示例数据来自Kaggle的10000条模拟信用卡交易。
研究结果:
2.1 软件架构:原文通过架构说明指出,LaredoMLOps由后端、AI助手和前端三部分组成;后端以Python REST API承载训练、日志与部署逻辑,连接MLflow跟踪实验并将日志存入关系数据库、产物存入对象存储,部署时创建KServe InferenceService。该架构通过Docker与Helm交付,支持连接外部MLflow/对象存储或部署本地版本,兼顾开发测试与生产部署;当前采用Kubernetes原生服务模式,默认为单Pod副本以减少本地资源消耗,服务层解耦并可通过集群级水平Pod自动扩缩容(Horizontal Pod Autoscaling, HPA)或KEDA(Kubernetes Event-driven Autoscaling)扩展。
2.2 软件功能:原文通过功能描述表明,系统以向导式图形用户界面(Graphical User Interface, GUI)引导用户创建、训练、评估、版本化与部署流水线。基本模式基于AutoGluon,用户选择问题类型、期望质量、训练时限和验证指标;高级模式基于scikit-learn,分三步选择删除列、预处理步骤(标准化、空值插补、特征选择)和算法。模型训练后存入模型注册表(model registry),用户可搜索、查看流水线图示并部署为推理服务;RAG聊天助手提供使用指导、参数调优建议和算法解释。
2.3 评估:原文通过14名硕士生参与的可用性研究得出,参与者完成9项任务,SUS得分87.69,超过80分的优秀阈值;问卷多数评分集中在4—5分,显示感知可用性、可学习性和满意度较高;NASA-TLX显示中等至低认知负荷,时间压力有限、挫败感低。任务完成时间总体一致,多数任务平均约1.5分钟,任务1、2因首次交互变异性较高,任务5、9因需比较评估模型而耗时和变异性增加。定性反馈肯定结构化工作流、基本/高级模式和聊天助手支持,同时指出高级配置引导、参数选择和自定义流水线界面直观性仍有改进空间。
3 说明性示例:信用卡欺诈检测:原文通过Kaggle模拟信用卡交易分类示例展示端到端流程:上传逗号分隔值(Comma-Separated Values, CSV)文件、选择分类问题与高级模式、确认列类型和目标变量、删除transaction_id、用SimpleImputer处理缺失值、用OrdinalEncoder转换merchant_category、用StandardScaler标准化数值特征、选择默认参数随机森林并训练;随后在模型详情中查看流水线图、评估结果与数据列类型,并部署为KServe推理服务,获得OpenAPI Swagger端点文档。原文强调生产模型需多轮参数调优和稳健交叉验证,示例用于演示能力。
讨论与结论:
4 影响:讨论部分总结认为,LaredoMLOps通过无代码界面降低技术壁垒,使非专家用户能够设计、训练和部署预测模型;模型版本控制与自动部署促进MLOps最佳实践,在资源受限环境中保障可复现性与治理。该软件已在研究组和联盟伙伴中使用,并进入物流领域项目交付物和内部实验,教育价值体现在引导式体验与对话助手,适合学术场景。作为开源方案,它针对DataRobot、Google Vertex AI等专有平台的成本限制;但原文明确排除探索性数据分析(Exploratory Data Analysis, EDA)和生产监控以保持简单性,需外部工具补充,且当前支持算法范围窄于商业替代品。尽管如此,其基于MLflow和KServe的灵活架构、可扩展性使其对中小企业、创新项目和学术环境具有实用性和可负担性,连接概念学习与实际部署。
5 结论与未来工作(研究结论翻译):LaredoMLOps回应了对可访问、开源工具的关键需求,这些工具简化机器学习模型的创建与部署,同时促进遵循MLOps最佳实践。其主要贡献在于通过连贯整合先进开源技术,弥合AI民主化差距。通过提供无代码界面和对话助手,该平台降低技术壁垒并提供教育价值,适用于专业和学术环境。其架构确保可扩展性和互操作性,使用户能够以最小努力从原型走向生产。作为未来工作,研究人员计划扩展工具支持算法的数量和复杂度;正在添加可解释AI能力和推理服务的实时监控功能;随后将实施可用性测试中提出的要求更高的建议以改进用户工作流,例如改进数据集管理或将模型分组为实验以简化模型选择时的结果比较;最后将通过招募更广泛用户群体(包括领域专家)扩展可用性评估。这些改进旨在增强工具功能,并巩固其作为部署AI系统的可访问解决方案的角色。