《Future Generation Computer Systems》：Evidence-based data preparation pipeline design for data-centric AI
编辑推荐：
diana 是一个支持以数据为中心人工智能（data-centric AI，DCAI）中数据准备流水线设计的框架。数据准备仍是耗时且依赖上下文的活动：数据质量问题的影响与修复动作的有效性取决于数据集特征与目标机器学习（machine learning，ML）模
diana 是一个支持以数据为中心人工智能（data-centric AI，DCAI）中数据准备流水线设计的框架。数据准备仍是耗时且依赖上下文的活动：数据质量问题的影响与修复动作的有效性取决于数据集特征与目标机器学习（machine learning，ML）模型。本研究基于先前提出的 diana 框架与知识库（knowledge base，KB）模型，将面向表格分类任务的推荐机制实例化并评估。所提方法离线收集关于缺失值与异常值影响、以及插补与离群检测技术有效性的经验证据，据此推荐完整性（completeness）与准确性（accuracy）问题的处理顺序，并为各数据列给出适配的准备动作。推荐由离线 KB 预测器生成，使用户可在不重复训练模型的前提下检视与修改流水线。研究在受控污染的无见过的数据集与两个天然含噪数据集上评估，结果表明 diana 能识别有前景的准备工作流，同时降低所考察基于搜索方法的在线计算开销，并印证了依据数据与任务特征定制准备决策的必要性。
研究背景与问题提出
在以数据为中心的人工智能（data-centric AI，DCAI）范式下，数据质量与适用性直接决定机器学习（machine learning，ML）系统的可靠性。数据准备不再是前置步骤，而是贯穿模型生命周期的迭代过程。然而，实际工作中存在三方面难题：其一，数据质量问题的危害具有强上下文依赖性，缺失值、异常值对不同数据集与不同下游模型的影响并不等价；其二，修复技术选型空间庞大，简单插补、机器学习插补、多变量插补、统计离群检测与密度离群检测等方法各有适用边界；其三，传统自动搜索或强化学习方法需在线上反复训练下游模型以评估候选流水线，计算开销大，且过程黑箱化，不利于领域专家介入与信任建立。因此，亟需一种既能利用历史经验证据、又能保持可解释性与低在线成本的推荐机制。
研究人员基于 diana 框架及其知识库（knowledge base，KB）概念模型，将推荐机制在表格分类场景落地：通过离线富集 KB，记录数据质量维度（完整性 completeness、准确性 accuracy）对模型性能的影响，以及各类准备动作（插补 imputation、离群检测 outlier detection）的有效性；在此基础上训练三类回归预测器，在给定新分析上下文（数据集画像+目标模型）时，输出维度处理顺序与每列技术建议，用户可检视、采纳或修改。评估显示，该方法在未见数据集与真实含噪数据上能给出接近最优的准备工作流，并将在线计算成本显著低于基于搜索的基线。
主要关键技术方法
研究人员采用 KB 离线富集与预测器推演两条主线。KB 富集阶段：从 UCI 与 Kaggle 选取多源表格数据集，注入 10%至50%均匀分布的缺失值与异常值，提取数据集级（45维）与列级（数值20维/类别14维）画像，覆盖决策树、逻辑回归、KNN、随机森林、AdaBoost、SVC 等分类器；记录维度影响（KB-ranking）与技术有效性（KB-dimension）。预测器阶段：排序预测器（ranking predictor）用 KNNRegressor 估计各质量维度影响；维度预测器（dimension predictor）分别针对完整性（数值/类别）与准确性建立回归模型，推荐具体插补或离群检测技术；并设计不可靠度指标 U 融合回归误差与画像不相似度，辅助用户判断建议可信度。
研究结果
知识库表示与富集证据
通过统一元组形式存储「画像—质量维度—模型—效果」经验，将缺失值对应完整性、异常值对应准确性，分别积累影响分数与修复有效性分数，形成可复用证据池。
KB 预测器
排序预测器在留一数据集验证中平均 RMSE 0.1344，维度排序正确率 74.13%；当两维度影响差小于约6%时排序可靠性下降。完整性预测器 RMSE 极低（数值0.0317/类别0.0304），因各技术有效性差异小；准确性预测器平均精度（average precision，AP）表现优异（数值列场景均值0.9583）。高熵高唯一性列仅少数技术相关，低熵列多种技术等效。
推荐流程与不可靠度度量
系统先算画像，再经排序预测器定维度顺序，随后维度预测器选每列最优技术；以余弦距离与 RMSE 分布计算 U 值，提示何时建议可能失真（高不相似或高预测误差）。
流水线验证实验
在6个未参与建库的数据集（weather、consumer、pet、character、galaxy、heart）上注入可控污染，对比 diana 与 AutoML 式、Learn2Clean 及穷举变体。diana 在77.78%上下文中给出最优或可比维度顺序，在80.56%中给出高质量流水线；异常情形包括排序异常（次维修复反损性能）与质量异常（高污染率下修复引入近似导致过拟合）。真实含噪数据进一步验证其低开销与可用性。
讨论与结论翻译
讨论指出，diana 不宣称全局最优，而是提供数据与原型模型感知、可检视、可修改的证据型推荐，契合 MLOps 中数据漂移与版本演进场景。局限在于当前仅覆盖表格分类、两质量维度与有限技术集合，且高污染率与低相似画像下建议质量受限。
研究结论部分可表述为：研究人员证实，基于离线经验证据的知识库预测机制，能够为表格分类任务推荐有前景的数据准备流水线；该方法在保持用户控制与可解释性的同时，显著降低在线计算成本，并强调数据准备决策必须结合数据集特征与目标机器学习模型具体定制。
这篇论文解读已完成，接下来可以选择一个方向继续深化：
