《PLOS One》：Evaluating the Cyclical Hybrid Imputation Technique (CHIT) under MCAR, MAR, and MNAR missing data mechanisms: Evidence from health datasets
编辑推荐：
中文摘要翻译：为临床数据集选择合适的插补策略，需要理解实际运作的缺失数据机制，然而大多数插补基准研究将不同机制下的表现混为一谈。本研究通过首次开展机制分层比较，填补了这一空白——在完全随机缺失（MCAR）、随机缺失（MAR）与非随机缺失（MNAR）条件下，对三
中文摘要翻译：为临床数据集选择合适的插补策略，需要理解实际运作的缺失数据机制，然而大多数插补基准研究将不同机制下的表现混为一谈。本研究通过首次开展机制分层比较，填补了这一空白——在完全随机缺失（MCAR）、随机缺失（MAR）与非随机缺失（MNAR）条件下，对三种插补方法——CHIT、基于BayesianRidge的多重链式插补（MICE）以及基于随机森林的迭代插补——进行比较。三个健康数据集作为实验平台：慢性肾脏病（CKD）数据集、心脏病数据集（HDD）和小鼠蛋白表达数据集（MPED）。研究人员基于领域知识为每种机制构建缺失模式（图2），总体缺失率约为20–25%。在GridSearchCV优化后，八种分类器——KNN、逻辑回归、SVC、决策树、随机森林、高斯朴素贝叶斯、MLP以及深度神经网络——在插补后的数据上训练。在所有条件下，CHIT均实现接近完美或完美的下游分类性能，其中SVC在MNAR下的CKD数据集上达到100%准确率，在MCAR和MAR下达到98.75%。竞争方法在MNAR下性能下降多达19.38个百分点，而CHIT的准确率保持稳定。两个结构性属性解释了这种韧性：一是随着记录被补全，回归训练集得到迭代扩充；二是在记录内部，优先针对数据最稀缺的特征进行基于模型的填充。综合来看，这些结果为健康信息学管线中的插补选择提供了机制特异的指导。CHIT与MICE之间分类器准确率差异的统计显著性采用McNemar检验（双尾、连续性校正卡方）评估，应用于每次实验的精确二值预测向量[n_test = 80]。所有报告准确率的95%置信区间采用Wilson评分法计算[z = 1.96]。CHIT的42种配置的平均准确率和标准差报告于补充表S1。完整的McNemar结果及置信区间见补充表S2。
论文解读文章
一、研究背景与问题
临床数据中缺失值问题普遍存在，大型回顾性研究一致报告电子健康记录中的缺失率介于15%至50%之间，且缺失程度和模式因机构、临床领域和数据录入实践而异。缺失值对下游建模的后果已有充分文献记载：列表删除引入选择偏倚，均值和中位数替换削弱方差并扭曲特征间相关性，即使是原理完善的多重插补框架，当其模型假设被违反时也可能产生有偏估计。在健康信息学领域，预测模型直接为诊断和治疗决策提供依据，插补错误会传播为具有临床后果的分类错误。
Rubin的基础性洞见在于，没有任何单一插补策略是普遍最优的：合适的方法取决于控制值缺失的机制。Rubin的分类法区分三种机制：完全随机缺失（MCAR）下，缺失与所有观测和未观测数据独立——这一强假设在临床实践中很少满足，但作为理论基线有用；随机缺失（MAR）下，缺失取决于观测变量而非未观测值本身——这是MICE和多数多重插补框架的标准假设；非随机缺失（MNAR）下，缺失取决于缺失值本身——这是最具挑战性且在临床数据中可能最普遍的情况，极端测量值、失访患者和系统性报告遗漏都会产生结构化、不可忽略的缺口。
CHIT通过两阶段迭代设计解决缺失值插补问题：不完整记录首先使用已完整记录的分布统计量进行部分填充（列阶段），随后使用在相同完整记录上训练的监督回归模型对临时估计进行精化（行阶段）。在三个具有自然缺失的健康基准上，该设计超越了MICE和RF迭代插补。然而，该研究的关键局限在于缺失机制既未受控也未表征：CHIT的优越性究竟是普遍适用于MCAR、MAR和MNAR，还是仅限于原始数据集中存在的特定缺失结构，仍然未知。本研究旨在填补这一空白。
二、研究内容与结论
研究人员设计了三种受控缺失场景——MCAR、MAR和MNAR，并基于每个数据集的临床领域知识构建，在每种条件下评估CHIT与MICE和RF迭代插补的对比。CKD数据集的MNAR模拟删除了低于12 g/dL贫血阈值的血红蛋白值，模拟了肾病学中真实世界的信息性删失。MAR模拟使用高血压状态控制血压缺失，反映了高血压患者血压记录更完整的已记录趋势。MCAR模拟应用均匀随机掩码作为无机制参考。所有八种分类器均使用GridSearchCV进行超参数调优。
研究得出四个突出发现。第一，CHIT在CKD数据集上无论机制如何，在所有下游分类器中维持99.06–100.00%的平均准确率，而MICE达到85.94–80.62%，RF迭代达到83.75–85.47%——这一超过14个百分点的差距即使在MCAR下也存在，并向MNAR方向扩大。第二，SVC分类器在MNAR下所有42种CHIT配置中均达到100%准确率，在MCAR和MAR下达到98.75%，但使用MICE或RF迭代时降至73.75–78.75%。第三，神经网络分类器在竞争方法插补的数据上实际上失效（多数类准确率），但在CHIT插补的数据上达到接近完美的准确率，凸显了梯度优化对插补特征分布保真度的敏感性。第四，观察到的优势在心脏病数据集和小鼠蛋白表达数据集上方向一致，确认了超越CKD基准的可推广性。
三、关键技术方法
本研究采用以下主要技术方法：一是CHIT算法，采用两阶段迭代设计，先以分布统计量进行列阶段填充，再以监督回归模型进行行阶段精化，并包含记录处理顺序和特征填充优先级的双重排序约束；二是MICE，通过scikit-learn的IterativeImputer配合BayesianRidge估计器实现；三是RF迭代插补，使用RandomForestRegressor作为基础估计器的相同IterativeImputer框架；四是缺失机制模拟，包括MCAR均匀随机掩码、MAR基于观测变量的条件掩码和MNAR基于临床阈值的值依赖掩码；五是八种分类器（KNN、逻辑回归、SVC、决策树、随机森林、高斯朴素贝叶斯、MLP和深度神经网络）配合GridSearchCV超参数优化。样本队列来源包括CKD数据集（400条记录，24个临床特征）、HDD（303条记录，13个临床特征）和MPED（1080个小鼠脑样本，82个蛋白表达特征）。
四、研究结果
MCAR结果（CKD数据集）：血清肌酐以p=0.20均匀随机掩码，产生80个缺失值。与理论预期相反，CHIT在MCAR下的准确率优势甚至也是实质性的。SVC在CHIT插补下达到98.75%准确率，但在MICE下仅77.50%，在RF迭代下80.00%，差距超过20个百分点。神经网络分类器（MLP、DL）在CHIT插补数据上达到97–99%准确率，但在竞争方法插补的数据上回归到多数类水平（65%）。平均而言，CHIT产生99.38%准确率，对比MICE的83.91%和RF迭代的83.75%。
MAR结果（CKD数据集）：血压基于高血压状态掩码，约22%缺失。性能模式与MCAR相似，但SVC差距略宽（CHIT 98.75%对比MICE 73.75%、RF迭代73.75%）。CHIT的辅助变量条件化维持其优势，因为行级回归模型以htn为条件——正是驱动bp缺失的变量。平均准确率：CHIT=100.00%，MICE=80.62%，RF迭代=85.47%。
MNAR结果（CKD数据集）：血红蛋白低于12 g/dL阈值设为缺失，产生150个缺失值（37.5%记录）。优势模式得以保留，对若干分类器甚至相对MCAR/MAR扩大。SVC在所有42种CHIT配置下维持100%准确率，无论行模型或列方法选择如何。MLP和DL分类器在MICE和RF迭代下再次降至多数类基线（65.00%）。平均准确率：CHIT=99.38%，MICE=85.94%，RF迭代=85.47%。
机制汇总：CHIT在所有三种机制下达到99.06–100.00%的平均准确率，对比MICE的85.94–80.62%和RF迭代的83.75–85.47%。CHIT相对MICE的总体平均准确率优势为19.38个百分点，相对RF迭代为13.12个百分点。关键观察是CHIT的优势并非MNAR独有：即使在MCAR下，CHIT的平均准确率也高出约19.38个百分点。
HDD结果：KNN和RFC成为CHIT插补下的最佳分类器。MCAR下CHIT平均准确率92.62%对比MICE 83.84%；MAR下94.58%对比86.46%；MNAR下94.76%对比88.54%。
MPED结果：高维度（82个蛋白特征）导致所有方法接近天花板性能，出现饱和效应。MCAR下CHIT平均99.08%对比MICE 99.94%；MAR下99.88%对比100.00%；MNAR下99.88%对比100.00%。CHIT在此数据集上的优势可忽略，因为所有方法均达到≥99%准确率。
五、讨论与结论
讨论部分指出，CHIT优势具有双重性质：机制不变成分根植于行级回归步骤，即使在MCAR下也提供一致的插补质量改进；机制依赖成分随着缺失机制从MCAR向MAR向MNAR转移而放大优势，最大增益恰在临床最需要之处。CHIT一致优势的来源可定位于其记录内回归阶段，该阶段使用同一患者的每个其他观测测量作为预测变量填充每个缺口，而标准迭代插补器则在总体人群上训练单变量或多变量模型。记录级条件化对基于边界和距离的分类器（SVC、KNN、MLP、DL）尤其重要。MLP和DL分类器的崩溃并非分类器缺陷，而是反映了基于梯度的训练对插补偏倚的极端敏感性。GNB是CHIT下最弱的分类器，反映了高斯朴素贝叶斯对特征相关性的已知敏感性：CHIT的行级回归使用所有其他观测特征作为预测变量插补目标特征，引入插补值与预测变量之间的诱导相关性，违反GNB的条件独立假设。
实践建议：机制未知时部署CHIT；MCAR确认时CHIT仍为最佳，但RF迭代或MICE在计算预算有限时可作为替代；MAR疑似时CHIT的自动辅助变量条件化提供19.38个百分点的平均准确率优势；MNAR可能时强烈推荐CHIT；分类器选择上SVC和RFC在CHIT插补下最稳健，GNB应谨慎使用。
结论翻译：本研究首次系统性地在MCAR、MAR和MNAR条件下对循环混合插补技术（CHIT）进行机制分层评估，使用三个基准健康数据集和临床动机的缺失模拟。在648个实验条件下（3个数据集×3种机制×3种插补方法×8种分类器），CHIT在本研究评估的所有条件下均优于MICE和RF迭代插补，其优势在MCAR下即存在，并通过MAR向MNAR单调增长。对于健康信息学从业者，建议明确：在缺乏机制知识的情况下——这是典型的临床场景——CHIT是推荐的插补策略。未来工作将把评估扩展到多变量MNAR模式、更大的电子健康记录队列，以及收敛加速的CHIT变体。CHIT在健康信息学之外的应用已在经济时间序列预测和AI驱动的危机检测中得到证明，表明本研究引入的机制感知评估框架可能推广到其他高风险领域。
