《Array》:Explainable machine learning for three-class clinical decision support in driving resumption using visual field and UFOV-like attentional assessments
编辑推荐:
本研究旨在开发并严格评估一个可解释的机器学习(ML)框架,以支持基于视野计(perimetry)衍生视野信息与类有用视野(UFOV)注意评估相结合的三分类临床驾驶复驶决策。该框架旨在复现并支持临床决策路径,而非直接预测真实世界道路安全性或替代专家临床判断。研究
本研究旨在开发并严格评估一个可解释的机器学习(ML)框架,以支持基于视野计(perimetry)衍生视野信息与类有用视野(UFOV)注意评估相结合的三分类临床驾驶复驶决策。该框架旨在复现并支持临床决策路径,而非直接预测真实世界道路安全性或替代专家临床判断。研究人员特别关注识别需要额外模拟器评估的临床不确定病例。具体而言,研究将驾驶复驶评估构建为一个显式表示需额外模拟器评估病例的三分类临床决策问题,评估视野与类UFOV注意信息的互补预测贡献,比较算法层面、数据层面与集成层面的类别不平衡处理策略,评估模型稳健性与临床相关错误模式而非仅依赖总体准确率,并使用SHAP(SHapley Additive exPlanations)解释检验学习到的预测模式是否与具有临床意义的视野及视觉注意信息一致。研究基于法国里尔大学医院Roger Salengro医院功能视觉探索科常规收集的临床数据,采用回顾性、单中心预测模型开发与内部验证设计。
**一、研究背景与问题**
驾驶是自主性、社会参与和独立生活的重要组成部分。在神经性、眼科或其他影响视觉或认知功能的疾病之后,临床医生可能需要评估个体能否恢复驾驶。此类决策通常不能基于单一损伤指标,因为驾驶需要整合视野完整性、视觉注意、处理速度、视空间探索、执行功能与适应行为。视野损害可能损害周边危险探测能力并增加复杂驾驶情境中的不确定性,但视野缺损看似相似个体在功能行为上可能存在显著差异,尤其体现在将注意部署至周边位置及使用补偿性视觉探索策略的能力上,因此单纯视野计检查可能无法充分刻画视野损害对驾驶相关决策的功能后果。
在本研究所考虑的临床路径中,可获得两类互补信息:其一为视野计衍生的视野评估,刻画视野损害的位置与范围;其二为类UFOV注意评估,评估在递增视觉注意需求下的表现,包括集中注意、分配注意及存在视觉干扰物时的加工。融合这些信息源可较任一单独评估更全面地表征患者临床特征。临床不确定性对临界病例尤为重要:部分患者可获得关于驾驶复驶的直接建议,而另一些患者需在作出最终建议前接受额外模拟器评估。这形成了一个具有临床意义的三分类决策问题,包括不能驾驶、可以驾驶及需要额外模拟器评估,而非传统的二分类设置。
机器学习为整合异质性临床变量并识别与临床决策相关的多变量模式提供了潜在框架。然而,仅凭预测性能不足以支撑高风险临床应用,模型还应就类别不平衡、临床不对称错误后果、不确定性、稳健性与可解释性进行评估。可解释人工智能方法如SHAP有助于刻画对模型预测有贡献的变量并促进对模型行为的临床审视。
既有研究已证明视觉、认知、模拟器与机器学习方法在驾驶评估中的价值,近期研究亦认识到在现有信息不足以支持可靠二分类决策时保留中间或不确定类别的重要性。然而,在可解释三分类临床决策支持框架内,视野计衍生视野信息与类UFOV注意测量的联合预测贡献仍相对未被充分探索;此外,少数类与临床不确定类别需要显式考虑类别不平衡与类别特异性错误。本研究通过结合视野与类UFOV注意信息来建模三条常规临床路径(不能驾驶、可以驾驶、需要额外模拟器评估)以解决上述问题。本研究并不提出新的独立分类器,而是在多种不平衡处理策略下评估既有机器学习模型,并使用SHAP检验其预测的临床合理性。研究提出四个研究问题:RQ1:与任一单一信息源相比,结合视野计衍生视野信息与类UFOV注意测量能在多大程度上改善三分类临床决策预测?RQ2:哪种不平衡处理策略在总体预测性能、模拟器类别敏感性与临床相关误分类模式之间提供最有利的权衡?RQ3:代表性模型间观察到的性能差异是否具有统计学支持且在重复数据划分中稳定?RQ4:基于SHAP的模型解释是否揭示视野损害与视觉注意表现对三个临床决策类别具有临床一致的贡献?
**二、主要关键技术方法**
研究为回顾性、单中心预测模型开发与内部验证研究,数据来源于法国里尔大学医院Roger Salengro医院功能视觉探索科常规收集的临床数据库固定提取集。初始数据库含279次评估,排除10次目标临床决策缺失者后,最终分析数据集含269次标注评估(类别0不能驾驶138次,51.3%;类别1可以驾驶99次,36.8%;类别2需额外模拟器评估32次,11.9%)。预测变量涵盖人口学、临床、视野与类UFOV视觉注意域,经确定性聚合变量剔除与独热编码后形成26个输入特征。评估五种监督分类器(逻辑回归、支持向量分类器(SVC)、决策树、随机森林与XGBoost),采用三种不平衡处理策略(代价敏感学习、ADASYN过采样与平衡集成学习),主要评价指标为宏平均F1,并辅以平衡准确率、类别特异性精确率/召回率/F1、混淆矩阵、ROC-AUC与PR-AUC;验证采用分层70/30留出法、分层五折交叉验证及十次重复五折交叉验证(每模型50次外层评估),统计比较采用配对自助法与配对置换检验并经Holm校正;最后以SHAP进行可解释性分析。
**三、研究结果**
**4.1 无不平衡处理的结果**:在原始不平衡数据集上训练评估全部模型,多数类(类别0与类别1)表现良好,但所有分类器识别少数类(类别2)存在显著局限,其精确率、召回率与F1极低或为零;多数类别2实例被误分类为类别0或1,表明模型倾向多数类预测。作者指出仅凭准确率在此情境下可能产生误导。SHAP分析显示,视野缺损范围相关特征(如VF Damage Rate)与双任务条件下注意表现(DT与DT-Dis遗漏)始终为最具影响力特征,与临床推理一致。五折交叉验证中SVC取得最高准确率(0.7661 ± 0.0660)与最高宏F1(0.5408 ± 0.0468)及最佳平衡准确率(0.5742 ± 0.0503),随机森林表现相近;但所有模型宏F1与平衡准确率偏低,证实类别不平衡的负面影响。
**4.2 不平衡处理后的结果**:研究评估三种互补策略。**4.2.1 基于类别权重的代价敏感学习**:逆频率权重经Optuna在[0.65,2.80]区间内以五折交叉验证宏F1为目标优化,最优权重为w0=2.39、w1=0.74、w2=2.46,反映保护类别0与提高类别2敏感性之间的权衡。与未加权基线相比,类别权重提高若干模型对类别2的敏感性并保持类别0的强表现,但随机森林与XGBoost仍难以可靠识别类别2。五折交叉验证中SVC表现最佳(宏F1 0.5451 ± 0.0450,准确率0.7714 ± 0.0613,平衡准确率0.5792 ± 0.0500);总体而言仅靠类别加权不能完全解决少数类识别困难。**4.2.2 基于ADASYN的过采样**:ADASYN在分类更具挑战的区域自适应生成合成少数类样本;与初始基线相比,若干模型的类别2检测改善,随机森林总体最佳(宏F1 0.63,准确率0.69,类别2 F1 0.42),XGBoost亦有改善,SVC保持最高准确率(0.72)但类别2仍弱。五折交叉验证中SVC联合ADASYN取得最佳宏F1(0.6173 ± 0.0697)与最高平衡准确率(0.6338 ± 0.0877),随机森林准确率最高(0.7178 ± 0.0647)但宏F1与平衡准确率较低;结果表明ADASYN的益处依赖于模型。**4.2.3 平衡集成学习**:以Balanced Bagging实现逻辑回归、决策树、XGBoost与SVC的平衡版本,以专用Balanced Random Forest评估随机森林。该策略总体改善少数类模拟器类别(类别2)检测:以XGBoost为基学习器的Balanced Bagging(Balanced XGBoost)取得最佳测试集宏F1(0.72)与最高类别2召回率(0.80);Balanced Random Forest取得相同总体准确率(0.75),Balanced Decision Tree类别2召回率为0.70。作者指出类别2召回率提升具有临床相关性,因该类代表需进一步评估的不确定病例,尽管类别2精确率中等提示存在一定保守转诊,但在安全至上的情境中此权衡可接受。五折交叉验证中Balanced Random Forest表现最稳定,取得最高宏F1(0.6326 ± 0.0514)、准确率(0.7250 ± 0.0320)与平衡准确率(0.6476 ± 0.0656);Balanced XGBoost虽留出测试集最佳但交叉验证稳定性较差,提示对数据划分较敏感。**4.2.4 平衡集成模型的SHAP解释**:平衡模型主要依赖视野损害与注意性视野表现相关变量,VF Damage Rate及DT_Dis_QuadUpperRight、DT_Dis_QuadLowerRight、DT_Dis_QuadUpperLeft、DT_Dis_QuadLowerLeft与DT_Central等多个遗漏变量位列最具影响力预测因子,该模式具有临床一致性。Balanced XGBoost的SHAP分布仍与临床推理一致,表明平衡集成学习在改善少数类检测的同时保留了具有临床意义的可解释性。
**4.3 特征集消融结果**:在相同验证条件下使用Balanced Random Forest评估各信息域贡献,发现贡献依指标而异。全特征集取得最高平均宏F1(0.5754 ± 0.0824),视野+类UFOV组合紧随其后(0.5698 ± 0.0848);仅视野配置取得最高平衡准确率(0.6130 ± 0.1203)、最高类别2召回率(0.6571 ± 0.3103)与类别2 F1(0.3653 ± 0.1699)。仅类UFOV变量平均宏F1为0.5344 ± 0.0781,但对模拟器转诊病例敏感性较低。总体上,向视野预测因子加入类UFOV信息使总体宏F1与准确率略有改善,但并未一致改善类别平衡表现或少数类敏感性;类别2召回率的大标准差提示对数据划分高度敏感,需谨慎解读。
**4.4 预测因子相关性分析**:在剔除确定性聚合变量后,概念相关的类UFOV测量间仍存在若干中至强正相关,尤其对应DT与DT-Dis象限变量之间及中心遗漏测量之间;视野指标与VF Damage Rate之间亦观察到部分关联。最终预测集不再受精确确定性冗余主导,但相关临床测量间统计依赖性持续存在,此点在解释SHAP特征归因结果时予以考虑。
**4.5 代表性模型的统计比较**:以十次重复分层五折交叉验证(每模型50次评估折)进行稳健性与配对统计比较,聚焦三种具竞争力的不平衡感知配置。Balanced XGBoost取得最高平均宏F1(0.6287 ± 0.0609)与平衡准确率(0.6522 ± 0.0724),Balanced Random Forest相近(宏F1 0.6259 ± 0.0558,平衡准确率0.6494 ± 0.0642),随机森林+ADASYN宏F1为0.6204 ± 0.0637、平衡准确率0.6268 ± 0.0665。少数类行为方面,Balanced XGBoost类别2召回率0.4681 ± 0.2006、类别2 F1为0.3388 ± 0.1295;Balanced Random Forest分别为0.4657 ± 0.1695与0.3311 ± 0.1094;随机森林+ADASYN类别2召回率(0.3076 ± 0.1687)与类别2 F1(0.2780 ± 0.1383)较低,但其平均总体准确率最高(0.7268 ± 0.0519),表明总体准确率差异未必对应少数类敏感性差异。采用聚合折外预测进行配对推断后,经Holm校正,三种配置间焦点配对差异均未达统计学显著性(如Balanced RF与Balanced XGBoost的宏F1差异Δ=?0.0127,95% CI [?0.0383,0.0128],Holm校正p=0.7912;平衡准确率差异Δ=?0.0087,95% CI [?0.0408,0.0241],Holm校正p=0.6019),所有焦点比较置信区间均含零。更广泛的配对分析显示,不平衡感知配置相对未加权XGBoost基线具有统计学支持的改善:宏F1上XGBoost显著劣于随机森林+ADASYN(Δ=?0.1297,95% CI [?0.1919,?0.0663],Holm校正p=0.0136)、Balanced Random Forest(Δ=?0.1495,95% CI [?0.2132,?0.0861],Holm校正p=0.0090)与Balanced XGBoost(Δ=?0.1621,95% CI [?0.2264,?0.0960],Holm校正p=0.0072);平衡准确率呈相同模式(Holm校正p分别为0.0144、0.0080与0.0060)。作者强调不应仅凭略高的平均宏F1或平衡准确率将Balanced XGBoost解释为统计学上优于其他配置,模型比较应综合总体性能、少数类行为、基于概率的区分度与跨验证划分的稳定性等联合证据。
**4.6 基于概率的区分度**:以一对多ROC-AUC与PR-AUC补充阈值依赖的分类指标。无不平衡处理的基线模型中XGBoost取得最高宏ROC-AUC(0.8407)、宏PR-AUC(0.7002)、类别2 ROC-AUC(0.7803)与类别2 PR-AUC(0.4482),但强排序性能未必转化为默认决策阈值下可靠的少数类分类。类别加权效应依模型而异:加权随机森林宏ROC-AUC由0.8140升至0.8394、类别2 PR-AUC由0.2849升至0.4202;而XGBoost宏PR-AUC仅由0.7002微变至0.7017,类别2 PR-AUC由0.4482降至0.4260。ADASYN配置中随机森林区分度最强,取得全部评估配置中最高的宏ROC-AUC(0.8612)、宏PR-AUC(0.7258)以及最高类别2 ROC-AUC(0.8246)与类别2 PR-AUC(0.5039)。平衡集成学习亦提供强区分度:Balanced Random Forest宏ROC-AUC为0.8427、宏PR-AUC为0.7150、类别2 PR-AUC为0.4698;Balanced XGBoost宏ROC-AUC略高(0.8438)但宏PR-AUC(0.6830)与类别2 PR-AUC(0.3967)较低。总体表明不平衡处理的效应既依赖模型也依赖指标,无单一策略在各评价维度上全面占优,支持使用多种互补评价标准。
**4.7 与既往研究的比较**:研究将结果与卒中或神经人群驾驶适能评估的代表性研究进行简要比较,并强调因研究人群、预测因子域、参考结局、决策结构与验证程序差异显著,直接数值比较应谨慎解读。Barco等与Huang等针对路上结局的二分类预测,Szabó等与Laffarga-Gómez等显式保留不确定类别;本研究建模本地三分类临床路径并将模拟器转诊显式表示为中间决策,属不同预测目标,故报告性能差异不应被解释为某一方法优越的直接证据。
**四、讨论与结论**
讨论指出:类别不平衡强烈影响模拟器转诊检测,不平衡感知策略不同程度改善少数类表现,且无单一模型在所有评价标准上全面占优;结果应被解释为对本地临床决策路径的复现支持,而非对真实世界驾驶安全或法定驾驶适能的直接预测。基线实验凸显总体准确率在此不平衡情境下的局限,证实仅凭准确率不足以评价本三分类任务,支持联合使用宏F1、平衡准确率、类别特异性召回率与F1、混淆矩阵及基于概率的区分度指标。不同不平衡策略产生互补结果:类别加权改善有限且高度依赖模型;ADASYN改善若干分类器的少数类检测,随机森林留出表现强且区分度最佳;平衡集成学习在原生多分类决策规则下于留出测试集取得模拟器转诊类别最高敏感性,但Balanced Random Forest五折交叉验证更稳定,留出与交叉验证结果的差异说明跨多种数据划分评估稳健性的重要性。重复交叉验证确认Balanced XGBoost与Balanced Random Forest表现非常接近,模型选择取决于所优先考虑的临床与统计标准,不应依赖单一全局指标,配对自助法与置换分析为简单均值排序提供了重要补充。特征集消融表明两类信息域提供互补但依赖指标的预测价值,视野变量对模拟器转诊病例仍尤为重要。概率区分度进一步强调模型性能的指标依赖性:ROC-AUC与PR-AUC评估跨阈值的排序表现,而召回率反映特定分类规则下的表现,二者并不矛盾,应联合解读。与既往研究的比较须谨慎,因预测任务在人群、输入模态、结局定义、类别数与验证设计上不同;据作者所知,这是对该特定常规收集临床数据集的首次机器学习研究,也是首次使用两种互补信息源对该本地路径进行形式化,新颖性在于临床与方法学而非算法层面。SHAP解释识别出VF Damage Rate及若干DT与DT-Dis遗漏变量为最具影响力预测因子,与评估路径所用信息临床一致;但鉴于相关预测因子的存在,SHAP归因可能在相关预测因子间共享或重分配,单个特征的相对重要性可部分取决于其他相关变量,故SHAP值不应解释为单个预测因子的独特、独立或因果效应,本研究将其解释为模型特异、具临床信息量的归因模式,更强调跨相关特征域的一致模式而非单个预测因子的精确排序。局限性包括:回顾性、单中心、基于269次标注评估且仅含32例模拟器转诊病例,限制少数类性能估计的精度;所有评估均为内部评估,参考结局代表本地临床决策而非真实世界驾驶安全的独立测量;未进行类别特异性决策阈值的后验优化,报告的指标反映模型的原生多分类决策规则;未来工作应研究经临床预设或基于效用的类别特异性操作点。总体而言,结果支持将可解释且不平衡感知的机器学习作为该三分类临床路径的补充决策支持方法,模型性能强烈依赖指标,少数类检测应与稳健性、区分度与可解释性一并考虑;未来应优先开展外部验证、扩大模拟器转诊病例数并整合模拟器或眼动追踪等额外功能信息。
结论部分译文如下:本研究评估了一个可解释且不平衡感知的机器学习框架,用于利用互补的视野计衍生视野信息与类UFOV注意信息支持三分类临床驾驶复驶决策路径。结果表明,类别不平衡显著影响模拟器转诊病例的检测,不平衡感知策略不同程度地改善了少数类识别。平衡集成方法提供了强的类别平衡表现,而重复验证分析表明无单一模型在所有评价标准上全面占优。特征集消融进一步表明,可用临床信息的贡献依赖指标:全特征集取得最高平均宏F1,而仅视野信息提供最强的平衡准确率与类别2敏感性。同时,基于SHAP的解释识别出视野损害与类UFOV视觉注意表现的临床一致贡献。这些发现支持将可解释机器学习作为补充性决策支持方法而非临床判断的替代。据研究人员所知,本工作代表了对该特定常规收集临床数据集的首次系统性机器学习评估,也是首次将该本地临床路径形式化为整合视野计衍生视野信息与类UFOV注意信息的三分类预测问题;因此贡献主要是临床与方法学的而非算法的,特别强调显式表示需要额外模拟器评估的评估。然而,这些发现应在回顾性、单中心、模拟器转诊类别相对较小且仅内部验证的研究局限内解读;此外,预测目标代表本地临床决策路径而非路上表现、事故风险或未来驾驶安全的独立测量。未来工作应优先在更大、多中心队列上开展前瞻性与外部验证,并增加模拟器转诊病例的代表性;整合模拟器结局、眼动追踪测量与纵向驾驶数据等额外功能信息,也可能有助于改善不确定病例的刻画并评估所提框架的泛化性与潜在临床效用。