《Frontiers in Public Health》:Development and temporal validation of an explainable machine-learning model for identifying anxiety symptoms in adults with sudden sensorineural hearing loss
编辑推荐:
中文翻译:
背景: 突发性感音神经性听力损失(SSNHL)可能伴随显著的心理困扰,然而机器学习研究主要集中在听力恢复而非急性期护理中的焦虑问题。
目的: 开发、内部验证、时间评估并解释机器学习模型,用于识别因首次发作SSNHL住院的成年患者在初始治疗后、出院前
中文翻译:
背景: 突发性感音神经性听力损失(SSNHL)可能伴随显著的心理困扰,然而机器学习研究主要集中在听力恢复而非急性期护理中的焦虑问题。
目的: 开发、内部验证、时间评估并解释机器学习模型,用于识别因首次发作SSNHL住院的成年患者在初始治疗后、出院前的焦虑症状。
方法: 这项单中心回顾性预测模型研究纳入了2022年2月至2023年8月在北京安贞医院治疗的512例患者。由410例患者组成的开发队列使用种子24一次性分割为训练数据集(n = 287)和内部模型选择数据集(n = 123);随后102例患者构成同中心时间验证队列。焦虑症状以汉密尔顿焦虑量表(HAM-A)评分≥7为操作定义。14个候选预测变量进入LASSO、Boruta和递归特征消除,并比较了8种分类器。稳健性分析包括使用全部410例开发观测的完整流程重复嵌套交叉验证、重叠症状排除模型、逻辑回归对照、校正校准、仅开发数据的阈值迁移、HAM-A≥8敏感性分析以及连续HAM-A严重程度分析。时间验证队列始终排除在特征选择、预处理、调参和算法选择之外。
结果: 总体而言,512例患者中有320例(62.5%)达到HAM-A≥7标准。主要分析中保留了6个预测变量:听力损失严重程度、耳鸣、眩晕、睡眠状况、合并症数量和治疗疗效。所选支持向量机(SVM)在内部验证中达到ROC-AUC 0.772,时间验证中为0.763。在嵌套交叉验证中,合并ROC-AUC为0.747(95% CI 0.696–0.792),PR-AUC为0.822(0.768–0.867),Brier评分为0.208(0.196–0.221);大规模校准为0.451,校准斜率为1.570。XGBoost在10次外部评估中被选中8次,随机森林(RF)被选中2次;SVM未被选中。4个预测变量——听力损失严重程度、睡眠状况、合并症数量和治疗疗效——在所有外部评估中均被保留。使用HAM-A≥8将患病率降至57.0%,时间验证SVM的ROC-AUC从0.759降至0.730。
结论: 主要流程中选出的SVM显示出中等的同中心时间区分能力,但嵌套验证表明模型选择不稳定且校准不完善。结合HAM-A阈值和症状重叠敏感性分析,这些发现支持一个研究性模型开发框架,而非特定SVM或可立即实施规则的优越性。需要进行地理多中心验证、前瞻性锁定的模型和阈值,以及前瞻性影响评估。
论文解读文章
研究背景与问题
突发性感音神经性听力损失(SSNHL)是一种以快速且不可预测的听力下降为特征的急性耳科疾病,常伴耳鸣和眩晕。除直接的听觉缺陷外,突发性听力损失可扰乱沟通、睡眠、社会功能和情绪健康,造成显著的社会心理负担。既往定性系统综述表明,焦虑、抑郁、恐惧、疲劳、社会隔离和信心下降是成人听力相关疾病健康相关生活质量损失中反复出现的领域。在单侧SSNHL患者中,前瞻性数据提示听力和耳鸣的变化伴随早期随访期间焦虑和抑郁症状的可测量变化。这些观察支持将心理状态视为SSNHL护理中临床相关组成部分,而非仅关注听力测定恢复。
焦虑症状尤其重要,因为SSNHL突然发生,往往无即时可识别的病因,患者须同时面对听力恢复的不确定性、侵入性耳鸣或眩晕,以及持续功能损害的可能性。病例对照数据显示,突发性单侧听力损失成人的焦虑和抑郁评分显著高于未受影响的对照者。人群层面,全国性队列研究发现特发性SSNHL患者后续发生情感障碍(包括焦虑和抑郁)的频率高于无SSNHL的匹配个体。这些发现表明心理疾病在SSNHL中具有临床相关性,支持在常规听力学评估之外纳入焦虑症状的结构化识别。
心理风险不太可能在所有患者中均匀分布。既往基于人群的证据发现SSNHL与焦虑障碍之间的关联因年龄而异,在较年轻成人中最显著。相比之下,针对SSNHL的、表征不同性别、教育程度、收入和其他社会人口学群体心理负担差异的证据相对较少。临床上,焦虑症状也可能在包含听力损失严重程度、耳鸣、眩晕、睡眠障碍、合并症负担和治疗反应的多维背景下出现。因此,联合评估这些特征的多元方法可能比单独考虑孤立因素更具信息量,前提是模型开发和评估具备针对过拟合和信息泄漏的防护措施。
SSNHL预测建模发展迅速,但多数已发表模型聚焦于听觉恢复或治疗预后,而非同期心理结局。2024年一项系统综述识别了7项研究、包含48个针对SSNHL结局的机器学习模型,报告了判别性能的广泛变异;重要的是,所有纳入研究均被判定为高偏倚风险,引发对现实世界适用性的担忧,并强调独立验证和更严格模型开发实践的必要性。近期大型队列研究继续利用常规可用的临床变量开发听力恢复预后工具,集成人工智能方法也已被探索用于SSNHL预后。然而,这些工作针对的是听力恢复,而非在SSNHL发作期间识别焦虑症状这一独立临床任务,在心理导向的风险分层方面留下了重要空白。
研究目的与设计
本研究的目标人群是因首次SSNHL发作住院的成人,预期使用者为耳鼻喉科医生、护士及其他参与住院SSNHL护理的临床人员。预期目的是在指数住院期间——初始SSNHL治疗后、出院前——进行焦虑症状的诊断性风险识别,而非预测未来精神疾病或替代正式精神病学诊断。研究人员旨在基于常规可用的人口学和临床信息开发和内部验证多变量机器学习模型,根据预定义的层级评估规则选择最终模型,并在时间独立的验证队列中评估其性能。此外,研究人员寻求使用模型解释方法刻画保留预测变量的贡献,目标是支持对更可能表现焦虑症状的患者进行有针对性的结构化心理评估。
这是一项单中心回顾性观察性预测模型研究,使用2022年2月至2023年8月期间在首都医科大学附属北京安贞医院耳鼻咽喉科治疗患者的现有临床记录。研究采用时间分离的数据结构:2022年2月至12月治疗的患者构成模型开发队列,随后分为训练数据集和保留的内部模型选择数据集;2023年1月至8月治疗的患者构成同中心时间验证队列。较晚的队列未用于特征选择、超参数调优、模型拟合或模型选择。由于开发和时间评估发生在同一医院的非重叠日历期间,研究使用"时间验证"这一术语,而非暗示地理或多中心外部验证。
关键技术与方法
研究人员使用了几种关键技术方法。首先,特征选择采用三种互补程序:最小绝对收缩和选择算子(LASSO)、Boruta和递归特征消除(RFE),最终预测变量集定义为三种方法保留变量的交集。其次,开发了八种二元分类器,包括逻辑回归(LR)、径向基函数支持向量机(SVM)、梯度提升机(GBM)、神经网络、随机森林(RF)、极端梯度提升(XGBoost)、K近邻(KNN)和Light Gradient Boosting Machine(LightGBM),使用重复分层10折交叉验证和训练折叠内的合成少数类过采样技术(SMOTE)。第三,模型选择基于内部模型选择数据集中观察到的ROC-AUC最高值。第四,使用SHapley Additive exPlanations(SHAP)进行模型解释。第五,作为稳健性分析,使用全部410例开发观测进行了完整流程的重复嵌套交叉验证。样本来源为北京安贞医院2022年2月至2023年8月的512例符合条件患者记录,其中410例为开发队列,102例为时间验证队列。
研究结果
患者构成与队列特征: 共纳入512例符合条件患者,开发队列410例中256例(62.4%)达到HAM-A≥7标准;时间验证队列102例中64例(62.7%)达到标准。总体320/512例(62.5%)达到≥7标准。HAM-A总分分布为:开发队列均值10.00±6.08,时间验证队列均值9.73±5.72。训练数据中,HAM-A标准在听力损失严重程度(p<0.001)、眩晕(p=0.007)、睡眠状况(p<0.001)和治疗疗效(p<0.001)方面存在描述性差异;时间验证中,病程(p=0.003)、耳鸣(p=0.036)、睡眠状况(p=0.026)和治疗疗效(p<0.001)存在差异。
特征选择与多重共线性: LASSO在lambda.min下保留11个非零系数预测变量,Boruta保留6个接受预测变量,RFE最佳子集含10个变量(平均ROC-AUC=0.760)。三法交集为6个预测变量:听力损失严重程度、耳鸣、眩晕、睡眠状况、合并症数量和治疗疗效。多重共线性诊断显示VIF值1.032至2.352,最大条件指数3.04,无问题性共线性证据。
模型训练与内部模型选择: 在123例内部模型选择数据集中,SVM具有最高观察ROC-AUC 0.772(95% CI 0.685–0.859),紧随其后为XGBoost 0.767和LR 0.762。PR-AUC方面XGBoost为0.835最高,SVM为0.829。Brier评分XGBoost为0.198最低,SVM为0.210。SVM训练衍生阈值0.196在内部模型选择子集中产生准确率0.724、敏感性0.883、特异性0.457、F1评分0.800和MCC 0.383。
时间验证: 所选SVM在102例时间验证队列中达到ROC-AUC 0.763(95% CI 0.666–0.860),PR-AUC 0.833,Brier评分0.215。
嵌套交叉验证与稳健性分析: 完整流程嵌套交叉验证中,合并ROC-AUC为0.747(95% CI 0.696–0.792),PR-AUC 0.822,Brier评分0.208;大规模校准为0.451,校准斜率1.570。XGBoost在10次外部评估中被选中8次,RF被选中2次,SVM未被选中。4个预测变量——听力损失严重程度、睡眠状况、合并症数量和治疗疗效——在所有外部评估中均被保留。使用HAM-A≥8将患病率降至57.0%,时间验证SVM的ROC-AUC从0.759降至0.730。
模型解释: SHAP分析基于287例训练观测和123例内部模型选择背景数据集,在预测概率尺度上计算SHAP值,全局显示包括蜂群图和平均绝对SHAP值。
讨论与结论
研究讨论指出,主要流程中选出的SVM显示出中等的同中心时间区分能力,但嵌套验证表明模型选择不稳定且校准不完善。XGBoost在嵌套交叉验证中更频繁被选中,而SVM未被选中,表明单一分割中SVM的优越性不具有稳健性。校准分析显示校准斜率1.570,提示预测概率存在系统性偏差。HAM-A阈值敏感性分析表明结果对阈值选择敏感。症状重叠分析中,睡眠状况、耳鸣和眩晕作为预测变量与HAM-A对应条目之间的Spearman相关性较弱(分别为0.076、0.070和0.034),不支持简单重复编码,但并未消除语义标准污染的可能性。
研究结论为:主要工作流中选出的SVM显示出中等的同中心时间判别能力,但嵌套验证证明了模型选择不稳定和校准不完善。结合HAM-A阈值和症状重叠敏感性分析,这些发现支持一个研究性模型开发框架,而非特定SVM或可立即实施规则的优越性。需要进行地理多中心验证、前瞻性锁定的模型和阈值,以及前瞻性影响评估。