《PLOS Digital Health》：Temporal and cross-site validation of an AI system for self-harm detection
编辑推荐：
充分的自伤（self-harm）监测是自杀预防的关键环节。研究人员先前的研究表明，基于人工智能（AI）的系统可有效检测急诊科（ED）分诊记录中的自伤。然而，该系统使用单一医院数据开发，引发其对其他医院可推广性的担忧。研究人员旨在对系统进行前瞻性与外部验证，以理
充分的自伤（self-harm）监测是自杀预防的关键环节。研究人员先前的研究表明，基于人工智能（AI）的系统可有效检测急诊科（ED）分诊记录中的自伤。然而，该系统使用单一医院数据开发，引发其对其他医院可推广性的担忧。研究人员旨在对系统进行前瞻性与外部验证，以理解其跨医院可移植性。研究人员利用澳大利亚两家医院的急诊科数据，对自由文本分诊记录进行自伤人工标注。AI系统使用墨尔本一家大都市医院2012–2017年数据开发，结合广泛文本规范化与采用1931个选定特征的自伤分类模型。研究人员在同源医院随后四年329,655份分诊记录上做前瞻性验证；测试集上精确率-召回率曲线下面积（PR AUC）为0.84，95%置信区间[0.82, 0.86]；开发点后续四年PR AUC稳定为0.84，95% CI [0.83, 0.85]。外部验证使用距墨尔本150 km地区医院2012–2021年316,877份分诊记录，区分自伤能力下滑，总体PR AUC为0.78，95% CI [0.77, 0.79]。文本规范化组件跨数据集同样有效；分析显示地区场景中自伤更易涉及药物摄入；大都市医院该AI系统保持流行病学效用，地区医院因语言域偏移与自伤方式差异致性能不稳。
研究背景方面，全球每年逾百万人死于自杀，自伤是未来自杀最强风险因素，但急诊科（ED）诊断编码捕获自伤能力不足，系统性综述显示故意自伤灵敏度平均仅35.5%，澳大利亚与加拿大急诊自伤编码灵敏度低于40%，因此分诊护士记录的自由文本成为被低估的信息源。研究人员此前在墨尔本皇家医院（RMH）开发基于自然语言处理（NLP）与机器学习（ML）的自伤检测系统，但单中心开发带来跨场所泛化隐忧，故开展本研究进行时序与外部验证。论文发表于《PLOS Digital Health》。
关键技术方法上，研究人员构建RMH 2012–2017开发集与测试集、RMH 2018–2021前瞻性集、Latrobe Regional Hospital（LRH）2012–2021外部集；由Orygen自杀预防专家将分诊文本标为自伤、自杀意念或均无。文本规范化含小写化、正则简写解析、面向急诊术语的分词、基于误拼词典拼写纠正、药物俚语替换与过滤。分类端用TF-IDF表征，卡方选前2%特征，Light Gradient Boosting Machine（LGBM）为基学习器，三模型集成并做各向同性标度（isotonic scaling）校准，以F1最大处概率阈值0.32判类，用PR AUC、ROC AUC、JS散度与SHAP解释泛化差异。
Comparison of the two hospitals
两院服务人口年龄性别相近，但RMH年急诊量至少两倍于LRH且设24/7精神科团队；LRH更多患者靠自身或社区抵达而非救护车。RMH十年自伤占比1.4%、自杀意念1.5%，LRH分别为1.7%与1.9%；LRH分诊记录平均长度至少两倍于RMH。
AI system for self-harm detection
文本规范化可将“Taken 20x5mg diaz...”转为“taken x mg diazepam...”；分类模型在开发集未校准PR AUC 0.850±0.009，校准后0.853±0.009，最终三基学习器共1931唯一特征，阈值0.32。
Model evaluation
测试集PR AUC 0.84[0.82,0.86]，PPV与灵敏度接近，约23%假阳性实为自杀意念标注，显示自伤与自杀意念混淆。
Temporal and cross-site validation
前瞻性验证RMH 2018–2021：PR AUC维持0.84，灵敏度由0.79降至0.76，2020初新冠期灵敏度收缩后回稳，大都市点具流行病学效用。外部验证LRH：PR AUC 0.78[0.77,0.79]，PPV 0.71、灵敏度0.73，按季度波动大；仅用LRH六年数据重训可达PR AUC 0.85，但需约6320人时标注，增量混入RMH开发集最佳也仅0.81，证明确存语料差异。
The effects of text normalisation
规范化后三集唯一词降至约10000，与参考词表重合升至约75%，LRH于2019年4月信息系统切换后语言相似度突增，规范化降维约50%，未见可解释性能骤降的词汇断层。
Corpus comparison analysis
JS散度显示LRH全十年与开发集明显偏移，TF-IDF表示偏移强于原始计数；地区集高贡献词为panadol、etoh、mg等药物与物质使用词，SHAP显示服药相关特征权重异地重排，说明地区自伤以自毒（self-poisoning）多于自伤（self-injury）。
Error analysis
真阳性见“intentionally/self harm/overdose”推动概率至1.0；假阳性如“no new lacs”仍被历史自伤词推高，模型无否定与时序推理；假阴性见概率0.3215临界未过0.3225，或polupharmacy、agtiated误拼未被纠正，或“taken a lot of pain killers”白话过量服药未被识别。
讨论部分总结：研究人员指出NLP系统在大都市可支撑流行病学监测，但地区场景受语言域偏移、自伤方式（更多自毒）、信息系统、卫生素养与社区求助偏好影响；外部验证一次通过不等于普适，应做本地周期性验证并以应用导向指标评估。地区标注人力稀缺、自伤主观性强、本地数据获取成本高，故需先比语料再标注、做组件级验证与时序评估。
结论部分翻译：该AI工具已部署以支持州级自伤监测系统，提供持续验证与精炼机会。研究人员证明自伤检测AI系统在前瞻验证中原发点保持效用；平衡的PPV与灵敏度表明模型可作为嵌入公共卫生工作流的运行型流行病学工具，可靠追踪人群中自伤个案占比。错误分析提示终端用户应关注自伤史及与自杀意念的混淆，并可复阅阈值略下案例；算法使高于0.1概率记录不足3%，大幅减负。若要临床应用，需更强区分自伤与自杀意念能力，并设计预测投递方式、误报管理；先沉默试验再单中心RCT。未来将研析自伤呈现差异，并用更先进AI做规范化与离散信息抽取。
