机器学习检测自由文本院前急救记录中农业伤害病例的时间漂移影响及应对策略

《BMC Medical Research Methodology》：Improved classification of agricultural injuries from free-text analysis of pre-hospital care reports under temporal drift

　　

摘要

背景

农业、林业和渔业从业人员的死亡率为美国所有行业之首，而非致命伤害的监测仍存在严重不足。机器学习可以从自由文本的院前急救记录（PCR）中识别农业伤害病例，但监测系统往往持续运行数年，数据分布会随时间发生漂移。本文对四种分类器进行基准测试，以检测病例，展示它们在时间漂移下准确率下降的情况，并评估管理漂移的方法。

方法

使用来自缅因州2008–2022年的人工编码PCR数据集（n?=?60,010），在时间序列设计（训练集2008–2016年，测试集2018–2022年）下，对朴素贝叶斯、惩罚性逻辑回归（弹性网）、支持向量机（SVM）和梯度提升树（XGBoost）进行基准测试。区分能力通过AUC（含95%置信区间）和捕获90%病例所需的假阳性率（FPR*）进行总结。漂移通过群体稳定性指数进行量化。我们评估了三种应对漂移的方法：在最近有标签的年份上重新估计决策阈值、使用至今所有数据重新训练模型，以及使用近期数据对现有模型进行微调（迁移学习）。

结果

在稳定期数据（2008–2016年）上，XGBoost、弹性网和SVM的表现几乎相同（测试AUC?≈?0.94），而朴素贝叶斯在区分能力上与它们相当，但需要更高的假阳性率才能达到90%的捕获率。使用2008–2016年数据训练并在后续各年测试，模型在2019年之前表现稳定，随后在2020–2022年间随着特征分布的漂移和已标记病例比例的上升而性能下降，后者的提升在很大程度上受记录选取标注方式的影响。将决策阈值设定为测试年前一年的水平无法维持90%的目标捕获率——由于分数分布相对于沿用的阈值发生漂移，部分年份过度捕获增加了审查负担，另一些年份则遗漏了病例。重新训练和迁移学习仅带来有限的恢复效果，表明近期稀疏数据上存在真实的漂移。三个表现最好的分类器在各年份间统计上无可区分性。

结论

时间漂移会显著降低自由文本伤害分类的准确性，且仅凭有限的近期数据重新训练无法完全逆转这一趋势。在实际部署中，将易于快速重新训练的分类器与持续漂移监控及基于更近期编码数据的阈值重新估计相结合，比固定模型和阈值更为稳健。本文提出了一套用于检测和应对监测机器学习中漂移的实用方案。

试验注册

不适用。