机器学习驱动核心结局集开发：自动化结局提取与分类的创新应用

《Journal of Orthopaedic Surgery and Research》：Applying machine learning to enhance core outcome set development: automating the data extraction and classification of outcomes

本研究针对核心结局集(COS)开发过程中人工提取和分类结局耗时费力的问题，开发了一种基于机器学习(ML)的自动化流程。研究人员通过仅需20篇文献的人工标注，即可实现94%的结局提取准确率和86%的加权平均F1值分类性能，显著降低了COS开发的工作负担，为标准化临床研究结局报告提供了高效解决方案。

　　

在当今医学研究领域，核心结局集(Core Outcome Sets, COS)作为标准化结局报告的重要工具，正发挥着越来越关键的作用。然而，传统的COS开发过程却面临着巨大挑战——研究人员需要耗费数月时间，从海量文献中手动提取和分类各种结局指标，这个过程不仅劳动强度大，而且容易受到主观因素影响，导致结果不一致。特别是在下肢延长术(Lower Limb Lengthening Surgery, LLLS)等专业领域，如何高效、准确地识别和归类相关结局指标，成为制约研究效率提升的瓶颈问题。

正是在这样的背景下，Ali Yalcinkaya等研究人员在《Journal of Orthopaedic Surgery and Research》上发表了一项创新性研究，探索将机器学习技术应用于COS开发流程的可行性。他们致力于解决一个核心问题：能否通过自动化方法大幅减少人工工作量，同时保持结局提取和分类的准确性？

为了回答这一关键问题，研究团队构建了一个完整的机器学习流程。该研究基于149篇下肢延长术相关文献的数据集，其中114篇符合明确包含"结果"和"讨论"部分的纳入标准。技术路线的核心是双模型设计：首先使用基于Sentence-BERT的提取模型识别原文中的结局短语，然后通过分类模型将这些结局按照COMET分类法进行领域归类。

关键的技术方法包括使用spaCy工具进行名词短语提取，基于SetFit框架微调预训练的Sentence-BERT模型，采用交叉验证评估模型稳定性，并使用28篇文献的保留集进行最终性能验证。整个流程实现了从PDF文本解析到结局领域分类的端到端自动化处理。

确定手动标注数据的合理规模

研究人员通过系统性地增加训练文献数量（从5篇到85篇，以5篇为增量），评估了模型性能随训练数据量变化的规律。结果显示，当训练文献数量达到20篇时，模型性能趋于稳定，F1分数达到94%，精确率和召回率均超过90%。这一发现表明，仅需少量标注数据即可支持可靠的自动化处理。

结局提取性能

在28篇文献的独立测试集上，结局提取模型表现出色，总体准确率达到94%。对于结局文本的识别，精确率为93%，召回率为95%，F1分数为94%。模型区分结局与非结局文本的能力很强，AUROC（受试者工作特征曲线下面积）达到97%，AUPRC（精确率-召回率曲线下面积）为96%。当应用于全部114篇文献时，模型成功识别出94%的人工提取结局。

结局领域分类效果

分类模型在COMET分类法的34个领域上实现了加权平均F1分数86%的性能，精确率和召回率分别为87%和88%。不同领域的分类准确性存在差异，其中"个人情况"、"全球生活质量"和"神经系统结局"等领域达到100%的准确率，而"肌肉骨骼和结缔组织结局"作为最大类别，准确率也达到90%。

结果分布的一致性

机器学习方法识别出的结局领域分布与人工分类结果高度一致。虽然个别领域的排名顺序有细微差别，但最主要的结局领域组成完全相同。这种分布上的相似性进一步验证了机器学习方法在COS开发中的实用性。

研究的讨论部分强调了这种"人在回路"方法的创新价值。与以往需要大量标注数据的方法相比，本研究仅需20篇文献的标注就能达到优越性能，显著降低了资源需求。同时，研究也指出了当前方法的局限性，包括领域特异性（主要基于肌肉骨骼文献）以及某些罕见结局领域由于训练数据不足而可能被遗漏的问题。

值得注意的是，机器学习模型提取的短语数量超过了人工提取结果，这主要是由于模型将语义相似的多种表达分别作为独立条目处理，而人工提取时通常会进行合并。这种差异反映了自动化方法在细节捕捉方面的优势，但也提示需要在后续流程中引入适当的归并处理。

该研究的结论明确了机器学习在COS开发中的变革潜力。通过将人工工作量从149篇文献减少到20篇，同时保持高准确性，这种方法为COS开发提供了可扩展、可重复的解决方案。特别是对于需要定期更新的COS，自动化流程可以大幅提高效率。未来，随着模型的进一步优化和跨领域验证，这种技术有望成为标准化临床研究的重要工具，加速证据合成和共识形成过程。

研究的意义不仅体现在具体的技术创新上，更重要的是展示了一种人机协作的新范式。在保持专业判断的同时，充分利用自动化技术的效率优势，这种思路对于解决医学研究中的其他数据密集型任务也具有重要借鉴价值。随着人工智能技术的不断发展，类似的方法有望在更广泛的临床研究场景中发挥作用，推动医学研究向更高效、更标准化的方向发展。