编辑推荐:
研究人员评估基于机器学习(ML)的医疗器械分类方法,发现风险评估应用少且影响大,该研究符合法规要求。
在医疗领域,机器学习(Machine Learning,ML)技术正掀起一场变革,它如同一位神奇的助手,在疾病诊断、病理分析等诸多方面大显身手。从帮助医生更精准地识别影像中的病变,到辅助判断疾病的发展趋势,ML 技术的潜力无限。然而,随着它在医疗器械中的广泛应用,一系列问题也逐渐浮出水面。目前,多数科研论文在评估基于 ML 的医疗器械时,往往只关注模型的准确性,却忽略了一个关键因素 —— 风险。要知道,在医疗场景中,误诊可能会带来严重的后果,比如癌症筛查中的假阴性结果,可能导致患者错过最佳治疗时机,危及生命;而假阳性结果则可能让患者承受不必要的心理压力和额外检查的风险。因此,对基于 ML 的医疗器械进行全面的风险评估迫在眉睫。
为了解决这些问题,德国 Furtwangen University of Applied Sciences 的 Martin Haimerl 和 Christoph Reich 开展了深入研究。他们的研究成果发表在《BMC Medical Informatics and Decision Making》上,为该领域的发展指明了方向。
在研究方法上,他们主要采用了以下几种关键技术:一是文献研究法,通过在 PubMed 数据库检索相关文献,筛选出近 1 年的 30 篇论文,分析其中风险评估指标的使用情况;二是构建模型法,利用人工构建的基于修改后的高斯函数模型,来模拟错误分布和评估风险因素对性能指标的影响;三是法规分析法,依据欧盟相关法规和标准,分析风险评估方法与法规要求的契合度。
研究结果如下:
- 风险评估指标的使用情况:通过对 30 篇论文的分析发现,目前大多数科学出版物在评估 ML 模型性能时,仅使用标准化指标,未纳入风险因素。在被分析的论文中,只有极少数涉及风险预测或风险评估的内容,其中明确将风险考虑纳入评估的论文仅占 3.6%(1/30)。
- 风险因素对性能指标的影响:研究人员利用人工构建的模型,分析了不同风险比率对预期风险的影响。结果显示,风险比率的变化对模型的评估结果影响显著。例如,当风险比率cFN从 1.0 变为 10.0 时,预期风险的相对增加幅度可达 196%。这表明,忽视风险因素可能会导致对模型性能的评估出现偏差。
- 风险评估与法规要求的关系:根据欧盟的医疗器械法规(Medical Device Regulation,MDR)和相关标准,风险评估是医疗器械开发过程中的重要环节。研究人员分析了不同使用场景下的风险情况,如在疾病诊断和医疗器械质量检测场景中,风险因素差异较大。他们提出的基于风险的评估方法,在一定程度上符合现有法规要求,但由于 AI 法案相关标准尚未完善,仍存在不确定性。
在研究结论与讨论部分,该研究明确了基于风险的评估方法对于评估包含 ML 分类方法的医疗器械的必要性。目前科学论文在这方面的风险考虑严重不足,而该研究提出的评估方法与欧盟现行法规要求具有一致性,为后续研究和实践提供了重要参考。然而,研究也存在一些局限性,如文献分析时间范围有限,仅使用人工模型而未涉及真实场景模型,且未考虑正确分类的成本等复杂情况。尽管如此,该研究仍具有重要意义,它为更科学、全面地评估基于 ML 的医疗器械提供了新的思路和方法,推动了该领域朝着更安全、有效的方向发展。未来,随着法规标准的不断完善和技术的进步,基于风险的评估方法有望在医疗器械领域得到更广泛的应用,为医疗行业的发展注入新的活力。