多模态大语言模型:甲状腺相关性眼病评估的新利器

【字体: 时间:2025年05月07日 来源:Computers in Biology and Medicine 7.0

编辑推荐:

  甲状腺相关性眼病(TAO)评估存在挑战,研究人员探究多模态 AI 聊天机器人评估 TAO 的潜力。结果显示 ChatGPT-4o 准确性高,能生成评估工具。这为 TAO 评估提供新途径,有助于临床决策。

  在医学领域,甲状腺相关性眼病(TAO)是一种令人头疼的疾病。它是一种自身免疫性炎症性疾病,会 “攻击” 眼眶周围的结缔组织。得了 TAO 的患者可不好受,眼球突出、结膜充血、眼睑肿胀、眼睑退缩、复视等症状纷纷找上门,严重时甚至会出现视神经损伤。虽说 TAO 的诊断不算太难,但它就像个调皮的 “小怪兽”,经常复发和缓解,这可让医生们犯了难。为了准确把握病情发展,合理指导治疗,客观评估炎症程度就显得至关重要。目前,临床活动评分(CAS)和 NOSPECS 是常用的评估工具,可这些工具项目繁多,对于 TAO 这种相对少见的疾病,很多眼科医生和全科医生并不熟悉如何运用。
同时,人工智能(AI)技术在医学领域的发展如火如荼,人们也想借助它来实现 TAO 的客观评估。深度学习技术已经在 TAO 诊断和术后结果预测方面进行了尝试,可这些算法不够 “亲民”,操作界面不友好,数据输入输出管理也不方便,难以在临床广泛应用。而先进的大语言模型(LLMs)出现,似乎带来了新希望。它们能通过浏览器轻松访问,还能理解人类语言,使用起来非常便捷。像 ChatGPT-4o 这样的多模态 LLM,支持图像和语言输入,具备强大的推理和数据处理能力。但 LLMs 能否助力 TAO 评估,此前还无人研究。

为了解开这个谜题,研究人员开展了一项重要研究。他们聚焦于多模态 LLMs 在 TAO 评估中的潜力,主要研究对象是 ChatGPT-4o(OpenAI 公司产品)和 Gemini Advanced(谷歌公司产品)这两款在医学研究中广泛使用且表现出色的模型。研究成果发表在《Computers in Biology and Medicine》杂志上。

研究人员主要采用了以下关键技术方法:利用公开的病例报告和数据集,将其作为研究的 “素材库”。借助这些数据,让 ChatGPT-4o 开发基于网络的 CAS 计算器,并依据眼部外部照片估算 CAS 评分。同时,将 ChatGPT-4o 的预测结果与眼科医生的评估以及卷积神经网络(CNN)模型(如 ResNet50)的评估结果进行对比分析。

下面来看具体的研究结果:

  • 开发评估工具:ChatGPT-4o 成功开发出了自动化的 CAS 和改良 NOSPECS 分类计算器。它准确理解了 CAS 评分标准,对于改良 NOSPECS 分类,也系统地纳入了详细标准。生成的代码能帮助创建实用的临床计算器,为医生提供便利。
  • CAS 估算表现:ChatGPT-4o 在估算 CAS 方面表现优异。与两个数据集中眼科医生的参考评分相比,平均绝对误差分别为 0.39 和 0.45,准确性极高。在识别活动性 TAO(CAS≥3)方面,它的表现超过了 Gemini Advanced 和 ResNet50。在术前和治疗前的数据集中,ChatGPT-4o 的受试者工作特征曲线下面积(ROC-AUC)分别达到了 0.974 和 0.990,而 ResNet50 仅为 0.770 和 0.623,差距明显。而且,ChatGPT-4o 和定制 GPTs 结果相同,说明其性能稳定,无需额外定制。
  • 多模态处理能力:ChatGPT-4o 能有效处理文本和图像输入,不仅能提供 CAS 估算的详细解释,还创造了用户友好的计算器,方便快速评估 TAO。

研究结论表明,多模态 AI 聊天机器人,尤其是 ChatGPT-4o,在 TAO 评估方面潜力巨大。通过对公开病例报告和数据集的综合分析,ChatGPT-4o 在估算 CAS 和生成临床诊断工具方面表现出了卓越的准确性。与传统的 CNN 模型相比,它在识别活动性 TAO 上更胜一筹,拥有更高的准确性、敏感性等。这一研究成果意义非凡,为眼科医生、内分泌科医生和 AI 研究人员提供了新的思路和工具。它所开发的自动化、可解释的 CAS 计算器,提高了临床评估的便捷性和可及性,有助于更高效地进行临床决策。不过,该研究也存在一些局限性,比如样本量小、缺乏现实世界验证、依赖无患者元数据的照片以及可重复性存在挑战等。但这并不影响它为未来的研究指明方向,后续研究可以朝着在现实临床环境中验证其有效性的方向展开,进一步挖掘多模态 LLMs 在医学领域的无限可能。

相关新闻
生物通微信公众号
微信
新浪微博
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号