多模态大语言模型在农村皮肤病灶诊断中的准确性、分流安全性与可重复性评估

《BMC Medical Informatics and Decision Making》：Evaluating large language models for skin lesion diagnosis and triage in rural settings

　　

摘要

引言

皮肤癌是全球发病率和死亡率不断上升的原因之一。农村人群因紫外线暴露更多且皮肤科医疗服务可及性有限，风险更高。尽管大语言模型（LLMs）越来越多地用于健康信息领域，但其准确诊断和分流皮肤病灶的能力仍不确定。

目的

评估多模态大语言模型在解读代表农村临床实践的皮肤病灶时的诊断准确性、分流安全性和可重复性。

方法

使用来自加拿大农村诊所的34例经组织病理学确诊的皮肤病灶，对来自三个开发者（OpenAI、Google和Anthropic）的七个多模态大语言模型进行评估。该数据集包含恶性与非恶性病灶的宏观图像和皮肤镜图像配对。每个模型使用标准化提示词，对每张图像独立评估五次。

结果

共生成2,380个模型输出结果。各模型诊断准确率差异较大（39.4%至72.1%）。Claude Opus 4.8准确率最高（72.1%），且在敏感性、特异性和可重复性方面达到最佳整体平衡。GPT-5.5 Instant特异性最低且过度分流率最高，而Gemini 3.5 Flash敏感性最低且误分类率最高。恶性病灶的安全分流率范围为36%至87%。与宏观图像相比，皮肤镜图像显著提高了AI性能（OR，1.65；95% Cl，1.30–2.10；p?<?0.001）。自报的诊断置信度与模型性能相关性较差，大多数模型在重复运行中的诊断可重复性为中等至几乎完美。

结论

多模态大语言模型可以解读皮肤病灶图像，但尚不具备独立诊断或分流所需的准确性、一致性和安全性。性能更高的模型可作为有监督的决策支持工具发挥作用，但自主使用存在诊断错误的风险，可能加剧农村医疗不平等。

临床试验编号

不适用。