编辑推荐：
在医疗领域，多模态大语言模型（LLMs）应用广泛但可靠性存疑。研究人员针对皮肤疾病识别，测试 ChatGPT-4 和 LLaVA-1.6 性能，评估性别和年龄偏差。结果显示，LLMs 表现良好且 ChatGPT-4 更公平。这为皮肤科应用提供依据，助力医疗诊断。
在当今科技飞速发展的时代，人工智能（AI）已逐渐渗透到医疗领域的各个角落。其中，大语言模型（LLMs）的出现，如 OpenAI 的 Chat Generative Pre-trained Transformer（ChatGPT），为医疗诊断带来了新的可能。然而，随着其在医疗场景中的应用逐渐增多，诸多问题也浮出水面。一方面，人们对其在医疗应用中的可靠性存在担忧，毕竟医疗诊断关乎患者的生命健康，任何错误都可能引发严重后果；另一方面，公平性问题也备受关注，例如模型在不同性别、年龄群体中的表现是否一致，是否会对某些群体存在偏见，这些都是亟待解决的重要问题。
在此背景下，为了探索多模态 LLMs 在皮肤疾病识别中的实际应用，并评估其在性别和年龄方面的偏差，来自未知研究机构的研究人员开展了一项重要研究。该研究成果发表在《Health Data Science》上。
研究人员主要运用了以下几种关键技术方法：首先，使用了 HAM10000 数据集的子集，该数据集包含约 10,000 张皮肤镜图像，涵盖 3 种皮肤疾病（黑色素瘤、黑素细胞痣和良性角化样病变），为研究提供了丰富的数据支持；其次，将 ChatGPT-4 和 Large Language and Vision Assistant（LLaVA）v1.6 与多种深度学习模型进行对比，包括基于卷积神经网络（CNN）的 VGG16、ResNet50、Model Derm，以及基于视觉 Transformer 的 Swin-B 等，通过对比评估不同模型的性能；最后，采用了卡方检验和平均优势差异（AOD）等公平性评估指标，对模型在不同性别和年龄群体中的表现进行量化分析。
下面来看具体的研究结果：
- 数据集和实验设置：研究人员从 HAM10000 数据集中选取了 8,917 张图像，涉及 3 种皮肤疾病，对数据进行平衡处理后得到 3,327 张图像的数据集，并随机划分出测试集和训练集。同时，将样本按性别分为女性和男性两组，按年龄分为年轻（0 - 39 岁）、中年（40 - 59 岁）和老年（60 + 岁）三组。在参数设置方面，对不同模型进行了相应的训练和优化，如 Swin-B 模型训练时设置了学习率为 5×10-5，最大训练 50 个 epoch 等。
- 有效性评估：在皮肤病识别任务中，ChatGPT-4 和 LLaVA-1.6 整体准确率高于基于 CNN 的基线模型，但低于 Swin-B。ChatGPT-4 在识别黑色素瘤方面表现出色，尤其在年轻群体中准确率高达 0.792；而 LLaVA-1.6 在识别良性角化样病变方面表现突出，老年组的准确率可达 0.813。此外，通过分析混淆矩阵发现，ChatGPT-4 易将良性角化样病变误判为黑色素瘤，VGG16 和 ResNet50 也存在类似误判情况。
- 公平性评估：从公平性评估结果来看，ChatGPT-4 在性别和年龄组中表现出最高的公平性，无显著性能差异；LLaVA-1.6 在性别组中存在显著偏差，尤其在黑素细胞痣样本中；Swin-B 在年龄组中对黑素细胞痣样本存在显著偏差。其他基线模型如 VGG16、ResNet50 和 Model Derm 也存在不同程度的性别和年龄偏差。
- 货币和时间成本分析：零样本 LLMs 无需训练时间，但推理时间长，且预测需人工解释，成本较高，如 ChatGPT-4 的 API 使用需付费；而本地训练的基线模型虽然训练时间长，但推理时间短，成本较低。
综合研究结论和讨论部分，该研究意义重大。研究表明，多模态 LLMs 在皮肤科应用中具有潜力，能为医生和从业者提供诊断建议和患者筛查帮助。然而，目前的研究仍存在一定局限性，如数据集单一、样本可能存在重复、实验仅进行一次等。未来需要使用更大、更多样化的数据集进行实验，开展提示的敏感性分析，评估更多多模态 LLMs 在各种皮肤病任务中的表现，以进一步提高模型的可靠性和公平性。这不仅有助于推动人工智能在皮肤科领域的应用，也为未来医疗诊断的发展提供了重要的参考方向，有望在医疗实践中实现更精准、公平的诊断服务，造福广大患者。
