基于多任务多模态学习的肺结核胸片智能诊断模型PaliGemma-CXR的研发与应用

为解决非洲地区肺结核(TB)诊断中放射科医师短缺问题，乌干达研究团队开发了多任务多模态模型PaliGemma-CXR。该模型通过联合训练实现了胸片TB诊断(准确率90.32%)、视觉问答(VQA，准确率98.95%)、报告生成(BLEU 41.3)等五项任务，在资源有限条件下展现出显著临床价值。

　　

肺结核作为全球重大公共卫生威胁，每年导致数百万人感染，其中非洲地区负担尤为沉重。乌干达作为高发国家，面临放射科医师严重短缺的困境——传统胸片诊断需要专业医师解读，而当地每10万人口仅配备不到1名放射医师。这种供需矛盾使得大量疑似病例难以及时确诊，导致疾病传播风险加剧。尽管人工智能在医学影像分析领域展现出潜力，但现有模型存在三大瓶颈：一是依赖海量标注数据，二是任务单一化导致临床实用性受限，三是缺乏针对非洲本土数据的适应性训练。

Makerere University（乌干达）电气与计算机工程系的研究团队在《BMC Artificial Intelligence》发表创新成果，开发出名为PaliGemma-CXR的多任务多模态模型。该研究突破性地将TB诊断、视觉问答(VQA)、医学报告生成、目标检测和图像分割五项任务整合于单一框架，仅需1,149张本土胸片数据便实现优异性能。特别值得注意的是，模型在保持轻量化的同时，TB诊断准确率达90.32%，远超传统单任务模型85.48%的表现，为低资源医疗场景提供了高效解决方案。

研究团队采用三项关键技术：1）基于PaliGemma架构的多模态融合，通过SigLIP视觉编码器和Gemma-2B语言模型实现图文联合理解；2）创新性数据增强策略，从原始分割标注衍生出VQA、报告生成等多模态数据集；3）动态加权采样算法，平衡五项任务的数据量差异（比例6:9:6:1:8）。所有数据均来自乌干达四家医院（Mengo、Mulago等），经三名资深放射医师双重标注确保质量。

【方法学创新】

研究团队构建了乌干达首个多模态胸片数据集，包含1,149张带TB诊断标签的图像，其中784张具有精细的病变分割标注（如空洞、胸腔积液等9类特征）。通过智能数据转换技术，从这些基础标注自动生成3,117组VQA问答对和完整放射报告模板，显著提升数据利用率。模型训练采用"冻结视觉编码层+微调语言模型"策略，在NVIDIA A40显卡上仅需10个epoch即完成收敛。

【性能突破】

在核心TB诊断任务中，PaliGemma-CXR的90.32%准确率不仅超越ViT-H(82.26%)等视觉专用模型，其60.78%的宏召回率更显示出对阳性病例的敏锐捕捉能力。如图4所示，模型对活动性TB的识别准确率尤为突出：

视觉问答表现堪称惊艳，98.95%的闭端问题准确率创下新纪录。如表4所示，在需要空间理解的"定位"类问题中达成100%完美准确率，这归功于联合训练带来的跨任务知识迁移。典型案例如图5所示，模型能精确回答"图像中是否存在胸腔积液"等临床问题：

报告生成质量显著提升，BLEU-4得分41.3比单任务训练高25.5%。如图6所示，模型生成的报告包含规范的"检查所见"和"印象"两部分，能准确描述"左肺实变"等关键病变，尽管对右肺病变存在少量误判：

目标检测(mAP 19.4)和分割(mAP 16.0)性能虽低于专业模型，但作为辅助功能已足够支持临床决策。图7直观展示了模型对"肺不张"的定位与分割效果：

这项研究通过多任务学习范式成功突破数据瓶颈，其核心价值体现在三方面：首先，验证了联合训练能显著提升小数据场景下的模型性能，TB诊断准确率提升4.84个百分点；其次，首创将放射报告结构化生成与病变定位相结合，如图6所示的标准化输出大幅降低临床使用门槛；最重要的是，研究团队开发的动态采样策略有效解决多任务数据不平衡难题，如图3所示的收敛曲线证明各任务能同步优化：

当前模型在非TB感染识别（图4）和复杂病变描述（图5b）方面仍有改进空间，研究者建议通过增加罕见病例数据和引入放射科医师反馈循环来持续优化。随着乌干达科技部资助的临床决策系统部署计划推进，该成果有望每年服务超10万疑似TB患者，为消除结核病全球战略提供关键技术支撑。