用于环形肉芽肿分类的交互式多媒体系统：将变换器神经网络与临床决策支持相结合

《IEEE MultiMedia》：Interactive Multimedia System for Granuloma Annulare Classification: Integrating Transformer Neural Networks with Clinical Decision Support

皮肤疾病中肉芽肿性溃疡（GA）亚型分类存在视觉评估误差，本文提出基于CaiT架构的AI诊断系统，融合皮肤镜图像与患者数据，实现96.21%分类准确率，并配备注意力热力图等交互可视化模块辅助临床决策。

　　

摘要：

皮肤疾病对身体健康和心理健康都有显著影响，常常导致慢性不适、社交焦虑和生活质量下降。环状肉芽肿（Granuloma Annulare，GA）是一种罕见的炎症性皮肤病，分为五种亚型：泛发性、局限性、斑片状、皮下型和穿孔型。这些亚型在临床表现上常有重叠，使得诊断变得复杂。目前的临床实践主要依赖主观的视觉评估，这增加了误诊的风险。为了解决这些问题，我们开发了一种交互式多媒体诊断系统，该系统将皮肤镜图像数据与患者元数据整合到一个统一的人工智能框架中。通过采用“Transformer中的类注意力机制”（Class-Attention in Transformers，CaiT）架构，我们的模型能够有效融合多模态输入，从而准确区分GA的各个亚型，分类准确率达到96.21%，优于传统的诊断方法。除了预测性能外，该系统还配备了交互式可视化模块，如注意力热图和显著性叠加层，以提供可解释的输出结果，辅助临床医生的决策。这种高精度分类、多模态数据融合与交互式多媒体可视化的结合，代表了人工智能在皮肤病辅助诊断领域的重大进步，为更可靠和透明的临床工作流程奠定了基础。