基于模糊知识与多模态大语言模型的超声报告生成系统：提升跨解剖区域诊断效率的创新框架

《Expert Systems with Applications》：Ultrasound report generation with fuzzy knowledge and multi-modal large language model

本研究针对超声影像报告自动化生成中存在的跨解剖区域统一框架缺失、图像噪声干扰及临床语义准确性不足等关键问题，提出融合模糊理论与多模态大语言模型（MLLM）的创新解决方案。通过构建基于Llava-OV架构的混合专家系统，结合放射组学特征提取与事实一致性评估机制，在公开数据集及中山大学附属第一医院等机构的临床数据验证中实现SOTA性能，显著提升报告生成的临床适用性与跨站点认知精度。

　　

超声影像作为非侵入性诊断工具，在软组织病变检测中具有不可替代的优势，但其依赖人工操作导致的成像差异与实时解读压力日益凸显。尽管深度学习技术如CNN-LSTM架构在医学报告生成领域取得进展，超声图像特有的低清晰度、运动伪影及组织声学伪影（如Yoon等报道的软组织声波传播干扰）仍导致传统方法难以构建跨解剖区域的统一描述框架。中山大学附属第一医院联合佛山三水医院的研究团队在《Expert Systems with Applications》发表研究，通过融合模糊理论与多模态大语言模型（MLLM），首次实现覆盖乳腺、甲状腺、肝脏的多站点超声报告自动化生成。

研究采用三大核心技术：1）基于Llava-OV架构改进的多模态模型，通过指令微调对齐超声图像与文本特征；2）模糊知识提取模块（fuzzy-MLP），利用放射组学统计特征构建零样本学习提示；3）混合专家映射层（mixture-of-experts）增强解剖区域特异性识别。实验数据包含Li等构建的7,390例公开数据集（乳腺3,521例/甲状腺2,474例/肝脏1,395例）及合作医院采集的15,000例临床数据。

Expert System-Enhanced Multimodal Large Language Model
通过集成模糊知识嵌入与事实评估系统，模型在乳腺囊肿描述中准确率提升23.6%，显著优于传统RNN架构。模糊-MLP模块成功提取甲状腺结节钙化特征的纹理参数（如熵值_texture
），解决超声图像信噪比低导致的特征丢失问题。

Public dataset验证
跨站点测试显示，模型在肝脏血管瘤描述中的F₁
-score达0.872，证明其适应不同医疗中心的设备差异。外部验证集（佛山三水医院）证实模型对呼吸运动伪影的鲁棒性。

Limitations
研究存在可解释性不足的缺陷——虽然模糊-MLP提供解剖引导，但决策过程仍为黑箱。此外，训练数据未涵盖儿科等特殊人群，可能影响泛化能力。

Conclusion
该框架通过放射组学特征与MLLM的协同优化，突破超声报告生成的跨区域适配瓶颈。事实一致性机制较传统余弦相似度评估更符合临床语义需求，为AI辅助诊断提供新范式。未来工作将扩展至超声心动图等动态影像领域。

研究团队开源代码于GitHub平台，并声明无利益冲突。第一作者Ziming Li负责核心算法设计，通讯作者Qinghua Huang指导临床验证。这项成果标志着超声AI从单一病灶分析迈向全解剖区域智能诊断的重要突破。