将临床指标和患者人口统计数据结合起来，用于多标签异常分类以及3D胸部CT扫描中的自动化报告生成

《Frontiers in Radiology》：Integrating clinical indications and patient demographics for multilabel abnormality classification and automated report generation in 3D chest CT scans

本研究提出一种结合3D CT扫描、临床指示和人口统计信息的多模态深度学习模型，用于异常分类和自动化报告生成，显著提高了诊断准确性和报告质量。

　　随着医学影像技术的不断进步，三维（3D）计算机断层扫描（CT）已经成为诊断多种疾病的重要工具。然而，随着CT检查数量的持续增加以及人工分析过程的繁琐性，放射科医生在面对日益增长的工作量时面临巨大挑战。因此，开发高效、自动化的分析方法成为研究的重点，以减轻医生的工作负担并提高诊断效率。在现有的研究中，深度学习方法主要关注于从3D CT图像中分类异常情况，但放射科医生在实际诊断过程中还结合了临床信息和患者的人口统计学特征，例如年龄和性别。这一研究提出了一种多模态的深度学习模型，将3D胸部CT图像、临床信息报告、患者年龄和性别等非影像数据结合起来，以提升异常分类的准确性并实现自动化报告生成。该方法通过分别提取视觉特征、文本特征和人口统计学特征，并将这些特征映射到共享的表征空间，最终通过投影头预测异常情况。实验结果显示，这种多模态融合策略在多标签分类任务中提升了F1分数6.13%，在报告生成任务中则分别提升了14.78%和6.69%。这些成果表明，将临床信息和人口统计学数据纳入深度学习框架能够显著改善CT图像的自动分析效果，为临床实践中的异常检测提供更加全面和准确的辅助。

放射科医生在进行CT图像分析时，通常会结合患者的基本信息和临床背景，以提高诊断的准确性和全面性。例如，某些异常如肺部结节可能非常微小，需要放射科医生特别关注，以避免遗漏。同时，患者的年龄和性别等人口统计学信息也会影响某些病理特征的出现频率，如肺气肿和心包积液。因此，研究者们逐渐意识到，仅依靠影像数据进行异常分类可能无法充分捕捉临床背景下的复杂信息。这一研究正是基于这样的背景，提出了一种结合影像与非影像信息的多模态方法，旨在提升异常分类的准确性，并生成更符合临床需求的报告。在方法设计上，该模型采用了三个独立的模块：视觉特征提取、临床信息特征提取以及人口统计学特征提取。视觉特征通过3D卷积网络或Transformer架构进行提取，而临床信息则利用预训练的语言模型进行特征提取，人口统计学信息则通过一个轻量级的全连接网络进行处理。这些特征随后被映射到统一的表征空间，并通过分类头进行预测。这种多模态融合策略不仅能够提高分类性能，还能增强模型对临床背景的理解能力，从而生成更具临床意义的报告。

在模型的具体实现中，研究人员对多种深度学习方法进行了比较和改进。例如，他们将传统的CT-Net模型与基于Transformer的ViViT模型进行对比，发现两者在引入临床信息和人口统计学数据后都能取得更好的效果。同时，他们还对两种已有的报告生成方法进行了扩展：CT2Rep和CT-AGRG。CT2Rep是一种端到端的报告生成方法，而CT-AGRG则是一种引导式方法，先进行异常检测，再生成详细描述。研究人员将临床信息和人口统计学数据作为输入，显著提升了这些方法的性能。实验结果显示，CT2Rep在引入临床信息后，F1分数提高了14.78%，而CT-AGRG则提高了6.69%。这些结果表明，临床信息和人口统计学数据对报告生成任务具有重要的辅助作用，能够帮助模型更好地理解患者的状况，从而生成更准确和详细的报告。

为了验证模型的有效性，研究人员使用了CT-RATE数据集，该数据集包含了50,188个3D胸部CT图像以及相应的临床信息和患者年龄、性别等数据。通过对数据集的划分，研究人员将数据分为训练集、验证集和测试集，确保了模型的泛化能力。在数据预处理阶段，CT图像的分辨率被调整为240×480×480，并且Hounsfield单位（HU）值被裁剪到[-1000, 200]范围内，以增强模型的训练效果。此外，年龄数据被归一化到[0, 1]区间，性别则被编码为二进制变量（0表示女性，1表示男性）。这些预处理步骤不仅有助于模型更好地理解数据，也为后续的特征提取和融合奠定了基础。

在实验设计方面，研究人员对多模态融合策略进行了详细的评估。他们首先对不同特征提取模块的影响进行了分析，发现使用预训练的RadBERT模型能够显著提升临床信息的表征能力。随后，他们对辅助信息（如患者年龄和性别）的贡献进行了研究，发现单独引入这些信息也能带来一定程度的性能提升。然而，最显著的提升来自于将视觉、文本和人口统计学信息进行融合。实验结果表明，这种融合策略在多标签分类任务中，F1分数比单一模态模型提升了6.13%，而在报告生成任务中，分别提升了14.78%和6.69%。这些结果进一步验证了多模态融合在医学影像分析中的优势，即通过整合不同来源的信息，模型能够更全面地捕捉异常特征，从而提高诊断的准确性和可靠性。

此外，研究人员还进行了消融实验，以评估各个模块对整体性能的贡献。他们分别测试了仅使用临床信息、仅使用人口统计学信息、仅使用影像数据以及多模态融合的情况。结果显示，多模态融合在所有评估指标上都优于单一模态方法，特别是在F1分数和AUROC指标上，多模态融合模型的性能显著优于其他方法。这表明，不同模态之间的信息互补性对模型性能具有重要影响。同时，研究人员还比较了不同的融合策略，如简单的拼接和跨模态注意力机制，发现简单的拼接方法在当前数据集上表现更优，可能是因为该数据集规模相对较小，而更复杂的交互机制需要更多的数据支持。这一发现对未来的模型设计具有指导意义，即在数据规模有限的情况下，应优先选择简单有效的融合策略。

在报告生成任务中，研究人员引入了两种新的评估指标：自然语言生成（NLG）指标和临床效用（CE）指标。NLG指标用于衡量生成文本与真实报告之间的相似性，包括BLEU-1、ROUGE和BERTScore等。而CE指标则更关注生成报告在临床意义上的准确性，例如是否正确识别了异常类型、是否符合医学规范等。通过这些指标，研究人员能够全面评估模型在不同任务中的表现。实验结果显示，引入临床信息和人口统计学数据后，CT2Rep和CT-AGRG的性能均有所提升，尤其是在F1分数和召回率方面。这表明，这些辅助信息不仅有助于提高分类的准确性，还能增强报告生成的临床相关性。

该研究的创新之处在于其对多模态融合策略的探索和应用。通过结合影像、文本和人口统计学信息，模型能够在复杂的临床背景下更准确地识别异常，并生成结构化、符合医学术语的报告。这种方法不仅提升了模型的性能，还为未来的医学影像分析提供了新的思路。例如，可以进一步探索其他类型的临床数据，如病史、实验室检查结果等，以增强模型对患者整体状况的理解。此外，研究人员还提到，当前模型在数据集选择上存在一定局限，未来可以考虑使用更多的外部数据集进行验证，以减少潜在的偏差并提高模型的泛化能力。

总体而言，这项研究展示了多模态深度学习在医学影像分析中的巨大潜力。通过将影像、文本和人口统计学信息进行融合，模型能够更全面地捕捉异常特征，提高分类和报告生成的准确性。然而，研究也指出了一些需要进一步探索的问题，例如如何在不同数据规模下选择合适的融合策略，以及如何进一步扩展模型以纳入更多类型的临床信息。这些挑战为未来的医学影像分析研究提供了重要的方向，同时也强调了在实际应用中，多模态数据的整合对于提升诊断效率和准确性的重要性。随着医学数据的不断积累和深度学习技术的持续发展，多模态方法有望成为医学影像分析的重要工具，为放射科医生提供更加智能化的辅助支持。