通过共享低秩矩阵恢复进行特征分解，以生成CT报告

《IEEE Transactions on Medical Imaging》：Feature Decomposition via Shared Low-rank Matrix Recovery for CT Report Generation

生成医学图像报告旨在提供客观诊断依据并减轻放射科医生负担。现有研究多集中于胸部X光（单张或少量图像），对CT等含大量连续切片的医学图像关注不足。本文提出共享低秩矩阵恢复（S-LMR）和连续切片编码（CSE）结合方法：S-LMR分离共享解剖模式与病灶特征，CSE建模切片间连续性及渐进变化，经大语言模型（LLM）生成报告。实验表明该方法在CT报告生成基准数据集上优于现有模型，有效提升报告准确性。

　　

摘要：

为医学图像生成报告是医学自动化中的一个重要任务，这不仅提供了有价值的客观诊断证据，还减轻了放射科医生的工作负担。许多现有研究主要集中在胸部X光片上，这类图像通常只包含一张或几张图片，而对其他类型的医学图像（如包含大量连续图像的计算机断层扫描（CT）关注较少。许多关于CT报告生成（CTRG）的研究依赖于卷积网络或标准Transformer来模拟CT切片表示，并将它们结合起来以获取CT特征，但很少有研究关注细微的病变特征和体积连续性。在本文中，我们提出了共享低秩矩阵恢复（S-LMR）方法，将CT切片分解为共享的解剖模式和以病变为中心的特征，并结合连续切片编码（CSE）来明确模拟切片间的连续性并捕捉相邻切片之间的渐进变化，随后将这些特征与大型语言模型（LLM）集成以生成报告。具体而言，S-LMR将常见模式与稀疏的以病变为中心的特征分离出来，以突出临床上的重要信息。基于S-LMR的输出，CSE在专用Transformer编码器中捕捉切片间的关系，并将生成的视觉特征与文本信息对齐，从而指导LLM生成CT报告。在CTRG的基准数据集上的实验结果表明，我们的方法优于强大的基线和现有模型，展示了先进的性能。进一步分析证实，S-LMR和CSE能够有效捕捉关键证据，从而生成更准确的CT报告。