数据集大小对神经解剖分割基础模型微调的影响：验证基础模型假设

《MEDICAL PHYSICS》：Impact of dataset size on fine-tuning foundation models for neuroanatomic segmentation: Testing the foundation model hypothesis

本研究对比了SAM、MedSAM与标准UNet模型在神经解剖结构分割任务中的性能，发现UNet在数据量减少时仍表现更优，支持模型需根据任务特性评估的观点。

　　

摘要

背景

基础模型在医学成像领域展现了显著的潜力，它们通过在通用数据集上进行大规模预训练，从而能够针对特定任务进行微调。这对于标注数据稀缺的任务尤其有益。然而，一个关键的假设是，这些模型能够比现有的最先进模型更高效地从少量训练数据中学习。

目的

本研究旨在评估两种主要的基础分割模型（SAM和MedSAM）在针对不同数据集规模进行微调后，用于分割神经解剖结构的性能，并将其与标准的完全监督式UNet模型进行比较。

方法

本研究使用了来自人类连接组项目（Human Connectome Project）的1,113张T1加权3D MRI图像，以及由Freesurfer生成并经过手动细化的93个灰质和白质区域的分割结果。数据集被分为891张（80%）训练MRI图像、111张（10%）验证MRI图像和111张（10%）测试MRI图像。首先对SAM和MedSAM模型进行微调，并使用Dice分数与标准UNet模型进行比较，以确定使用所有训练3D体积时的基线性能。随后，进一步在不同数量的训练体积上对MedSAM和UNet模型进行微调，以评估随着数据集规模减小时的性能表现，甚至在没有MRI数据的情况下（即零样本情况）对MedSAM和SAM模型进行测试。

结果

使用整个训练集，UNet在大多数区域的性能优于MedSAM和SAM，中位数Dice分数分别为0.88、0.82和0.84（p < 0.001）。随着数据集规模的减小，UNet在三个研究区域的性能仍然与MedSAM相当或更好，即使是在仅使用单个3D体积的情况下也是如此。在零样本设置中，SAM和MedSAM也显示出一定的分割能力，总体中位数Dice分数分别为0.66和0.59。

结论

即使在训练数据极其有限的情况下，SAM和MedSAM的表现也不优于标准的UNet模型，这与基础模型的假设相反。这表明，在数据量较少的情况下，基础模型并不一定能够带来比标准分割模型更好的微调性能。相反，基础模型的潜在优势将取决于具体任务的特点以及所使用的基础模型的特性和能力。因此，对于每个不同的应用，都必须与标准的监督式深度学习方法进行基准测试，以证明使用基础模型的附加值。

利益冲突声明

作者声明没有利益冲突。

数据可用性声明

所有代码均可在github.com/KarthikNair1/HCP_MedSAM获取。人类连接组项目的数据集可在humanconnectome.org/study/hcp-young-adult/data-releases获取。