STAMP：带掩码预训练的随机时间自编码器用于时间感知医学图像表示

《IEEE/ASME Transactions on Mechatronics》：Stochastic Siamese MAE Pretraining for Longitudinal Medical Images

　　摘要：时间感知的图像表示对于捕捉纵向医学数据集中3D体积的疾病进展至关重要。然而，近期最先进的自监督学习方法，如掩码自编码（MAE），尽管具有强大的表示学习能力，却缺乏时间感知。在本文中，我们提出了STAMP（带掩码预训练的随机时间自编码器），这是一种孪生MAE框架，通过以两个输入体积之间的时间差为条件，以随机过程编码时间信息。与确定性的孪生方法不同，后者比较不同时间点的扫描但无法解释疾病演变中固有的不确定性，STAMP通过将MAE重建损失重新定义为条件变分推断目标，以随机方式学习时间动态。我们在两个OCT数据集和一个MRI数据集上评估了STAMP，每个患者有多次就诊记录。经过预训练的STAMP ViT模型在晚期年龄相关性黄斑变性和阿尔茨海默病进展预测任务上，优于现有时间MAE方法和基础模型，这些任务要求模型学习疾病潜在的不可预测时间动态。