编辑推荐:
医学影像标注数据匮乏制约 AI 在心力衰竭预测的应用。本研究针对此,探索自监督学习(SSL)在心脏超声分析的潜力,采用 DINO+STEGO 网络生成 “分割块”(parcels)。结果显示该方法鲁棒、可解释,为解决标注难题提供新路径。
心脏超声检查是评估心功能的重要手段,但传统 AI 模型依赖大量标注数据,而医学影像标注需专业医师耗时完成,尤其罕见病数据稀缺。同时,模型可解释性不足阻碍临床信任,如何在少标注甚至无标注情况下实现精准分析成为领域难题。为突破这一困境,国外研究团队开展了自监督学习在心脏超声领域的探索,相关成果发表于《Computers in Biology and Medicine》。
研究团队采用视觉 Transformer(ViT)架构的 DINO(self-DIstillation with NO labels)模型作为主干网络,结合改进的 STEGO(Self-supervised Transformer with Energy-based Graph Optimisation)网络,构建 STRAPTOR 模型。利用 EchoNet-Dynamic 和 CAMUS 数据集,通过自监督学习生成 “分割块”(parcels),即心脏解剖子区域的自分割输出,并验证其在不同患者和心动周期的鲁棒性与可解释性。
关键技术方法
- 主干网络与分割头:使用 DINO 预训练 ViT 提取特征,结合 RAPTOR(改进 STEGO)生成 parcels,通过对比学习优化特征空间,无需人工标注。
- 数据与评估:采用 EchoNet-Dynamic(10,030 例心尖四腔观序列)和 CAMUS(450 例心尖四腔 / 二腔观序列),以 Dice 系数评估分割性能,加权 kNN 分类心脏视图。
- ** parcel-to-segment 转换 **:通过重叠阈值、种群分数等参数筛选 parcels,结合主动轮廓模型优化分割边缘,实现解剖结构的精准界定。
研究结果
5.1 分割块稳定性
对比 k-means 聚类,RAPTOR 生成的 parcels 在不同患者和心动周期中位置稳定,89% 的左心室区域 parcels 保持固定,且与解剖标志(如心尖、瓣膜)高度吻合。临床专家验证其可解释性,为白盒模型设计提供基础。
5.2 超声图像分割
- DINO 训练策略:在 EchoNet-Dynamic 上预训练的 DINO+RAPTOR(K=64)表现最佳,左心室 Dice 分数达 80.11±8.53(ES 期)和 81.81±6.58(ED 期),接近半监督模型性能。
- 跨模态泛化:ImageNet 预训练 DINO 在心脏超声中展现一定泛化能力,但域内训练(EchoNet-Dynamic)仍为最优,提示结合通用与专用数据的潜力。
- 变换敏感性:EchoNet 训练模型对旋转、翻转敏感,而 ImageNet 训练模型更鲁棒,揭示性能与鲁棒性的权衡。
5.3 逐帧视图分类
基于 parcels 归一化面积的 5-kNN 分类器在 CAMUS 数据集实现 88.5% 总体准确率,其中心尖四腔观(A4C)达 93%,表明 parcels 特征可有效区分心脏视图。
结论与讨论
本研究通过自监督学习生成可解释的心脏 parcels,突破传统监督学习对标注数据的依赖,为罕见病分析和小数据集任务提供新范式。STRAPTOR 模型结合 ViT 和对比学习,不仅实现媲美半监督模型的分割性能,且 parcels 可直观反映解剖结构,增强临床信任。尽管在小结构分割和极端变换下仍有提升空间,但该方法为 AI 在医学影像的可解释性、鲁棒性和泛化性提供新方向,有望推动精准医疗和跨中心研究的发展。未来可探索结合更多模态数据、优化模型架构以捕捉细微结构,并深化 parcels 在下游任务的应用潜力。