《npj Breast Cancer》:DynamicBUS: restoring temporal dynamics from static ultrasound for improved breast cancer diagnosis
编辑推荐:
临床实践中,将动态乳腺超声(breast ultrasound, BUS)检查中的静态二维图像存档会丢失关键的时间信息,从而限制了计算机辅助诊断系统。研究人员提出一种新框架,通过计算方式恢复丢失的时间动态以提高诊断准确性。该框架首先使用专用生成模型从静态关键帧
临床实践中,将动态乳腺超声(breast ultrasound, BUS)检查中的静态二维图像存档会丢失关键的时间信息,从而限制了计算机辅助诊断系统。研究人员提出一种新框架,通过计算方式恢复丢失的时间动态以提高诊断准确性。该框架首先使用专用生成模型从静态关键帧合成BUS视频。研究人员引入关键帧条件化策略,在生成有用动态线索的同时确保病灶的解剖保真度得以保留。随后,高保真静态图像和合成视频被输入图像-视频网络(Image Video network, IV-Net),这是一个双分支融合网络,将原始空间细节与恢复的时间上下文整合以进行稳健分类。在内部和外部数据集上的评估表明,该框架优于仅依赖静态图像的方法,分别达到94.13%和82.55%的曲线下面积(area under the curve, AUC)。此外,一项读者研究表明,生成的视频对专家而言难以与真实视频区分,并提高了诊断性能。总体而言,该方法展示了生成模型恢复丢失信息的潜力,为可靠的BUS诊断铺平了道路。
乳腺超声(BUS)检查本质上是一种动态成像过程,放射科医师通过探头扫查组织,观察病灶的形态、回声及形变随时间的变化,从而区分良恶性。然而,临床实践中通常只存档少数代表性静态二维图像,而将动态视频丢弃,这导致计算机辅助诊断系统缺乏关键的时间信息。Automated Breast Ultrasound(ABUS)虽可自动获取全容积数据,但在多数机构尚未普及。已有研究表明,基于BUS视频的模型比基于静态图像的模型诊断效果更好,但受限于临床数据现实,其实际应用严重受阻。生成模型的发展为从静态图像恢复时间动态提供了新可能,但此前尚无针对静态BUS图像生成可用于诊断的动态视频的研究。为此,研究人员提出DynamicBUS框架,旨在通过生成模型计算性地恢复丢失的时间动态,从而提升乳腺癌超声诊断的准确性。该研究发表在《npj Breast Cancer》。
研究人员开展的研究分为两个阶段:首先,利用帧感知视频扩散模型(Frame-Aware Video Diffusion Model, FVDM),提出关键帧锚定策略,从静态BUS图像合成16帧动态视频;然后,设计图像-视频网络(IV-Net),通过双分支结构融合原始静态图像的高保真空间细节与生成视频中的时间动态信息,进行良恶性分类。研究在内部BUSBRA数据集上进行五折交叉验证,并在外部BrEaST数据集上评估,同时开展放射科医师读者研究验证生成视频的临床可用性。
关键技术方法包括:使用FVDM作为视频生成骨干,该模型采用矢量时间步机制(vectorized timestep)和概率时间步采样策略(probabilistic timestep sampling, PTS),使不同帧可具有独立噪声水平;在推断时,将输入的静态图像置于16帧序列的中间位置(第8帧),并设置其时间步为0作为干净锚点,其余帧执行标准扩散去噪,实现双向时间合成。分类网络IV-Net中,图像分支采用ResNet提取空间特征,视频分支采用Multiscale Vision Transformers(MViT)提取时空特征,并设计混合融合模块,结合基于双向交叉注意力(bidirectional cross-attention, BCA)的早期融合与基于多层感知机(MLP)的晚期融合。样本队列方面,视频生成模型训练使用BUSV数据集(188个视频片段,113例恶性、75例良性,其中148例训练、40例验证,共25,272张图像);分类评估使用BUSBRA和BrEaST数据集。
**视频生成性能**:通过消融实验比较不同条件帧位置,发现以中间帧(第8帧)作为条件锚点生成视频的Fréchet Video Distance(FVD)最低,优于首帧、末帧等位置。与无条件生成的FVDM和Latte相比,图像条件输入能产生更真实的结果。与MCVD及现有大规模图像到视频(I2V)方法相比,该方法获得最低FVD(118.31)、最高峰值信噪比(PSNR,21.01)和结构相似性指数(SSIM,0.44),以及最低的感知相似性指标(LPIPS,0.25)和纹理相似性指标(DISTS,0.16),表明生成视频在视觉质量和与真实视频分布对齐方面均优于基准方法。
**读者研究**:邀请一位有5年经验的乳腺超声放射科医师进行盲法评估。在真实性评估中,医师区分真实视频与合成视频的平均准确率为58.2%,仅略高于随机水平(50%),且对两类视频的诊断质量评分中位数均为3,说明生成视频在视觉可信度和临床保真度上与真实视频基本不可区分。在诊断评估中,仅提供静态图像时,医师对乳腺影像报告和数据系统(BI-RADS)评分的准确率为40%;在额外播放生成视频后,准确率提升至51%,表明生成的动态信息有助于改善诊断。
**不同方法的分类性能比较**:在BUSBRA数据集上通过五折交叉验证,并与图像分类模型(ResNet、ViT、DINOv2、SwinTrans)及视频分类模型(MViT)比较,IV-Net取得最优性能,AUC达94.13%±2.42%;在BrEaST外部数据集上,AUC为82.55%±1.79%(p<0.05)。同时,基于视频的方法优于部分基于图像的方法,而同时使用原始图像和生成视频的IV-Net进一步优于单独使用任一模态,证明静态图像与生成视频的信息互补具有重要价值。
**不同设置下的分类性能比较**:将生成的16帧视频均匀降采样为4帧和8帧进行实验,发现16帧时整体性能最佳,降低帧数会带来轻微性能下降,说明生成视频有效捕获了可用于分类的时间信息。比较早期融合、晚期融合和混合融合策略,结果显示混合融合在多数指标上最优,表明在特征层面和决策层面同时整合模态信息具有优势。此外,在不同图像编码器骨干(如ResNet等)上加入生成视频后,分类性能较仅使用静态图像均有提升,进一步验证了生成视频的普适增益。
讨论部分指出,传统I2V方法通常以首帧为条件进行单向生成,而该方法允许任意帧作为条件锚点,将任务变为围绕固定临床锚点的双向合成,这要求扩散模型能够处理同一视频中不同帧的异构噪声状态。FVDM的矢量时间步设计和PTS为此提供了必要支持。读者研究中放射科医师诊断准确率低于常规临床诊断,原因在于数据集仅提供B模式BUS,而实际BI-RADS评分依赖临床信息、多模态超声(如彩色多普勒)以及病灶位置等额外信息。该研究亦存在局限性:视频生成仅基于静态图像,可能产生误导性信息;生成视频可能引入颜色偏移、模糊或图表闪烁等伪影;扩散模型推理速度较慢。未来工作将引入病灶掩膜、文本描述和临床信息以辅助视频生成,并尝试加速生成过程。
研究结论可翻译为:研究人员解决了乳腺超声诊断中动态视频数据常被静态图像取代而丢失的关键问题,提出一种通过计算恢复这些丢失的时间动态以提高分类准确性的诊断框架。该框架首先使用带有关键帧条件化策略的扩散模型从静态帧合成逼真的BUS视频,以确保解剖保真度;随后,协同设计的双分支IV-Net将原始图像的空间信息与生成视频中恢复的时间上下文进行融合。实验表明,该集成方法优于单独使用静态图像或单独使用现有视频的方法。未来工作将集中在生成长视频序列、加速采样速度以及在更广泛数据集上验证其有效性。此外,这种生成性恢复范式可扩展到其他经常丢失时间数据的超声应用中,为克服临床数据存档局限的新一类计算机辅助诊断系统铺平道路。