《Neural Networks》:Echo-DM: Ultrasound Marker Removal via Conditional Latent Diffusion and Region-Aware Fusion
编辑推荐:
•Echo-PAIR 提供了约 20,000 对临床超声标记去除图像。•Echo-DM 实现了无需遮罩的端到端推理以完成标记去除。•区域感知融合改善了标记去除效果并保持了完整背景。•Echo-DM 灵活兼容 VAE 和 RAE 潜变量模块,可实现质量与效率的权衡。•Echo-
- •
Echo-PAIR 提供了约 20,000 对临床超声标记去除图像。
- •
Echo-DM 实现了无需遮罩的端到端推理以完成标记去除。
- •
区域感知融合改善了标记去除效果并保持了完整背景。
- •
Echo-DM 灵活兼容 VAE 和 RAE 潜变量模块,可实现质量与效率的权衡。
- •
Echo-DM 超越了代表性的两阶段遮罩引导扩散基线方法。
引言
在日常临床实践中,超声图像通常包含叠加的标记,如测量游标、十字线和文字注释,这些标记用于定位病灶并记录大小相关信息。因此,医院历史超声档案中包含大量带标记的图像,而非原生干净图像。尽管这些标注对于随访检查和诊断比较是有用的,但直接使用此类带标记数据进行下游模型训练容易在自动化工作流程中引入捷径偏差(Yao 等,2020)。神经网络可能过度依赖这些高对比度的标记线索,而非从底层组织中学习具有临床意义的病理模式。如图 1 所示,在带标记的超声图像上训练会降低在干净输入上的下游性能,而去除标记的预处理有助于缩小这一差距。因此,为超声图像预处理开发准确且高保真的标记去除方法对于构建可靠且具有泛化能力的下游医疗 AI 系统具有重要意义(Li、Fu、Xu、Sham,2024;Si、Yang、Ye,2023;Yao、Yan、Wu、Yang、Zhang、Lu、Qian,2020;Ying、Zhang、Yu、Wei、Zhu、Gao、Liu、Shen、Zhang、Li 等,2020)。
现有的超声标记去除方法可大致分为三类:级联式遮罩恢复、端到端确定性重建和较新的基于扩散模型的恢复方法(Guo、Hu、Ni、Chai、Li、Wang,2024;Li、Fu、Xu、Sham,2024;Ying、Zhang、Yu、Wei、Zhu、Gao、Liu、Shen、Zhang、Li 等,2020;Zhang、Jiang、Xie、Cao 和 Teng)。基于遮罩的流水线通过先定位标记区域然后进行恢复来提供显式的区域控制,但其性能严重依赖遮罩质量且容易受到误差传播的影响(Li、Fu、Xu、Sham,2024;Ying、Zhang、Yu、Wei、Zhu、Gao、Liu、Shen、Zhang、Li 等,2020)。端到端确定性方法避免了外部遮罩并简化了推理,但在确定性重建目标下,它们往往难以保留精细的超声纹理和未受影响的背景(Guo、Hu、Ni、Chai、Li、Wang,2024;Ledig、Theis、Huszár、Caballero、Cunningham、Acosta、Aitken、Tejani、Totz、Wang 等,2017;Zhang、Jiang、Xie、Cao 和 Teng)。较新的基于扩散模型的方法提供了更强的生成先验,但当需要尽可能保留完整解剖区域时,忠实的标记去除仍然困难(Hansen、Glinskis、Raju、Kornreich、Park、Pawar、Herzog、Zhang 和 Odry;Lugmayr、Danelljan、Romero、Yu、Timofte、Van Gool,2022;Prochazka 和 Zeman,2025;Rombach、Blattmann、Lorenz、Esser、Ommer,2022)。因此,当前方法仍难以在去除标记的同时不引入对完整解剖内容的不必要修改。
为解决这一困境并实现最小必要编辑,我们提出了Echo-DM,一个基于条件潜变量扩散和区域感知融合的超声标记去除框架。Echo-DM 遵循统一的编码器-扩散-解码器(EDD)流水线,实现了生成-选择-精化的公式化表达:条件潜变量扩散网络(CLDN)从带标记的输入中生成中间恢复候选;区域感知融合(RAF)通过内部预测的软融合图选择候选与带标记输入在位置上的贡献;一个残差分支在图像空间中对最终合成结果进行精化。
CLDN 将带标记图像编码为直接的视觉条件,并学习恢复其配对干净图像的潜变量表示。与使用外部指定遮罩来定义补全区域的传统潜变量扩散修复公式不同,CLDN 使用配对的带标记-干净图像进行训练,在推理时仅接收带标记图像作为视觉输入。
在潜变量恢复和解码之后,RAF 模块显式利用条件潜变量恢复过程中形成的隐式空间感知能力:它使用带标记输入在编码器侧的特征与恢复输出在解码器侧的特征之间的差异作为估计软融合图的内部线索。该融合图在未受影响区域自适应地保留输入内容,同时在标记破坏区域引入恢复内容,一个轻量级残差分支进一步精化局部过渡。通过在潜变量解码后于图像空间执行选择和精化,RAF 是一种与潜变量模块无关的区域保真机制,可与不同的潜变量编码器-解码器实例集成。在同一条件恢复和融合原则下,Echo-DM 分别使用基于 VAE 和基于 RAE 的潜变量模块实例化为 Echo-DM-V 和 Echo-DM-R(Kingma 和 Welling,2014;Zheng、Ma、Tong 和 Xie)。所提出的框架将标记破坏的输入恢复到干净的组织外观,同时将未受影响区域的不必要修改降到最低。
为支持对我们方法的系统评估,我们建立了
Echo-PAIR,一个用于标记去除的大规模配对临床超声数据集。大量实验表明,Echo-DM 在局部恢复质量和全局保真度方面均表现出强劲性能。我们的主要贡献总结如下:
- •
我们将超声标记去除建模为一个生成-选择-精化过程:条件潜变量扩散生成恢复候选,而图像空间中的 RAF 在没有外部推理时遮罩的情况下选择性保留完整的输入内容并精化局部过渡。
- •
我们表明 Echo-DM 框架兼容基于 VAE 和基于 RAE 的潜变量编码器-解码器模块,可在不改变主要恢复流水线的情况下实现实际的质量-效率权衡。
- •
我们建立了Echo-PAIR,一个大规模且多样化的配对临床超声数据集,并展示了 Echo-DM 在标记区域恢复和全图像组织保真度方面的强大恢复性能。
章节摘要
相关工作
现有的超声标记去除研究可大致分为三类:两阶段基于遮罩的恢复、端到端确定性恢复和基于扩散模型的恢复(Guo、Hu、Ni、Chai、Li、Wang,2024;Li、Fu、Xu、Sham,2024;Ying、Zhang、Yu、Wei、Zhu、Gao、Liu、Shen、Zhang、Li 等,2020;Zhang、Jiang、Xie、Cao 和 Teng)。这些类别的主要区别在于如何定位受损区域以及如何在恢复与背景保真度之间取得平衡(Guo、Hu、
问题定义与概述
给定一张带有伪标记的超声图像,记为 xm,我们的目标是恢复相应的干净图像 ,同时保留未受影响解剖背景的纹理和结构完整性。与依赖显式标记遮罩的传统级联方法不同,我们旨在开发一种无需在推理时使用外部遮罩的高保真标记去除方法。除了有效去除局部遮挡之外,模型应避免引入不必要的
数据集与评估方案
数据集 我们在Echo-PAIR上进行了实验,这是一个在中国武汉市中心医院收集的大规模配对临床超声数据集,用于标记去除。该数据集包含约20,000对带标记-干净图像对(总计约40,000张图像),涵盖多种超声厂商、临床检查类型和真实设备生成的测量标注。每对图像对应从超声系统导出的同一检查帧,分别是临床
讨论
方法论定位 Echo-DM 解决的需求与通用超声合成或编辑不同。近期的解剖结构引导合成框架如 FetalFlex(Duan 等,2025)采用了区域条件策略:解剖结构图定义生成目标,扩散模型根据这些解剖先验合成内容,并通过重绘步骤协调区域边界。RAF 采取了一种根本不同的像素级方法。与其替换一个
结论
在本工作中,我们提出了Echo-DM,一个基于条件潜变量扩散和区域感知融合的超声标记去除框架,其中基于 DiT 的条件潜变量扩散网络负责全局图像恢复,而区域感知融合模块在图像空间中执行面向保真度的精化。该框架以阶段性方式训练,并在测试时进行端到端无遮罩推理。我们进一步建立了Echo-PAIR,一个大规模配对临床
伦理批准与知情同意
本研究已获得武汉市中心医院伦理委员会批准(伦理编号:WHZXKYL2026-090)。所有临床超声图像在分析前均已去标识化,委员会免除了个体知情同意的要求。
生成式 AI 和 AI 辅助技术披露
在准备本手稿过程中,作者使用了 ChatGPT(OpenAI)辅助语言润色。所有 AI 辅助的文本输出均由作者审核、编辑和验证,作者对本文章的内容承担全部责任。未使用生成式 AI 创建或修改临床超声图像或代表主要观察数据的其他图表。
CRediT 作者贡献声明
Wang Zhiwei(王志伟):撰写 – 初稿、验证、软件、方法论、形式分析、数据管理。Huang Tao(黄涛):撰写 – 初稿、验证、软件、方法论、形式分析、数据管理。Jiang Wentao(蒋文涛):撰写 – 审阅与编辑、可视化。Li Muyi(李沐怡):资源、调查。Liu Jianxin(刘建欣):资源、调查。Chen Jian(陈建):资源、项目管理、调查。Zou Jie(邹杰):可视化、概念化。Luo Yong(罗永):监督、概念化。Du Bo(杜博):
利益冲突声明
作者声明不存在可能影响本文所述工作的已知竞争性经济利益或个人关系。
王志伟|黄涛|蒋文涛|李沐怡|刘建欣|陈建|邹杰|罗永|杜博|张京