D3-KD：无源域条件下基于数据扩散增强知识蒸馏的乳腺癌分割

《Neural Networks》：D3-KD: Breast Cancer Segmentation via Data Diffusion–Enhanced Knowledge Distillation under Source-Free Domain Conditions

　　

• •
  理论解释了在源域未知条件下知识蒸馏（KD）的收益与局限性。
• •
  D³-KD通过扩展目标域分布来减小域间差距。
• •
  漂移感知噪声协调机制稳定了引导扩散采样过程。
• •
  偏移起始采样策略兼顾了效率与生成保真度。

引言

乳腺癌仍是全球范围内威胁女性健康的主要疾病之一，其发病率居高不下（Bray, Laversanne, Sung, Ferlay, Siegel, Soerjomataram, Jemal, 2024, Castro, Pereira, Cardoso, 2023, Guan, Fan, Li, 2025, Zhang, Zheng, Zheng, Huang, Xi, Cheng, Yu, Chakraborty, Bonaccio, Takabe, et al., 2025）。早期诊断和及时治疗对于改善患者预后至关重要。超声（US）成像因其安全性、无创性以及有效的病灶检测能力，被广泛应用于乳腺癌早期筛查（Wang et al., 2024），及时的干预可以显著提高患者的预后和生活质量。为了实现准确且高效的病灶分割，医学分割模型必须在性能和可部署性之间取得平衡。知识蒸馏（KD）越来越多地被用于将高容量模型的结构知识迁移至轻量级网络，从而在有限的计算资源下实现可靠的分割效果（EL-Assiouti, Hamed, Khattab, Ebied, 2024, Li, Li, Wu, Xu, Zhou, Zhang, 2022, Yang, Yang, Huang, Jiang, 2025）。这一需求在乳腺超声成像中尤为关键，其特征为严重的斑点噪声、低对比度和模糊的边界，且常在便携式或即时诊疗设备上完成。这些因素促使研究者在乳腺超声分割中采用专门设计的知识蒸馏策略，以在保留教师模型判别能力的同时确保临床实用性。

然而，大多数经典知识蒸馏设置假设教师模型和学生模型在同一数据分布上训练，或数据分布可访问（Gou, Yu, Maybank, Tao, 2021, Himeur, Aburaed, Elharrouss, Varlamis, Atalla, Mansoor, Al-Ahmad, 2025, Ling, Jiao, 2025），这在临床场景中往往不现实（Conduah, Ofoe, Siaw-Marfo, 2025, Li, Cong, 2024）。由于隐私和数据共享的限制，教师模型的训练数据在蒸馏过程中通常无法获取，从而形成源域未知的知识蒸馏设置。当教师模型的源域未知时，教师与学生之间的域间差距可能削弱知识迁移效果，由此引发一个问题：知识蒸馏是否仍能提供稳定的收益。

为了探究其本质，我们从理论上分析了源域未知条件下知识蒸馏的可行性，发现即使在无法访问教师模型训练域的情况下，知识蒸馏仍可提供有效的知识迁移。然而，实验结果表明，其性能增益往往有限且不稳定。进一步分析表明，这一现象与训练分布和采样分布之间的不匹配（即训练-采样差距）密切相关。

当学生模型观测到的数据未能覆盖与教师决策边界相关的区域时，蒸馏信号的有效性受到限制，从而制约了整体收益。这表明仅依赖目标域数据不足以充分发挥源域未知知识蒸馏的潜力。因此，一种自然的策略是扩展目标域数据在潜在分布空间中的覆盖范围，以增加其与未知教师域的交集，从而缓解分布差异。

扩散模型（Du, Jiang, Tan, Wu, Dou, Li, Li, Wan, 2023, Ho, Jain, Abbeel, 2020）凭借其高保真度和多模态生成能力，在分布扩展方面展现出强大潜力，特别适合域不确定性和域偏移的场景。基于这一特性，我们提出了一个统一的数据扩散增强知识蒸馏框架，称为D³-KD，旨在通过显式扩大源域和目标域数据分布之间的重叠来改善跨域知识迁移。D³-KD的核心是一个基于扩散的高效目标数据增强模块，旨在在域不匹配条件下生成多样化且具有任务相关性的样本。

为此，我们开发了一个专门的生成框架，称为漂移校正高效扩散（DCED），从互补角度解决了迭代扩散采样中固有的两个挑战。具体而言，为缓解迭代采样过程中的偏差累积，我们设计了一种漂移感知噪声协调（DANR）机制，用于调控预测噪声的方向和幅度。为提高采样效率，我们进一步提出了一种偏移起始采样（SSS）策略，从较晚的时间步开始并将高斯噪声重新缩放以保持分布一致性。得益于理论分析和大量实验，DCED实现了高效且稳定的数据生成，扩展了目标域覆盖范围，最终提升了乳腺超声分割性能。

在乳腺超声分割上的大量实验表明，我们提出的D³-KD在域差异条件下持续提升了蒸馏性能，并验证了源域未知知识蒸馏的实用价值。本工作的主要贡献如下：

• •
  我们对源域未知条件下的知识蒸馏进行了理论分析，揭示其有效性密切依赖于训练-采样差距。我们的分析解释了为何在学生数据未能覆盖与教师决策边界相关的区域时，知识蒸馏仍可带来收益但有所局限。
• •
  我们提出了一种分布扩展的知识蒸馏范式D³-KD，通过所提出的DCED增强框架扩大目标域覆盖范围并增加其与未知教师域的重叠，从而缓解训练-采样差距。
• •
  我们提出了一种漂移感知噪声协调（DANR）机制，利用无条件噪声统计显式校准无分类器引导噪声的幅度，从而抑制扩散采样过程中引导引起的漂移累积。
• •
  我们引入了一种偏移起始采样（SSS）策略，从较晚的高信噪比时间步开始反向扩散过程，并使用方差对齐的噪声，避免早期易出错的阶段，同时保持分布一致性以实现高效且高质量的样本生成。

本文其余部分组织如下。第2节介绍乳腺癌症分割和知识蒸馏的相关工作。第3节阐述扩散模型的基础知识。第4节提供与非同质数据分布相关的理论分析，并描述所提出的基于知识蒸馏的乳腺癌分割框架。第5节进行大量实验评估以展示所提方法的有效性。最后，第6节总结全文并讨论未来工作的潜在方向。

章节摘要

乳腺癌分割

乳腺癌分割在计算机辅助诊断和临床决策支持中发挥着关键作用，促使近年来相关研究不断涌现（Cai, Zhao, Zhang, Tong, Wang, Zhang, Zhou, Yin, Jing, 2026b, Kuang, Woodruff, Granzier, van Nijnatten, Lobbes, Smidt, Lambin, Mehrkanoon, 2023, Li, Yan, Guo, 2026, Liu, Li, Yang, Zhao, Zhang, Yang, Dong, Deng, Zhu, Wang, et al., 2025）。一类代表性工作专注于增强乳腺

预备知识

本节简要回顾了与我们的框架相关的扩散模型公式和采样策略。我们聚焦于条件扩散模型、DDIM采样和无分类器引导，这些构成了我们后续关于预测漂移分析和漂移校正高效扩散框架的基础。

方法

在本节中，我们介绍了针对源域未知条件下的乳腺超声分割所提出的D³-KD框架。

与经典的域自适应设置中源域和目标域数据均可获取不同，我们考虑了一个更具挑战性的源域未知知识蒸馏设置，其中教师模型可用但其训练数据无法获取。我们首先提供理论分析，表明即使在源域

实验与分析

在本节中，我们进行了大量实验来评估所提出的D³-KD框架在真实源域未知临床场景下的表现。我们首先介绍实验设置，包括数据集、评估协议和实现细节。然后，我们与代表性的知识蒸馏方法和相关基线进行全面对比，以展示我们方法的总体有效性和通用性。最后，我们提供了深入的

结论与未来工作

在本工作中，我们研究了源域未知设置下的知识蒸馏，这是医学图像分割中一种实际但尚未充分探索的场景，其中教师模型的训练数据无法获取。针对乳腺超声分割，我们提供理论分析表明，在域不匹配条件下跨域知识蒸馏仍然可行，但其有效性从根本上受到有限目标域所

作者贡献声明

蔡佳怡（Jiati Cai）：论文初稿撰写、方法论、概念构思。王昆（Kun Wang）：可视化、验证、方法论。钟美惠（Meihui Zhong）：验证、方法论。张浩然（Haohan Zhang）：可视化、调查研究。佟雨欣（Yuxin Tong）：验证、数据管理。王俊人（Junren Wang）：方法论、数据管理。周帆（Fan Zhou）：指导、概念构思。晶晶（Jing Jing）：可视化、指导。尹瑾（Jin Yin）：指导、数据管理。

利益冲突声明

作者声明不存在任何可能影响本论文所报告工作的已知竞争性财务利益或个人关系。

蔡佳怡|王昆|钟美惠|张浩然|佟雨欣|王俊人|周帆|晶晶|尹瑾