DINOSim：基于预训练DINOv2嵌入的显微镜图像免训练语义分割

《Microscopy Research and Technique》：DINOSim: Training-Free Semantic Segmentation on Microscopy Images

　　

研究人员提出DINOSim，一种无需大规模标注数据集或额外模型训练即可分割显微镜图像中对象的免训练（training-free）方法。DINOSim基于预训练的DINOv2图像编码器（image encoder），该编码器可捕获图像的语义信息。通过将图像块（image patches）的编码器特征与用户选定参考（reference）的特征进行比较，DINOSim生成伪标签（pseudo-labels）以指导语义分割（semantic segmentation）。随后，采用k近邻（k-nearest neighbors, k-NN）框架在新图像上细化预测。实验表明，DINOSim可在多种显微镜数据集中有效分割此前未见对象，性能与监督方法相当，同时避免了昂贵的人工标注。研究人员还研究了用户提示（user prompt）选择方式和模型规模的差异如何影响准确性与泛化能力（generalization）。为使该方法被广泛使用，研究人员提供开源napari插件（github.com/AAitorG/napari-DINOSim），使研究者能够轻松将DINOSim应用于自有数据。总体而言，DINOSim为生物图像分析（bioimage analysis）提供快速、灵活且实用的解决方案，在资源受限场景中尤其有价值。

研究背景与问题：生命科学中获取和标注分割用生物图像数据常昂贵耗时。成像方案、染色、设备校准和样本差异导致生物图像高度变异，构建大规模全面数据集困难，全监督模型训练受限。既有零样本投影/生成方法、交互式工具（ilastik、Trainable Weka Segmentation、Convpaint）和免训练方法；交互工具仍需主动训练更新参数。SAM（Segment Anything Model）擅长实例分割但需逐对象提示，缺乏分组相似对象的语义意识。DINOv2等自监督视觉基础模型提供高质量语义嵌入。研究人员假设其嵌入能在未见生物图像中识别有意义相似性，支持基于简单点提示的相似性分割。

研究开展、结论与意义：研究人员开发DINOSim，无需额外训练、微调或提示工程，以点提示参考生成伪标签并分割；在六个公开显微数据集上评测，比较监督、少样本、零样本和免训练方法，分析提示选择、提示数量、模型规模，并发布开源napari插件。结论是DINOSim可分割未见对象，优于CLIPSeg和Convpaint等少样本/零样本基线，部分结果接近或超过基于嵌入的监督分类器，但低于U-Net上限，且跨域较稳健。其意义是为标注和算力受限场景提供快速、灵活、实用的生物图像分析方案。

关键技术方法：以预训练DINOv2图像编码器提取图像块嵌入，将点提示经双线性插值映射为参考向量；计算嵌入各位置到参考向量的欧氏距离生成伪标签距离图，经高斯滤波、1%/99%分位裁剪和归一化；对新图像以k近邻（k-NN）检索并平均k个最近参考距离，经高斯平滑、双线性上采样和阈值化得到掩膜；大图用重叠分块处理。比较DINOv2 ViT-S/B/L/g及提示数量/选择。采用公开数据集VNC、Lucchi++、DeepBacs的Staphylococcus aureus（荧光/明场）与Escherichia coli（明场）、NucMM-Mouse为样本来源；以前景IoU（IoU_f）评价，对照包括k-NN、NB、DT、RF、MLP、U-Net、CLIPSeg和Convpaint。

研究结果：

4.1 数据集（Datasets）：纳入VNC（果蝇腹神经索连续切片透射电子显微镜（ssTEM）线粒体）、Lucchi++（小鼠海马聚焦离子束扫描电子显微镜（FIB-SEM）线粒体）、Staphylococcus aureus（荧光/明场）、Escherichia coli（明场）、NucMM-Mouse（3D micro-CT细胞核）等公开数据，覆盖多模态、多物种和多分辨率。

4.2 数据预处理（Data Preprocessing）：采用固定输入和DINOv2嵌入，先在VNC确定最佳图像块尺寸并外推至其他数据，以1%分位归一化标准化强度，确保比较公平且实验可行。

4.3 消融实验（Ablation Studies）：受计算限制仅在电子显微镜数据集开展。

4.3.1 k-NN对推理步骤的影响（Impact of k-NN on the Inference Step）：与无k-NN相比，k-NN提高VNC平均IoU_f并在三提示时约减半提示方差；单提示仍高度变异。

4.3.2 提示数量与模型规模的影响（Effect of Number of Prompts and Model Size）：增加提示提升稳定性，但平均性能影响依赖模型；ViT-L/ViT-g从更多提示获益，ViT-S/ViT-B超过三提示略降，模型规模差距随提示数扩大；三提示掩膜生成约6 ms（GPU），ViT-g一次性嵌入提取272 ms，提示复用使部署高效。

4.3.3 阈值与k-NN敏感性（Threshold and k-NN Sensitivity）：固定阈值和邻居数，敏感性分析支持默认值在三提示下近最优，微调可改善特定场景；示例验证默认阈值分割有效。

4.4 与监督及少样本方法的比较：DINOSim持续优于其他少样本方法，三提示常接近或超过基于嵌入的监督分类器且较单提示更稳定；在NucMM-Mouse等困难数据上增益明显，超过所有少样本基线并接近监督方法。

4.4.1 监督方法（Supervised Methods）：基于DINOv2嵌入的k-NN在向量分类器中通常最强，说明嵌入可聚类相似对象，但嵌入分辨率限制精度，所有嵌入分类器仍落后于U-Net；DINOSim三提示在部分数据匹配或超过DT、RF、NB，但低于k-NN上界。

4.4.2 少样本、零样本与免训练方法（Few-Shot, Zero-Shot, and Training-Free Methods）：CLIPSeg-Img总体比CLIPSeg-Txt准确，文本提示合适时可跨模态泛化但不易构建；CLIPSeg-Img倾向过分割，Txt倾向欠分割；Convpaint多数数据优于CLIPSeg，受益于DINOv2嵌入，但对成像变化敏感且易过分割；DINOSim仅需少数正点提示，在所有数据集IoU_f高于CLIPSeg和Convpaint。

4.5 跨数据集泛化（Generalization Across Datasets）：仅用同生物结构但物种和电子显微镜模态不同的VNC/Lucchi++互换参考与推理；U-Net跨域严重下降，DINOSim保持较稳定准确度（Lucchi++参考→VNC 0.563 ± 0.049；VNC参考→Lucchi++ 0.455 ± 0.056），显示对数据集变异和域偏移的韧性。

讨论总结：CLIPSeg在专业显微数据表现有限，反映视觉-语言模型（VLM）难以对齐复杂、分布外生物医学术语；纯视觉自监督DINOv2可绕过该瓶颈。DINOSim的正样本单类提示减少对负样本的依赖，适合背景异质生物图像。提示效果与基础模型容量相关：更多提示稳定预测，较小模型超过三提示时平均性能略降，原文推测其与嵌入空间紧凑性及维度有关。冻结特征提取器带来域偏移稳健性，无需目标域重训练。局限是空间精度受patch分辨率限制，双线性上采样难恢复精细边界，冷冻嵌入限制相似性定义与亚类细化；未来可结合特征超分辨、引导/双边滤波及SAM2等。

研究结论翻译：本研究针对显微镜图像标注数据稀缺，提出DINOSim——利用DINOv2嵌入且无需额外训练或真实标签的免训练语义分割方法。其高效、易用，在多种成像条件和生物领域持续优于现有少样本方法。研究结果凸显自监督视觉基础模型在科学成像中的价值，表明冻结嵌入可作为强大视觉词汇，实现跨未见领域的稳健语义分割。除经开源napari插件（github.com/AAitorG/napari-DINOSim）直接可用外，DINOSim为未来免训练生物图像分析流程提供实用框架，连接大规模基础模型与实际生物医学应用。