《Advanced Intelligent Systems》:Upsampling DINOv2 Features for Unsupervised Vision Tasks and Weakly Supervised Materials Segmentation
编辑推荐:
本文提出了一种无需额外训练的单次前向传播特征上采样技术,通过图像平移、翻转等可逆变换结合DINOv2视觉Transformer特征,显著提升了特征分辨率。该方法在无监督目标定位、显著性检测和语义分割任务中表现优异,特别在弱监督材料显微图像分割中,结合随机森林分类器展现了超越传统特征的性能,为材料科学表征提供了高效新工具。
背景
近年来,"基础模型"——在庞大数据集上训练的大型网络(通常是Transformer)已成为机器学习领域的重要主题。视觉Transformer(ViT)通过将图像分割为不重叠的嵌块,结合位置编码处理图像数据。自监督视觉Transformer(如DINO、DINOv2)的特征包含丰富的语义和位置信息,可用于下游任务如目标定位和分割。
特征上采样方法
本研究提出了一种模型无关的特征上采样方法,无需额外训练。具体流程包括:对输入图像应用一组可逆变换(如像素平移、翻转、旋转等),使用基础模型计算特征图,将特征图缩放到原始图像尺寸,应用逆变换后对变换结果进行平均。这种方法与跨步方法兼容,能够有效提升特征分辨率。
与FeatUp的联合双边上采样(JBU)滤波器相比,该方法在保持特征锐利度的同时能捕捉更精细的细节。虽然会引入一定模糊,但在处理材料显微图像等需要像素级特征的场景中具有明显优势。
无监督分割工作流程
聚类与前景/背景分离
对高分辨率特征图进行k均值聚类,生成初始聚类。通过计算每个聚类的"注意力密度"(即聚类中[CLS]标记的注意力除以聚类面积)来区分前景和背景。注意力密度高的聚类被判定为前景。
语义距离与聚合合并
计算前景与背景聚类间的余弦距离,以模态距离作为图像的"语义距离"。使用完全链接的聚合聚类方法合并距离小于语义距离的聚类,生成粗略的类无关分割(CAS)图。可通过条件随机场(CRF)进一步细化分割结果。
弱监督材料分割
特征集比较
研究比较了三种特征集:经典图像特征(高斯模糊、Sobel滤波、Hessian滤波等)、上采样的DINOv2特征以及两者结合的混合特征。混合特征结合了经典特征的高分辨率和ViT特征的丰富语义信息,在材料分割任务中表现最佳。
分类器选择
针对不同特征集,研究测试了随机森林和逻辑回归分类器。对于经典特征,随机森林表现更好;而对于上采样的ViT特征,简单的逻辑回归分类器即可获得良好效果,表明这些特征具有更强的表达能力。
实验结果
无监督目标定位
在VOC07和VOC12数据集上的实验显示,该方法在单目标检测和多目标检测任务中均达到与当前最优方法相当的性能。特别是多目标检测设置下,在VOC07和VOC12上分别达到了71.8%和72.5%的CorLoc。
前景目标分割
在CUBS和DUTS数据集上的前景目标分割任务中,该方法展示了优越性能,在DUTS数据集上达到了0.654的IoU,超越了现有方法。
材料显微图像分割
在透射电子显微镜(TEM)图像的人T细胞数据集上,使用混合特征的分类器获得了0.842的mIoU(使用CRF后),显著优于仅使用经典特征的方法(0.439)。该方法能有效区分细胞、细胞核等结构,在电池材料、合金、氧化物层等多种材料图像上也表现出良好的泛化能力。
局限性分析
分辨率与计算成本
特征上采样的主要局限是跨步方法导致的模糊问题。虽然通过减小模型跨步可以提高分辨率,但会显著增加计算时间和内存消耗,在处理高分辨率体积数据时尤为明显。
位置偏差
DINOv2特征中存在位置偏差,分类器可能过拟合到位置信息而非语义内容。通过添加翻转等变换可以在一定程度上缓解此问题。
小特征分割
CRF在修正模糊分割时可能去除小的三级相(如细胞器),这对于材料科学中关注微小特征(如电池材料中的发丝裂纹)的应用构成挑战。混合特征方法在一定程度上解决了这一问题。
应用前景
该方法在无监督目标检测、显著性检测和语义分割等任务中具有广泛应用前景,特别适用于标注数据稀缺的生物、医学和材料成像领域。未来可进一步优化特征提取的分辨率和速度,或将特征应用于缺陷检测、分类和空间化属性预测等新任务中。