ShapeBlend:基于轮廓融合的数据增强技术显著提升图像分类模型的分布外泛化能力

《Computer Vision and Image Understanding》:ShapeBlend: Boosting out-of-distribution robustness in image classification via shape-based blending augmentation

【字体: 大 中 小 】 时间:2026年04月18日 来源:Computer Vision and Image Understanding 3.5

编辑推荐:

  为解决深度神经网络在分布外(Out-of-Distribution, OOD)样本上泛化能力不足的问题,本文提出了一种新颖的基于形状的数据增强方法——ShapeBlend。该方法通过提取图像轮廓图(push-pull CORF operator)并与原图以不同强度混合,在训练和推理阶段均强调形状特征。实验表明,ShapeBlend在ImageNet-C、ImageNet-C ̄、ImageNet-A、ImageNet-R等多个OOD基准上均超越现有方法,显著提升了模型对多种噪声、模糊、天气变化等真实世界扰动的鲁棒性。此外,配合所提出的形状增强投票(Shape-Enhanced Voting, SEV)推理策略,可进一步强化模型在形状完整性保持较好的数据集上的表现,为构建更健壮的视觉模型提供了有效且可解释的数据中心化解决方案。

  
在现实世界的图像分类任务中,一个令人头疼的问题是:深度学习模型往往只在训练数据分布内表现优异,一旦遇到来自不同分布(Out-of-Distribution, OOD)的图像,比如光线突变、传感器噪声、天气干扰(雨、雾)或压缩失真,其性能就会急剧下降。这就像一位只在标准教室里考过试的学生,突然被丢到户外嘈杂的环境中考试,难免会“考砸”。这种脆弱的泛化能力严重限制了深度神经网络在自动驾驶、医疗影像等关键领域的可靠应用。
以往的研究试图从网络架构或训练数据入手来提升模型鲁棒性。数据增强是一种流行且有效的手段,通过增加训练数据的多样性来“拓宽”模型的见识。然而,许多复杂的增强方法就像“黑箱”,我们难以说清其性能提升究竟是因为真正增强了模型的理解力,还是仅仅因为生成的扰动图片“碰巧”与测试集的失真模式相似。更根本的是,研究表明,在ImageNet等大数据集上训练的模型,存在一种“纹理偏置”(texture bias)——它们过于依赖物体表面的局部纹理特征进行判断,而相对忽略了更稳定、更具辨别力的物体形状(shape)信息。纹理在跨域变化中极易受损,这直接导致了模型在OOD场景下的脆弱性。相比之下,人类视觉系统更倾向于依赖形状信息,这也是人类在应对图像变化时表现更稳健的原因之一。
为了弥合这一差距,让AI的“视觉”更接近人类,来自格罗宁根大学Bernoulli研究所的George Azzopardi、Sabatino Esposito、Antonio Greco和Mario Vento在《Computer Vision and Image Understanding》上发表了他们的研究成果。他们提出了一种名为ShapeBlend的新型数据增强技术,其核心思想非常简单而巧妙:在训练和推理过程中,有意识地强化图像中的形状(轮廓)线索,引导模型更多地关注物体的形状特征,从而学习到更稳健的表征。
研究人员开展了一项系统性的研究,旨在验证ShapeBlend的有效性。他们首先利用受大脑视觉皮层启发的push-pull CORF算子从原始图像中提取高质量的轮廓图。然后,通过一个可控的混合参数α,将轮廓图与原图进行线性融合,生成一系列形状特征被不同程度强调的新图像。在训练阶段,这些融合图像与原始图像一同用于训练标准分类网络(如ResNet-50),无需修改网络架构。在推理阶段,他们进一步提出了形状增强投票策略,即对同一测试图像生成多个不同α值的ShapeBlend变体,连同原图一起输入训练好的模型,然后汇总所有预测结果以得到最终分类。
实验结果表明,ShapeBlend取得了令人瞩目的成功。在ImageNet-C(包含15种常见腐蚀)、ImageNet-C ̄(包含10种与ImageNet-C不同的新腐蚀)、ImageNet-A(自然对抗样本)和ImageNet-R(艺术化渲染图像)这四大主流OOD基准测试中,仅使用ShapeBlend单一方法训练的模型,其鲁棒性就显著超越了未使用任何增强的基线模型。更重要的是,当将ShapeBlend与当前先进的增强流程(如DeepAugment、AugMix、Prime等)结合使用时,产生了“1+1>2”的协同效应,在几乎所有基准上都创造了新的性能记录。例如,结合了DeepAugment和Prime的增强流程在加入ShapeBlend后,在ImageNet-C上的平均腐蚀准确率(mCA)从59.59%进一步提升至60.75%,在ImageNet-A上的准确率从4.26%提升至5.65%(相对提升超过30%),在ImageNet-R上从45.02%提升至49.17%。这些数据强有力地证明了ShapeBlend在提升模型跨域泛化能力方面的普适性和高效性。
主要技术方法
本研究采用数据中心的增强策略,核心是ShapeBlend方法,其包含两个关键步骤:1) 轮廓提取:使用push-pull CORF(Combination of Receptive Fields)算子处理原始图像的灰度图,得到能有效抑制噪声、突出物体边界的轮廓图。2) 参数化混合:通过混合参数α(取值区间[-1, 1])控制轮廓图(或其补图)与原始三通道图像的线性融合强度,生成形状特征被增强的样本。训练时,为每个原始图像在线随机生成一个α值的混合样本,与原始样本一同送入网络。推理时可应用形状增强投票策略,选取一组α值生成多个测试样本变体,进行预测集成。所有实验基于ImageNet数据集训练,在ResNet-50和ConvNeXt-Tiny架构上验证,使用标准训练流程和评估指标(如top-1准确率、平均腐蚀准确率mCA、腐蚀错误率CE)。
研究结果
  • •
    ShapeBlend作为独立增强方法表现优异:与未经任何增强的基线模型相比,仅使用ShapeBlend训练的ResNet-50模型,在ImageNet-C、ImageNet-C ̄、ImageNet-A和ImageNet-R上的性能均获得显著提升。这证明了强调形状特征本身就能有效增强模型的OOD鲁棒性。
  • •
    ShapeBlend与现有先进方法具有协同效应:将ShapeBlend作为前置步骤,集成到AugMix、DeepAugment、Prime等现有增强流程中后,在所有测试的OOD基准上,组合方法的性能均超越了原有单一方法或方法组合。这表明ShapeBlend提供的形状增强是一种互补且通用的改进方向。
  • •
    Shape-Enhanced Voting (SEV) 推理策略进一步挖掘潜力:在推理阶段应用SEV策略,通过对测试图像进行多α值混合并集成预测,能够在多数基准(尤其是ImageNet-C和ImageNet-R)上带来额外的性能增益,尽管在ImageNet-A上效果因图像本身的对抗性失真可能损害形状结构而略有波动。这验证了在推理阶段利用形状多样性进行决策融合的有效性。
  • •
    方法在不同网络架构上具有通用性:除了在ResNet-50上的广泛验证,研究在更现代的ConvNeXt-Tiny架构上也进行了实验。结果显示,ShapeBlend同样能为ConvNeXt-Tiny带来一致的鲁棒性提升,证明了该方法不依赖于特定网络架构,具有良好的普适性。
  • •
    对特定类型腐蚀具有突出改善效果:详细分析显示,ShapeBlend对模糊(如Defocus Blur, Glass Blur)、天气干扰(Snow, Frost, Fog)和数字失真(Brightness, Contrast, Pixelate, JPEG)等类型的腐蚀具有更明显的改善效果。这很可能是因为这些腐蚀并未完全破坏物体的整体形状轮廓,使得形状信息的增强起到了关键的稳定作用。
结论与意义
本研究系统地提出并验证了ShapeBlend,一种基于形状混合的新型数据增强技术。与以往许多复杂且难以解释的增强方法不同,ShapeBlend设计简洁、理论依据清晰(基于形状偏置理论),目标明确地通过强化图像中的轮廓信息来引导模型学习更稳健的特征表示。
研究得出的核心结论是:在模型训练和推理中,有意识地引入并强调形状信息,是一种极其有效且通用的提升深度神经网络分布外(OOD)鲁棒性的策略。 ShapeBlend不仅作为独立方法表现卓越,更能作为一种“即插即用”的增强模块,无缝集成到现有的先进增强流程中,产生协同效应,在多个权威OOD基准测试中创造了新的性能记录。
这项研究的重要意义在于:首先,它从数据角度提供了一种高效、可解释的解决方案,直接应对了深度学习模型在现实应用中泛化能力不足的核心挑战。其次,它巧妙地将认知科学中关于人类形状偏置的见解转化为可计算的工程方法,推动了更具“人性化”稳健性的AI模型发展。最后,ShapeBlend的简单性、通用性和卓越效果,使其易于被社区采纳和应用,为构建在开放、动态的真实世界中更为可靠的人工智能系统提供了有力的工具。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号