《iScience》：Systematic image perturbations reveal persistent gaps between human and machine vision
编辑推荐：
深度神经网络（deep neural networks, DNNs）是理解视觉物体识别（visual object recognition）的有前景的计算模型。然而，DNNs是否像人类一样使用相似的视觉线索进行物体识别仍是未知。研究人员创建了一个图像集，系统性
深度神经网络（deep neural networks, DNNs）是理解视觉物体识别（visual object recognition）的有前景的计算模型。然而，DNNs是否像人类一样使用相似的视觉线索进行物体识别仍是未知。研究人员创建了一个图像集，系统性解开全局形状（global shape）、内部部件（internal parts）和纹理（texture）信息，并比较了人类识别行为与超过200个DNNs的表现，这些DNNs涵盖不同的架构、训练数据和训练目标。没有DNN复制了人类的线索依赖模式，包括那些具有循环连接或专门训练的模型。经过微调的文本-图像对比训练模型（contrastive language-image pre-training, CLIP），无论架构如何，整体上与人类最为接近，但当全局形状被破坏时却失去了人类对齐性。引人注目的是，当仅凭全局形状线索对物体识别至关重要时，所有DNNs的表现都显著逊色于人类。此外，与现有数据库中腹侧流（ventral stream）神经记录的匹配并不能预测与人类行为的匹配，模型性能也并非总能预测其与人类的匹配度。总之，这些发现揭示了人类与机器视觉之间系统性和持久性的差异。
深度神经网络（DNNs）已成为研究灵长类视觉物体识别的主要计算模型，在多个基准任务上达到甚至超过人类准确率，并表现出类似腹侧视觉通路的分层表征。然而，这类模型是否真正采用与人类相似的视觉线索仍不清楚。早期研究多聚焦标准前馈卷积神经网络（CNNs），发现它们与人类存在两方面差异：其一，在形状与纹理冲突时CNN偏向纹理而人类偏向形状；其二，CNN对局部轮廓破坏敏感，却对全局形状信息不敏感。但这些研究存在重要局限：形状-纹理冲突刺激仅使用CNN可分类的纹理图像，且两线索直接对立，高形状偏向可能源于无法利用纹理而非真正利用形状；样本类别和图像数量较少；且仅靠整体准确率缺乏逐图像错误模式比较。同时，大量新近发展的模型（如CLIP、循环CNN、模糊/风格化训练模型）尚未被系统性评估。为填补这些空白，研究人员创建了一个大规模无偏图像集，通过可控扰动独立或成对破坏全局形状、纹理和内部部件线索，并系统比较了人类与超过200个DNN的识别行为。研究发现，没有任何DNN能完整复制人类的线索依赖模式：标准ImageNet训练的CNN仅在纹理作为唯一线索时匹配人类行为；模糊和风格化训练不仅无益且常适得其反；微调CLIP虽在形状保留条件下接近人类，但在全局形状被破坏时表现出过度稳健并丧失错误模式对齐。当全局形状与局部形状被完全解耦时，所有DNN均大幅逊色于人类，普遍优先利用局部形状线索。研究还揭示，模型在内部虽仍编码全局形状信息，但这些信息被局部交叉结构诱发的强激活所掩蔽；IT神经可预测性与行为对齐无显著相关，且训练方法对行为人类对齐度的影响大于架构。这些结果系统性地揭示了机器视觉与人类视觉之间持久且结构化的差异。
研究人员首先从ImageNet验证集选取240幅图像，覆盖48个基本类别（哺乳动物、非哺乳动物、人造物、自然物），生成原始图像及六种扰动条件：Fil（充填，破坏全局形状）、Lin（线条，保留全局形状和内部部件）、SilTex（剪影纹理，保留全局形状和纹理）、Sil（剪影，仅保留全局形状）、Tex（纹理，仅保留纹理）、LinFil（线条填充，仅保留内部部件）。实验2将Spar和Dense剪影用随机分布的交叉标记填充，实现全局与局部形状完全解耦。人类行为数据通过在线实验收集：实验1共60名受试者（每6人合并为一个池化受试者），实验2共10名受试者。DNN集合包括11个代表性模型（涵盖ResNet、ConvNeXt、CORnet、ViT等架构及不同训练策略）和Brain-Score数据库中共209个模型。以WordNet词汇层级评判正确性；误差一致性（Cohen's κ）用于比较逐图像错误模式；采用表征相似性分析（RSA）、留一示例物体解码和静默局部调谐单元等方法剖析内部表征。
**所有ImageNet训练模型均偏离人类的线索依赖。** 两个标准ImageNet训练的CNN（inResNet、inConvNeXt）仅在Tex条件（纹理为唯一线索）匹配甚至超过人类准确率，在其余条件下均显著低于人类；二者与人类的误差一致性在除Tex外的所有条件中低于人类间误差一致性，证实标准CNN过度依赖纹理。循环CNN（inCORnet）和视觉Transformer（inViT）没有带来一致改善，inViT虽在SilTex条件接近人类准确率但误差一致性仍低。
**模糊和风格化训练未改善人类对齐。** 模糊图像训练的blResNet、blCORnet和风格化训练的stResNet在多数条件下准确率和误差一致性较标准CNN更差，Tex条件下大幅低于人类，表明这些模型的“形状偏向”并非真正优先利用形状，而是源自利用纹理能力的削弱。
**微调CLIP在形状保留条件中几乎弥合差距。** 零样本CLIP（zsConvNeXt、zsViT）在Lin、Sil、LinFil等形状保留条件中显著向人类靠近；经ImageNet分类任务微调的CLIP（ftConvNeXt、ftViT）在Lin、SilTex、Sil条件中接近人类水平，但在Fil和LinFil等全局形状被破坏的条件中超过人类准确率且错误一致性降至最低，表现出过度稳健。
**对超过200个DNN的系统性评估揭示系统性人机差异。** 对209个DNN的分析显示，ftCLIP模型在形状保留条件中最接近人类，但形状缺失条件中最接近人类的并非ftCLIP，zsViT等模型始终排名靠前；没有单一模型能在形状存在和缺失两类条件下同时复制人类行为。准确率与人类对齐的关系在两类条件中分离：形状保留时准确率上升伴随错误一致性上升，形状缺失时多个模型超过人类但错误一致性并未提高。IT神经预测性与人类行为对齐无显著相关；与现有Brain-Score行为基准的相关模式表明本研究图像集与既有基准既有重叠也有差异。
**当全局形状与局部形状解耦时所有DNN均逊色于人类。** 在Sparse和Dense条件下，209个DNN中没有任何模型达到人类准确率或误差一致性，多数模型将图像预测为“填字游戏”“拼图玩具”“纱窗”等局部交叉形状类别，证实所有模型存在强烈的局部形状偏向。CLIP模型表现相对最好，但差距仍然巨大；将图像尺寸缩小一半后结果不变。
**局部形状线索诱发的激活在DNN中掩蔽了全局形状诱发的激活。** 对11个模型的内部表征进行留一示例解码，发现即使在识别准确率为0%的模型中，中间层之后的解码准确率也显著高于机会水平，表明模型内部并非未编码全局形状，但输出未能利用该信息。将终层中对局部交叉结构调谐的单位（占34.77%–79.30%）静默后，多数模型准确率提升，但仍远低于人类平均水平，说明局部信号掩蔽只是部分原因，全局形状信息提取能力本身也存在缺陷。
**更好的模型在后期层包含更丰富的物体信息。** RSA显示训练方式显著改变模型内纹理、形状和内部部件表征的相对强度，但表征强度不能可靠预测该线索单独使用时的识别准确率。留一示例解码准确率随层数加深而提高，且识别准确率较高的模型在终层附近解码准确率通常更高，表明将有限视觉线索正确映射到物体类别的能力，而非对特定特征的表征保真度，是模型在扰动条件下稳健识别的关键。
讨论部分指出，常用基准（如形状-纹理冲突图像）评估的高形状偏向可能掩盖了真正的问题——模型只是丢弃了纹理或局部信息，而非增强了形状编码。CLIP的成功可能源自自然语言监督带来的类似于人类语言经验的学习信号，但ImageNet微调引入的大量细粒度类别促使模型依赖人类难以利用的细微特征，从而在形状缺失条件下偏离人类行为。人类在形状保留条件下仍是机器性能近似的上限，而在形状缺失条件下机器可超过人类，说明人类会忽略模型利用的某些非形状线索。神经预测性与行为对齐缺乏相关性的原因尚不明确，可能是由于现有神经数据库多基于清晰图像，未来应引入更具生态效度的刺激、挑战性条件及腹侧流之外的脑区记录。全局形状的强归纳偏置构成人类视觉的核心特征，要构建真正人类化的机器视觉，必须将此类偏置整合进训练范式。研究结论指出：研究人员揭示了DNN与人类在利用视觉线索完成物体识别方面的系统性差异；模糊/风格化图像训练、循环连接以及与腹侧流神经数据对齐均未能产生人类一致的行为；性能并不总是指引人类对齐的方向；训练方法比架构对行为对齐影响更大；这些结果为人脑在有限线索下进行物体识别的计算机制提供了新见解，并为提升机器视觉的人类对齐度指明了具体方向。
