《Connection Science》：Object-zoomed training of convolutional neural networks inspired by toddler development improves shape bias
编辑推荐：
摘要：卷积神经网络(CNN, Convolutional Neural Network)在视觉目标识别任务上的表现可超越人类水平，但其行为与人类存在重要差异。典型例证是经ImageNet训练的CNN表现出纹理偏好(Texture Bias)，而人类则表现出强烈
摘要：卷积神经网络(CNN, Convolutional Neural Network)在视觉目标识别任务上的表现可超越人类水平，但其行为与人类存在重要差异。典型例证是经ImageNet训练的CNN表现出纹理偏好(Texture Bias)，而人类则表现出强烈的形状偏好(Shape Bias)。尽管可通过数据增强或额外训练提升CNN的形状偏好，但该差异的来源尚不清楚。发展心理学研究表明，驱动人类形状偏好的一个因素是幼儿在早期常将视野填满近距离目标。研究人员将此"近距离观察"操作化为CNN训练过程中对目标的放大(Zoom-in)，无需额外训练或数据增强即可提升形状偏好。通过对训练中背景—目标比例(Background-object Ratio)的系统操控，发现其与形状偏好呈强负相关。值得注意的是，放大目标（即更接近模拟幼儿视觉输入）能使CNN的分类准确率与形状偏好均与人类对齐。最终，采用发展启发式的背景—目标比例进行训练与形状偏好评估时，获得了接近人类的形状偏好。结果表明，对图像数据集的一个简单调整——放大目标——即可产生类人形状偏好，说明人类学习策略可为构建人类对齐(Human-aligned)、高效且鲁棒的视觉CNN提供有前景的途径。
论文解读：《受学步期幼儿发展启发的卷积神经网络目标放大训练可提升形状偏好》
本文发表于《Connection Science》。当前卷积神经网络(CNN, Convolutional Neural Network)在物体识别上虽可达人类甚至超越人类水平，却普遍存在"捷径学习(Shortcut Learning)"现象——即依赖训练数据中与类别共现但非本质的统计规律（如背景信息或局部纹理）而非物体的整体形状来进行分类，表现为显著的纹理偏好(Texture Bias)，与人类以形状为核心的组织原则即形状偏好(Shape Bias)相悖。现有提升形状偏好的方法多依赖架构改动（如Vision Transformer）或强数据增强（如Style Transfer增强），但这些手段缺乏与人类认知发展过程的对应关系，且难以厘清纹理偏好究竟源于网络固有属性还是训练数据特性。发展心理学发现学步期幼儿在命名物体时常将单个物体占据大部分视野（即Close-up/Zoom-in视图），这与大规模数据集中物体常被大量背景包围形成对比。本研究据此提出：在CNN训练中模拟幼儿这种目标主导视野——通过依据标注框对训练图像做不同程度的放大裁剪(Reduced Background-object Ratio / Object-zoomed Cropping)——考察其是否能自发诱导类人形状偏好，从而探究训练数据背景—目标比例对CNN表征偏差的影响及人类—机器行为对齐的可行性。
主要关键技术方法：
研究人员选用含高质量目标标注框(Bounding Box)或分割掩码的MS-COCO(Lin et al., 2014)、ADE20K(Zhou et al., 2017)及自建超高分辨率场景数据集OADS(Open Amsterdam Data Set, 6130张场景图，64,683个标注目标，16类)构建Wide(额外含150%边框周围区域)、Narrow(80%)、Tight(0%，紧贴边框)三种裁剪紧密度版本的对象裁剪数据集。分别在以上各版数据集上从头训练ResNet50(He et al., 2016)进行对象分类(30 epoch，4次不同随机种子)，随后在ImageNet 223类的子集上进行微调(Fine-tuning，冻结参数量梯度设为<1%、~33%、100%)，以匹配Geirhos等人(2018)的ImageNet线索冲突(Cue-conflict)形状偏好基准测评。为排除ImageNet评估集自身背景干扰，研究人员基于OADS紧密裁剪的原图利用Neural Style Transfer制作独立于ImageNet的OADS Cue-conflict测试集(3844张，选取880张用于人机对比)。形状偏好计算方式为：正确形状决策数/(正确形状决策数+正确纹理决策数)；Cue-conflict Accuracy为形状与纹理正确决策总数/总图数。为分离背景偏好与物体纹理偏好，还对Cue-conflict图做物体遮罩(Object-masked)与背景遮罩(Background-masked)测试。人体行为实验招募14名被试(剔除1名低绩效)，在200 ms呈现OADS Cue-conflict图后做九选一形状/纹理类命名，测取人类形状偏好与准确率作为对照。
研究结果：
4.1. Training on tight object crops increases CNN shape bias on ImageNet（紧密目标裁剪训练提升CNN在ImageNet上的形状偏好）
研究人员在MS-COCO、ADE20K、OADS三数据集的不同裁剪紧密度预训练模型经ImageNet微调后，使用Geirhos等人的1280张ImageNet Cue-conflict图评估形状偏好。结果显示：裁剪越紧密（背景越少），形状偏好越高（Tight Crop ~0.36–0.39 vs. Original ImageNet-trained ~0.27），且分类测试准确率与基线相当；全场景预训练（目标检测/场景分割任务）模型形状偏好不高于原始ImageNet模型。统计检验证实Tight与Wide间差异显著。表明训练图像所含背景信息与CNN形状偏好直接相关，减少背景可促进形状偏好而无需改架构或增强。
4.2. CNNs trained on tight object crops rely less on background features（紧密目标裁剪训练的CNN更少依赖背景特征）
借助Cue-conflict图中物体遮罩与背景遮罩实验发现：标准ImageNet ResNet50在遮背景仅留物体时呈高形状偏好(~0.9)，暗示原"纹理偏好"实则是对背景信息的依赖(Background Bias)；而MS-COCO Tight-crop预训练再全微调的模型，在遮物体仅留背景时间正确率大幅下降（不靠背景），在遮背景仅留物体时保持高正确率与较高形状偏好。证实Object-zoomed训练削弱网络对背景特征的依赖，所谓纹理偏好膨胀部分源自背景利用。
4.3. Training on ImageNet induces low shape bias（ImageNet微调诱发低形状偏好）
系统改变ImageNet微调解冻参数量发现：微调参数量越少（保留预训练特征越多），形状偏好越高但ImageNet测试准确率越低；全微调(100%)使形状偏好降至接近ImageNet从头训练水平。形状偏好与ImageNet测试准确率(r=-0.80, p<0.001)及Cue-conflict准确率(r=-0.84, p<0.001)呈强负相关，此负相关性由ImageNet微调程度驱动。说明ImageNet自身含大量背景，其微调会侵蚀预训练获得的形状偏好，此前图1中增益较 modest 部分归因于此。
4.4. Training on tight object crops resolves the accuracy vs. shape bias tradeoff（紧密目标裁剪训练化解准确率与形状偏好的权衡）
用OADS自建Cue-conflict集（基于紧密裁剪、极少背景）评估发现：人类在OADS集上形状偏好>0.8且与Cue-conflict准确率正相关(r=0.65, p=0.016)；OADS紧裁预训练再OADS微调的CNN亦呈形状偏好随准确率升高而升高之正相关(r=0.86, p<0.001)，逆转ImageNet测评的负相关模式。分解正确形状决策与正确纹理决策可见：人类及OADS评估下CNN准确率提升由形状正确率驱动，ImageNet评估下则由纹理正确率驱动。此外OADS紧裁(Tight)训练模型形状偏好(~0.55–0.65)约为ImageNet预训练微调OADS者(~0.35)近两倍；但过度裁剪(Trimmed/Over-tight，破坏全局形状)反而使形状偏好回落，说明存在最优背景—目标比例(保留完整全局形状前提下最大化去除背景)。ImageNet预训练模型经少量OADS紧裁微调形状偏好亦可提升，趋近但从 scratch训于OADS者。综上，训练与测评均用少背景（仿幼儿视图）可达成人机形状偏好与准确率双重对齐。
讨论与结论总结（翻译浓缩）：
研究人员指出CNN的低形状偏好更多源于训练数据特性（富含背景）而非CNN架构固有缺陷。系统性操纵背景—目标比例发现：(i)逐步减少背景信息使形状偏好上升，但过度裁剪致物体全局形状缺失则偏好下降，存在最优比例；(ii)ImageNet Cue-conflict基准中的高"纹理偏好"部分反映网络利用背景特征(Background Bias)，Object-zoomed训练抑制此偏向；(iii)不同任务目标（检测、分割）不因强迫接触物体—背景关系而自动提形状偏好，再次佐证图像可用信息强于任务目标本身对捷径学习的影响；(iv)ImageNet评估所致Shape Bias-Accuracy负相关性在人—机对齐需靠少背景训练与少背景测评Cue-conflict集来消解，此时二者均呈正相关性且由正确形状决策驱动，类人模式重现；(v)仅需在保留完整物体全局形状前提下最大去除背景（近似学步期幼儿视物比例）训练，可使CNN获近人形状偏好，甚至可将强纹理偏好ImageNet预训练网络经少量此类数据微调向形状偏好扭转。局限含仅测ResNet50类层次卷积架构、ImageNet未直标框裁剪、未涵盖ViT等。研究表明受人类早期发展策略启发的简单数据集调整——训练图像目标放大——能令具脑类层次处理特性的CNN对齐人类分类策略，为发展更具解释性、鲁棒性及人类对齐的视觉模型提供方向。
