采用基于人类发育过程的视觉训练方法，能够开发出强大且具有形态识别的AI视觉系统

《Nature Machine Intelligence》：Adopting a human developmental visual diet yields robust and shape-based AI vision

　　摘要：尽管经过多年的研究以及人工智能（AI）系统的显著扩展，人工视觉与人类视觉之间仍存在显著的差距。与人类不同，AI主要依赖纹理特征而非形状信息，对图像失真的鲁棒性较差，容易受到对抗性攻击，并且在复杂背景中难以识别简单的抽象形状。为了缩小这一差距，我们引入了人类视觉从婴儿期到成年期发展的机制。通过综合数十年的研究，我们为AI视觉制定了一套新的发展性“视觉饮食”方案，以量化视觉成熟度。通过这种受人类启发的项目指导AI系统，考虑了视觉敏锐度、对比敏感度和颜色的发展，训练出的模型在所有测试的视觉鲁棒性指标上都能更好地匹配人类行为，表现出对形状信息的更强依赖性、超越现有技术的抽象形状识别能力，以及对图像损坏和对抗性攻击的更高抵抗力。因此，我们的结果表明，通过指导模型的学习方式，而不仅仅是学习量，可以实现强大的AI视觉，为开发更安全、更接近人类视觉的系统提供了一条资源高效的路径。

尽管当代人工智能（AI）视觉系统具有前所未有的规模和能力，但它们仍然与人类视觉存在根本性的差距。其中一个显著的差异是，与人类不同，AI视觉系统仍然依赖于基于纹理的特征而非基于形状的特征。此外，AI视觉对图像退化的泛化能力较弱，常常无法识别抽象形状，并且容易受到对抗性攻击。这些缺点成为开发可靠、与人类视觉一致AI的重要障碍。为了解决这些问题，我们认为关键在于克服人类与AI系统在视觉发展上的根本差异。虽然AI系统在整个训练过程中使用高保真度的输入进行训练，但人类的视觉发展在视觉敏锐度等方面最初受到严重限制。神经科学和基于AI的建模都证明了渐进式视觉发展的功能重要性。例如，即使去除了先天性白内障的儿童，也可能表现出持续的形状识别缺陷，这可能是由于缺乏健康对照组缓慢发展的某些部分。研究表明，使用固定模糊阶段的AI系统更加鲁棒，尽管其形状偏见和对图像退化的鲁棒性仍远未达到人类水平。值得注意的是，这些建模研究仅关注视觉敏锐度的开发，将其抽象化为几个离散的阶段，未能反映人类视觉的连续发展轨迹。基于这些初步实验，我们旨在测试AI视觉是否可以通过使其视觉发展更接近人类发展轨迹而受益，同时考虑超出敏锐度的其他发展因素。

为了模拟人类视觉的连续发展，我们回顾了有关人类视觉从新生儿到25岁发展的现有心理物理学证据，并将三个核心视觉成熟度维度（视觉敏锐度、色觉敏感度和对比敏感度）的发展轨迹整合到AI视觉的预处理流程中。通过一系列实验，我们证明，引导AI遵循这种人类发展的“视觉饮食”（DVD）比使用高分辨率AI视觉训练的标准方法更有效地接近人类视觉的鲁棒性。用DVD训练的深度神经网络（DNN）表现出超越现有技术的形状偏见、更强的视觉特征空间整合能力、更强的抽象形状识别能力，以及对图像损坏和对抗性攻击的更高抵抗力。重要的是，将人类心理物理学数据转化为高效的AI图像预处理流程需要选择一种平衡复制细节和算法考虑的抽象层次，以便在该领域易于应用。由于与生物视觉仍有许多差异，因此DVD不应被视为婴儿感知世界的真实镜像。

在我们的实验中，我们将基于高分辨率图像（标准方法）训练的DNN与基于DVD训练的DNN进行了对比，后者设置了相当于25年人类视觉发展的发展轨迹。在不同的图像数据集（包括mini-ecoset、ecoset和ImageNet-1K）上，使用多种模型架构进行了对象分类训练。训练后，这些模型在推理鲁棒性测试中进行了评估，并与人类行为数据进行了比较（见图1a）。图1展示了按照视觉敏锐度、色觉敏感度和对比敏感度的发育轨迹进行训练，作为训练鲁棒AI视觉系统的有效方法。

**图1：** 按照从新生儿到25岁的视觉敏锐度、色觉敏感度和对比敏感度的发育轨迹进行训练，是训练鲁棒AI视觉系统的有效方法。

**替代文本（可能使用AI生成）：**
a. 我们用于全面评估DVD与标准训练模式的训练和分析流程示意图。
b-d. 通过多种心理物理学实验，针对不同年龄组合成的三个视觉方面的发育轨迹：视觉敏锐度（b）、对比敏感度（c）和色觉敏感度（d）。在主要实验中，我们用每个年龄段的峰值敏感度来表示对比度；然而，详细结果见补充图6（基于全频率依赖性发育的曲线），以及补充图14（基于CSF乘法和频率池化的结果）。
e. 选定的发育阶段的DVD示例图像，展示了从新生儿到成人的视觉体验进展。

**训练时代的映射** 通过超参数α处理。对于视觉敏锐度的发育，我们将斯内伦等效值映射到高斯模糊参数（σ）上（见图1b和方法）。对比敏感度轨迹被转换为频域阈值调制（见图1c和方法），由超参数β（初始阈值）和λ（灵敏度映射）控制。色觉敏感度通过调整颜色保真度来实现（见图1d和方法）。通过探索DVD的三个超参数（α、β和λ），我们调节了模型在训练期间接收的早期视觉体验的程度和强度（例如，见图1e中的发展轨迹）。

**DVD训练促进接近人类的形状偏见**
人类视觉感知的一个显著特征是，当面对纹理和形状信息冲突的物体图像时（见图2a），观察者能够可靠地根据形状信息判断物体类别（成人的形状偏见得分约为0.96（96%），4岁儿童的形状偏见得分为0.90（90%）。相比之下，无论网络架构、训练数据集大小或训练目标如何，DNN都倾向于基于纹理的决策（其形状偏见得分通常在0.2–0.4之间）。因此，DNN中的纹理偏好与人类视觉有显著差异。

**图2：** 使用DVD训练的模型缩小了与人类水平形状偏见的差距。

**替代文本（可能使用AI生成）：**
a. 测试的16个物体类别中，故意匹配错误形状和纹理线索的示例刺激。形状和纹理线索是故意不匹配的（例如，一个飞机形状的物体显示为大象皮肤的纹理），以测试哪种特征类型主导人类和AI的决策。形状类别用黑色表示，纹理类别用灰色表示。
b. 在mini-ecoset（280万张图像）和full ecoset（150万张图像）上训练的模型之间，物体识别准确性和形状偏见之间的权衡。选择了三个典型的DVD训练模型进行后续分析：一个高识别性能的模型（DVD-P）；一个在准确性和形状偏见之间取得平衡的模型（DVD-B）；以及一个优先考虑基于形状决策的模型（DVD-S）。
c. 不同年龄组的DVD模型、标准监督学习（SSL）模型、自监督学习（SSL）模型、大规模多模态视觉语言模型（VLMs）和人类之间的形状偏见比较。箱形图显示了16个线索冲突物体类别的形状/纹理偏见分布（n=16；分析单位=类别；形状偏见：高值，纹理偏见：低值）。箱形图的中线代表中位数，边界表示第25和第75百分位数， whiskers延伸到第5和第95百分位数。每个模型对应一个独立训练的实例（一个种子）。人类数据：4-6岁（n=21）、7-9岁（n=11）、10-12岁（n=12）、13-15岁（n=8）和成人（n=97）。虚线表示平均人类水平形状偏见的下限（4-6岁儿童的平均形状决策为88%）。

我们首先通过对基于ResNet-50模型架构的DVD进行全面的超参数扫描，探索了DVD对人工神经网络（ANNs）中形状/纹理偏见的影响（见图2a）。观察到在超参数设置中形状选择性和准确性之间存在权衡，因此选择了三种具有代表性的模型配置进行后续分析：偏好形状偏见的模型（DVD-S；形状偏见为0.94，接近人类范围0.90–0.97），偏好识别性能的模型（DVD-P；形状偏见从0.32（基线）增加到0.73，同时保持与基线模型相似的总体准确性），以及在这两者之间取得平衡的模型（DVD-B；形状偏见为0.82，准确性损失约为4.9%）。将这三个变体扩展到full ecoset（150万张图像，565个基本类别）的训练时，先前结果得到了很好的再现（见图2b）。虽然对照模型的形状偏见为0.34，准确率为62.99%，但DVD-S的形状偏见为0.90，处于人类范围内；DVD-P的形状偏见为0.70，准确性略有提高（从62.99%提高到65.03%）；DVD-B的形状偏见为0.83，与基线相比准确性下降了4.3%。因此，DVD训练使形状选择性分别提高了105.88%（DVD-P）、141.18%（DVD-B）和164.71%（DVD-S）。DVD-P、ResNet-50基线和人类观察者的具体形状偏见对比见补充图1，以及DVD、ResNet-50基线和ChatGPT-4的形状/纹理行为示例。

**重要的是，** 我们DVD训练的ResNet-50模型观察到的形状偏见不仅大大优于相应的对照模型，也优于所有其他当代ANN模型（见图2c），达到了形状选择性的最新水平，并缩小了与人类范围之间的差距。这些模型包括标准监督卷积神经网络（CNNs）、视觉变换器（ViTs）、自监督模型和多模态视觉语言模型（VLMs）。值得注意的是，这些模型使用的数据量多出一个数量级，模型参数也多出一个数量级，这突显了DVD训练的有效性，即使在较小规模的数据/模型场景中也是如此。

我们通过一系列额外的实验确保了结果的普遍性。首先，我们将训练范围从mini-ecoset和ecoset扩展到包括ImageNet-1K。在所有三个数据集中，DVD都一致地提高了形状偏见，从DVD-P到DVD-B再到DVD-S，形状偏见逐渐增加。无论数据集如何，DVD-S都实现了接近人类水平的形状偏见（见图3a）。同样，使用SimCLR和BYOL目标在mini-ecoset、ecoset和ImageNet-1K上训练的自监督DVD-B模型也观察到了相同的模式（见补充图16）。其次，除了ResNet-50训练外，我们还包括了八种其他当代ANN架构，所有这些架构都按照DVD-B方案进行了训练（见图3b）。在每种情况下，DVD-B预处理都显著提高了形状偏见，证实了该方法在促进不同类型模型中的基于形状的表示方面的广泛有效性。

**图3：** 结果在各种视觉数据集和ANN架构中的泛化。人类样本量和箱型图 conventions 与图 2c 相同。我们通过分析训练过程中 DVD-B 网络的变化，量化了形状偏见的演变过程（与人类发展阶段相对应，2 个月的人类发展相当于一个训练周期）。我们观察到在训练早期就存在强烈的形状偏见，随着学习的进展，这种偏见相对稳定（在大约 20 个月大的时候就表现出强烈的形状偏见（见图 4a 和补充图 2）；这种偏见在三种不同的种子数据中都存在，这与心理物理学证据一致，即人类婴儿在大约 2 岁时就已经具有形状偏见）。相比之下，ResNet-50 基线模型在整个训练过程中始终表现出对纹理的偏好（平均形状偏见约为 0.43）。图 4：深入研究了人工神经网络中形状偏见的出现及其背后的特征选择性。

这种图像的替代文本可能是使用 AI 生成的。
全尺寸图像：
a. 从出生到 25 岁（300 个月；DVD-B 每个周期 2 个月；另见补充图 2 了解形状偏见指标的演变），DVD-B 模型中形状偏见的演变，表现为在提示冲突试验中基于形状的选择比例上升（即预测与形状类别匹配）。相比之下，基线模型则始终偏好基于纹理的选择。每种模型的三个独立训练种群的平均值（n = 3）；误差条表示不同种群之间的 ±1 标准差。
b. 使用 Grad-CAM 进行特征归因，表明 DVD-B 更依赖于与目标物体对应的图像区域（展示了某个模型实例的数据；另见补充图 4 了解使用 LRP 的特征重要性可视化）。
c. 控制性饲养实验研究了不同视觉方面在发育中的作用（基于 DVD-B），结果显示对比度敏感性的发展具有重要影响（见补充图 11 了解其关键作用）。结合所有三个视觉发展方面可以获得最一致的形状偏见。箱型图总结了 16 个提示冲突物体类别的类别间形状偏见（n = 16；分析单位 = 类别）；每个饲养条件的数据基于单个实例（一个种子；独立训练的模型实例）。箱型图 conventions 如图 2c 所示。

为了验证我们观察到的好处是由于精确的发育轨迹还是仅仅由于 DVD 实施的图像增强分布的结果，我们进行了一个对照实验，在该实验中，敏锐度、对比度和颜色的敏感度值在时间上被随机打乱，而不是按时间顺序呈现。如补充图 8a 所示，原始的（按时间顺序的）DVD-B 模型在训练过程中始终产生了更多的基于形状的选择，而较少基于纹理的选择，尤其是在训练中期和后期。这种差异也体现在形状偏见的演变上：在模拟发展的前 20 个月后，按时间顺序的 DVD-B 模型的形状偏见明显高于随机打乱后的模型（见补充图 8b）。

接下来，我们探讨了 DVD 如何影响我们模型的决策策略——这是将训练制度与分类行为联系起来的关键步骤。通过对提示冲突刺激进行梯度加权类别激活映射（Grad-CAM；方法部分），我们发现经过 DVD 训练的模型主要依赖于分布在形状上的特征，而 ResNet-50 基线模型则更重视来自小块区域或高度分散的背景区域的特征（见图 4b；分析细节见方法部分）。更关注与形状相关的特征，而不是局部纹理或背景纹理块，表明这种感知策略更符合人类的视觉决策方式。

为了了解敏锐度、对比度和颜色这三个发育方面的影响，我们进行了控制性饲养实验，系统地测试了它们对形状偏见的影响。与之前关注模糊效应的研究相反，这些实验揭示了对比度敏感性发展在我们的模型中作为形状偏见的关键驱动因素的作用。经过对比度敏感性发展的模型产生的形状偏见为 0.73（而原始 DVD-B 模型的形状偏见为 0.85，见图 4c 和补充图 3）。相比之下，仅接受视觉敏锐度发展或同时接受视觉敏锐度和色彩敏感性发展的模型产生的形状偏见增加较小（分别为 0.41 和 0.44），相对于基线形状偏见 0.34。为了研究为什么对比度敏感性会有如此强烈的影响，我们在低空间频率条件下分析了其作用（对应于低视觉敏锐度；见补充图 11）。这种说明性方法表明，高对比度信号主要保留了物体的全局结构，而低对比度信号则强调了几乎不具形状连贯性的纹理。这一分析突显了对比度敏感性作为形状信息的重要来源，而不仅仅是考虑低频信号（即视觉敏锐度），这与它在形状偏见形成中的主导作用是一致的。

总的来说，我们的结果表明，从人类 DVD 中汲取灵感是使 AI 视觉系统向更类似人类的感知决策方式倾斜的有效方法，这在包括 AI 基础模型在内的各种开源和闭源模型中实现了最先进的形状偏见水平。

DVD 训练的模型在处理嵌入在复杂背景中的抽象形状时具有更高的召回率。

进一步证明人类视觉与 AI 视觉之间不匹配的证据来自对抽象形状的实验。人类能够轻松识别抽象形状，即那些由其整体构型定义的可识别形式，而不仅仅是特定的纹理或颜色，即使这些形状嵌入在复杂的自然场景中（见图 5a）。相比之下，当前的 AI 系统，包括大规模的视觉语言模型（VLM），很难检测到这样的形状，而是依赖于基于场景的线索。

图 5：经过 DVD 训练的模型在复杂场景中表现出对抽象形状的增强识别能力。

这种图像的替代文本可能是使用 AI 生成的。
全尺寸图像：
a. Example IllusionBench 中隐藏在场景背景中的抽象形状的示例。
b. DVD 训练的模型与一系列对照模型（包括监督学习模型、自我监督学习模型（SSL）模型、在 Stylized-ImageNet 上训练的模型、AI 基础模型以及大规模多模态 VLM）在抽象形状召回率和场景召回率方面的比较。
c. IllusionBench 图像的 t-SNE 嵌入，按物体类别进行颜色编码。只有 DVD 训练的模型根据抽象形状类别对图像进行聚类，而其他模型主要根据场景背景对图像进行聚类（另见补充图 5）。

为了评估 DVD 在增强自然场景中抽象形状识别方面的有效性，我们使用 IllusionBench 数据集对 DVD 训练的模型与黄金标准的基线模型以及各种 DNN 架构进行了评估——该基准测试通过场景嵌入的视觉布局来专门测试形状识别能力（6,874 张图像，16 种形状，11 个背景场景；方法部分）。在这个基准测试中，形状召回率反映了模型基于抽象形状线索进行预测的倾向，而场景召回率反映了模型依赖背景场景或纹理线索的倾向。传统的 CNN 模型（如 ResNet-50 基线）的形状召回率为 8.71%。表现最好的 ViT（ViT-L）达到了 17.13%。大规模 VLM，包括 CLIP-RN50 和 CLIP-ViT B-32，分别达到了 16.72% 和 15.45%，而在风格转换数据集上训练的 ResNet-50 则达到了 14.32%。相比之下，我们使用的 DVD 训练的 ResNet-50（DVD-S，在 ImageNet-1K 上训练）的形状召回率显著高于所有其他测试模型，达到了 36.21%（见图 5b）。值得注意的是，即使是那些被明确提示在背景中寻找形状的大型 AI 基础模型（Llama-4-Scout（12.47%）、Gemini-2.0-flash（21.24%）和 ChatGPT-4o（15.17%））也表现不佳）。这再次证明了 DVD 训练即使在数据量和模型参数大幅减少的情况下，也能实现更符合人类认知的表示。DVD-S 模型对场景线索的依赖程度也显著降低（20.07% 的场景召回率），而其他模型的场景召回率约为 60%。随着早期视觉发育约束的增强，DVD 家族中的形状召回率系统性地提高，从 DVD-P 的 16.43% 提高到 DVD-S 的 36.21%，而基于纹理的召回率则下降（从 46.32% 下降到 20.07%）。进一步分析各种模型的内部表征发现了一个显著模式，区分了 DVD 训练模型与其他模型。使用 t-distributed stochastic neighbour embedding（t-SNE）可视化 IllusionBench 刺激的模型嵌入（见图 5c），我们观察到只有 DVD 训练的模型根据抽象形状类别对图像进行了明确分类，而基于风格转换的 ImageNet 训练的 ResNet-50 基线模型、CLIP-ViT B-32 和 ResNet-50 模型则主要根据场景背景对图像进行分类。考虑到在 Geirhos 指标下，基于风格转换的 ImageNet 训练的 ResNet-50 模型仍然存在较大的形状偏见，这一扩展的重要性变得显而易见，这表明这些模型仍然缺乏真正的配置处理能力。这些分析共同表明，DVD 训练显著改变了模型学习的视觉特征，促进了分布式形状线索的空间整合。

DVD 训练提高了模型对各种图像退化类型的鲁棒性。在确定了 DVD 训练的 DNN 依赖于空间整合的形状类决策后，我们测试了模型在面对退化输入时的行为鲁棒性——这是我们人类视觉鲁棒性的标志。在这种情况下，我们将鲁棒性视为衡量 DVD 从主要基于纹理的处理转向真正基于形状的处理是否在具有挑战性的观看条件下带来有益效果的一个指标。我们考虑了图像模糊、图像噪声和质量缺陷以及环境因素（如雨和雪）等情况。虽然人类的表现非常鲁棒，并且随着退化程度的增加而优雅地下降，但对 AI 视觉模型的先前测试显示即使在图像退化程度较低时，性能也会显著下降。

为了检验 DVD 是否能够缩短生物视觉与人工视觉之间的差距，我们首先将训练有素的 DVD-B 模型与 ResNet-50 基线模型进行了比较，这些模型在应用高斯模糊的图像上进行测试（方法部分）。模糊是一种特别具有挑战性的退化方式，因为它直接破坏了许多人工视觉系统依赖于识别的细微空间细节和边缘，而人类的识别能力则会优雅地下降。这使得模糊成为评估模型是否像人类一样依赖于全局、整合信息的重要测试案例。随着模糊程度的增加，基线模型的识别准确性急剧下降，而 DVD 训练的模型保持较高的准确性，大致符合人类的行为数据（见图 6a；人类数据来自参考文献 13）。

图 6：使用 DVD 训练的神经网络在图像退化和对抗性攻击下的鲁棒性增强。

这种图像的替代文本可能是使用 AI 生成的。
全尺寸图像：
a. 在模糊程度增加的情况下，DVD 训练的模型与人类反应曲线的对齐情况，涉及面部和物体识别（人类：n = 20 名参与者，显示了参与者的平均值；误差条表示参与者之间的 ±1 标准差；模型：单个实例，独立训练）。
b. DVD 训练的模型与基线模型对各种图像退化（包括不同类型的噪声、模糊、天气和图像质量缺陷）的抵抗力（显示了三种不同种子数据的平均值，n = 3；误差条表示种子之间的 ±1 标准差；参见补充图 9 与对抗性训练的基准模型进行比较，以及补充图 10 与仅使用三种单独视觉因素中的一种进行训练的模型进行比较）。
c. 在对抗性扰动下，DVD 训练的模型与基线模型的鲁棒性估计（显示了三种不同种子数据的平均值，n = 3；误差条表示种子之间的 ±1 标准差）。白盒攻击：FGSM、FGM 和 PGD。黑盒攻击：L2-norm 加性高斯噪声、L2-norm 加性均匀噪声和脉冲噪声（另见补充图 9 和 10）。

然后，我们在 16 种额外的退化类型（4 种噪声、4 种模糊类型、4 种天气干扰和 4 种图像质量缺陷）下评估了基线和 DVD 训练的模型（见图 6b 和方法部分），每种退化类型的严重程度从轻微（1）到严重（5）不等。在高严重程度下，DVD 模型的准确性是基线模型的两倍，对于噪声、模糊和具有挑战性的天气效应；对于图像质量缺陷，则是三到四倍。这些结果表明，DVD 训练在具有挑战性的条件下显著提高了鲁棒性（这也适用于 DVD-S 和 DVD-P；见补充图 13）。

DVD 训练提高了模型对白盒和黑盒对抗性攻击的鲁棒性。对抗性攻击是针对图像的小范围但定向的扰动，可以显著偏置和损害模型性能。虽然人类通常无法察觉到这些攻击，但它们对 AI 视觉系统构成了另一个重大挑战，并揭示了行为对齐方面的问题。我们测试了DVD训练是否能够提高对抗性鲁棒性，同时将结果与使用相同架构、训练数据集和任务的对照组模型进行比较，但对照组模型遵循了高分辨率训练的黄金标准。DVD训练的模型在黑盒58,59以及白盒60对抗性攻击下都表现出显著的改进（见图6c）。在黑盒攻击中，DVD训练的模型在L2基高斯噪声和均匀噪声的5级严重性下准确率提高了约50%，在相同严重性的脉冲噪声下准确率提高了约三倍。针对白盒攻击，DVD训练的模型在快速梯度符号方法（FGSM6；从17%提高到40%）、快速梯度方法（FGM6；从13%提高到32%）和投影梯度下降攻击（PGD7；从11%提高到39%）下的表现也有所提升。这些发现证实，DVD训练使模型在对抗性攻击中变得更加鲁棒。为了更好地分离各个发展因素对鲁棒性的影响，我们考虑了仅使用敏锐度、对比度或色彩成熟度进行训练的模型（见补充图10）。与形状偏差的结果一致，对比度敏感性成为主要的贡献因素，在大多数自然损坏和对抗性干扰下始终增强了模型的鲁棒性。敏锐度和色彩在基于模糊的损坏（尤其是运动和失焦）和JPEG压缩下提供了选择性优势，但在噪声和基于天气的扭曲下效果不佳。结合这三个因素产生了最强且最通用的鲁棒性提升，表明综合发展轨迹的优势超出了任何单一因素。最后，为了评估DVD训练的强度，我们将其与对抗性训练（AT；见补充图9）进行了比较。具体来说，我们使用基于PGD的AT（ε = 1×10^-3, 1/255 和 4/255，参考文献61,62）训练了对照组模型。虽然这样的模型在相关白盒攻击（FGM和FGSM）下表现良好，但它们对黑盒攻击的泛化能力有限，低于DVD训练的模型。例如，在5级严重性的脉冲噪声下，DVD-B的准确率约为对抗性训练模型的两倍。此外，DVD训练所需的计算时间比AT少4.62倍（见补充图15a），并且在广泛的自然退化情况下通常表现更好（见补充图9）。综合这些比较表明，DVD训练提供了比AT更具竞争力的替代方案。此外，DVD还带来了AT单独无法实现的好处，包括接近人类水平的形状偏差、基于形状的特征选择性和最先进的抽象形状识别性能（见补充图15b–d）。

讨论
实现类似于人类的基于形状的鲁棒视觉一直是AI长期面临的挑战。我们在这里展示了可以从生物学中找到灵感。通过使用不同的数据集和架构进行一系列实验，我们发现，暴露于从新生儿到25岁的人类视觉发展轨迹，可以产生更加基于形状且鲁棒的、与人类视觉系统一致的视觉系统。DVD训练的模型在基于形状的决策制定方面处于领先地位，其性能超过了大规模AI基础模型63，并缩短了与人类行为的差距。这些模型还能够识别隐藏在复杂背景中的抽象形状——这也是大规模基础模型未能做到的。此外，DVD训练使我们的模型在高斯图像退化下与人类心理物理数据更加吻合13，并使其对所有其他测试过的图像干扰更加鲁棒14,57。最后，DVD训练的模型对各种黑盒和白盒对抗性攻击也更加鲁棒。因此，DVD提供了一个通用的训练框架，用于实现接近人类水平的基于形状的抽象形状识别性能的视觉处理模型，同时提高了对抗性和退化鲁棒性。我们的分析共同表明，DVD训练产生的模型具有根本不同的、鲁棒的特征集，这些特征是他们作出决策的基础。与依赖于分布式局部特征（如纹理）不同，它们从操作基于形状的综合特征中获得了鲁棒性。

通过进行受控饲养实验，我们发现对比度敏感性的发展而不是视觉敏锐度或色彩，在获得选择性和鲁棒性能中起到了关键作用。这与先前研究的主要直觉相反，那些研究主要强调通过图像模糊13,14,15,16,17,18来降低视觉敏锐度作为形状偏差的关键驱动因素。虽然视觉敏锐度确定了可分辨空间频率的上限，但对比度敏感性决定了在给定空间频率下可以检测到的最小幅度。至关重要的是，并非所有低频内容都支持形状识别：低幅度主要传递的是均匀纹理，而高幅度的低频内容主要编码全局结构。因此，对比度敏感性构成了基于形状处理的一个关键且以前较少被认识的决定因素。此外，对比度敏感性的成熟速度比视觉敏锐度慢；因此，其长期的不成熟可能对形状感知的发展产生更深层次和更持久的影响。然而，请注意，人类在发展过程中对比度敏感性的自然复杂性并不能通过频率域操作（如硬阈值处理、对比度敏感度函数（CSF）乘法或甚至一个八度的频率池化）完全捕捉到。未来的工作可能会研究与人类对比度敏感性发展的更紧密对齐的影响。此外，绝对对比度阈值的测量在不同发展阶段有所不同，可能会反映非视觉因素；因此，我们的实现旨在作为一种近似抽象，而不是直接定量映射不同年龄的阈值对比度。

随机混排实验进一步证明了尊重发展顺序的显著优势：在时间顺序下出现的形状偏差行为比在随机混排的暴露下更为强烈，突出了这种方法相较于随机数据增强方案的优势。对于人类来说，训练和测试不能严格分开，早期的“弱”视觉相比连续和随机交错的感觉退化更有优势，这得益于我们较长的父母照顾阶段11。尽管当前的工作是从视觉发展中获得灵感的，但生物视觉中的许多有前景的方面仍待探索，以了解它们对AI视觉的影响。其中包括明显的视觉信息采样64,65、视觉信息的拓扑排序66,67、大细胞和小细胞通路的不同作用18、不同感官模态的共同发展68、身体动作库69,70和语言能力71,72。在建模视觉发展方面的另一个方向是使用以自我为中心的视频来映射物体及其视图的变化73，其中课程也被证明在发展丰富的视觉特征方面很重要74。通过以自我为中心的视频联合建模物体的分布及其视图，以及通过我们的DVD变换来建模图像特征的分布，将进一步缩小人类和AI系统之间的发展差距。未来的工作可能会探索这种组合对基于形状的鲁棒AI视觉的影响。

当前的工作评估了一系列AI视觉模型。这种多样性被证明是重要的，因为之前的一些解决方案在其他测试中失败了。例如，在评估基于形状的物体识别时，风格转移的形状-纹理线索-冲突图像一直是AI社区的重点。然而，我们的结果表明，仅仅在形状偏差基准上得分高并不一定对应于基于形状的视觉处理：用风格转移的图像训练的模型表现出高形状偏差，但在检测自然场景中嵌入的抽象形状时表现不佳。这一发现强调了通过多种基准测试来测试基于形状的处理的重要性，以区分形状信息的各种属性5,75。除了对机器视觉的好处之外，当前的方法也可能有助于我们理解人类视觉为何如此鲁棒，表明“起步时较弱”是大脑学习高度鲁棒视觉特征的一种有效方式10,11,12。正如我们的实验所示，早期依赖于配置形状线索，由于缺失的高空间频率以及总体频率的低功率，可能会建立一种持续存在于人类发展过程中的感知偏差，引导人类视觉朝向以形状为主的视觉处理策略。未来，我们的模型可以作为一个重要的测试平台，用于推导关于人类视觉发展特征的预测，并为探索医疗干预（如先天性白内障的移除76）的效果以及减轻这种干预的残余负面影响的方法提供有价值的起点。

方法
神经网络架构和训练
DVD预处理流程
DVD被实现为一个数据预处理流程（见图1a），该流程模拟了三个视觉方面的发展：视觉敏锐度19,20,21,22,23,24,25,26,27,28,29,30,31,32,33、色彩敏感度34,35,36,37和对比度敏感性38,39,40,41,42,43,44。从出生到25岁（0-300个月）的定量心理物理数据被收集并用平滑的单调函数拟合（见图1b–d）；由此产生的曲线驱动了一个覆盖整个训练时期的数据转换计划。请注意，视网膜的不成熟和皮层的发展都对早期视觉限制有贡献；在这里，我们依赖于捕捉这些因素综合影响的心理物理数据。这种设计使得预处理流程可以轻松集成到各种网络架构的训练中。未来工作的一个重要方向是分离视网膜和皮层的贡献。

通过高斯模糊模拟视觉敏锐度
视觉敏锐度是通过将高斯模糊（σ）应用于图像来模拟的，这与可测量的Snellen敏锐度变化一致（见图1b）。通过心理物理学研究19,20,21,22,23,24,25,26,27,28,29,30,31,32,33获得了不同年龄的Snellen敏锐度，数据用双指数函数拟合。根据之前的视觉敏锐度模拟工作17，一个在60厘米处观察的15°视角物体允许20/20的观察者分辨出约450个周期，而20/600的观察者只能分辨出约15个周期。对于宽度为\(w\)像素的图像，我们计算\(\sigma\)，使得所有高于1/(w/15)的空间频率都被衰减。使用这个滤波器进行卷积会产生一个大约20/600敏锐度的图像，当σ=4时，对于100×100像素大小的图像：$$\sigma(w,x)=\frac{4\times(20/600)\times w}{100\times x},$$其中\(w\)是图像宽度（以像素为单位），\(x\)是Snellen视觉敏锐度；增加σ会模拟Snellen视觉敏锐度的降低。

通过频率域阈值处理模拟对比度敏感性
对比度敏感性是通过为每个图像的频率域表示应用一个随年龄变化的幅度阈值来模拟的，选择性地移除发育中的人类视觉系统无法感知的弱信号成分。在每个训练时期，模型被赋予一个以月为单位的年龄t，相应的图像被处理以反映适合该年龄的对比度敏感性限制。具体来说，我们计算图像的离散傅里叶变换并提取每个RGB通道的功率谱。定义了一个动态幅度阈值\({T}_{t}\)，以抑制功率低于该年龄模型敏感度的频率成分。该阈值定义为$${T}_{t}=\frac{{P}_{\max }\beta (1-{C}_{t})}{\left(\left\lfloor \frac{t}{\lambda }\right\rfloor ,1\right)},$$其中\({P}_{\max }\)是给定图像的所有RGB通道的最大光谱功率，\({C}_{t}\)是根据定量人类心理物理数据38,39,40,41,42,43在出生到成年早期（0-300个月）跟踪的最大对比度敏感性得出的经验估计值（见图1c；函数根据参考文献39拟合）。\(\beta\)和\(\lambda\)是固定的超参数。\(\beta\)决定了频率域中与出生时对比度敏感性相对应的幅度阈值，而\(\lambda\)控制阈值衰减速率与随时间增加的对比度敏感性之间的映射。幅度低于\({T}_{t}\)的频率被设置为零，有效地丢弃了在那个发展阶段无法检测到的图像信息。默认情况下，此过程实现了严格的切割，消除了所有低于阈值的信号。为了近似人类感知阈值的渐进性质，我们还测试了S形阈值处理（见补充图7a），以提供可见和不可见对比度之间的平滑过渡，这产生了质量上一致的结果（见补充图7b）。此外，我们实现了CSF乘法方法来调节所有空间频率成分，而不是应用硬阈值切割，并且在频率域中引入了一个八度的频率池化；这些实现共同减少了可见的预处理伪影（见补充图14a）。无论是否使用频率池化，使用CSF乘法训练的模型得出的结果与使用基于阈值的方法得出的结果一致（见补充图14b–d）。通过对过滤后的谱进行逆傅里叶变换，重建了受对比度限制的图像，从而为模型训练提供了基于年龄的视觉体验的自然模拟。

在主要分析中，我们使用了一个随年龄变化的峰值对比度敏感度的单一指标作为AI训练的简洁预处理步骤（见图1b）。然而，婴儿的对比敏感性不仅随年龄变化，还随空间频率的不同而变化（见补充图6a,b）。为了更真实地捕捉这些动态变化，我们实现了一个随时间发展的对比敏感性函数（CSF），该函数反映了婴儿对不同频率的敏感性逐渐成熟的过程，覆盖了从1到32周期每度（cycle per degree）的频率范围，以及从新生儿到25岁的年龄段（见补充图6c）。使用这个基于完整CSF的转换模型训练得到的结果，与使用简化后的峰值敏感性方法得到的结果基本一致（见补充图6d）。

通过颜色保真度插值（Colour Fidelity Interpolation）来模拟色彩敏感性的年龄依赖性变化：为了模拟色彩敏感性的年龄依赖性变化，我们在灰度图像和全彩色图像之间应用了逐像素的线性插值，并通过从0%（新生儿）到100%（成人）的经验得出的色彩敏感性值进行调节。这些值代表了与成熟观察者相比感知颜色差异的相对能力。在每个对应于发展年龄t（以月计）的训练周期中，我们定义了一个色彩敏感性因子S_t，其范围在[0, 1]之间，该因子是根据行为数据34,35,36,37（见图1d）进行拟合得出的（函数拟合依据参考文献37）。该参数控制了训练过程中应用的图像转换：I_t = (1-S_t) × IMultiplier_Grey + S_t × IMultiplier.RGB，其中IMultiplier_Grey是原始的全彩色图像，IMultiplier_Grey是其仅包含亮度的灰度版本，I_t是经过发展阶段调整后的图像。这种连续的调整方案使模型能够逐渐提高颜色保真度，反映了从早期发育到成年期色彩敏感性的成熟过程。

DVD的超参数调整：DVD预处理流程使用了三个关键超参数来控制模型训练期间的早期视觉体验：α（每个训练周期的月数）、β（初始对比度阈值）和λ（对比敏感性映射因子）。为了调整超参数，我们将α的范围设置在[1, 2, 4, 8]，β的范围设置在[5 × 10^-5, 1 × 10^-4, 2 × 10^-4, 4 × 10^-4]，λ的范围设置在[50, 100, 150]。超参数扫描仅在迷你生态集（mini-ecoset）上进行，以评估准确性和偏差之间的权衡。对于生态集（ecoset）、ImageNet、不同架构（CNNs和ViTs），以及从监督学习到自监督学习的情况，我们直接应用了迷你生态集中的代表性设置，无需进一步调整（具体参数值见补充表1）。

参数α通过将每个训练周期映射到特定的发展月数来定义训练过程的时间分辨率。较小的α值意味着更细的时间粒度，使模型能够体验到更渐进的视觉输入变化；较大的α值则加速了发展阶段的进程。对于主要的DVD变体DVD-S（α=1）、DVD-B（α=2）和DVD-P（α=4），α作为一个灵活的代理，将发展月数转换为训练周期，而不需要假设婴儿的清醒时间、刺激暴露或重复次数的绝对值。因此，减少或增加α值可以有效地控制早期不成熟体验的数量和强度，从而系统地探讨其对视觉表征和行为的影响。

参数β通过定义频率域中的起始幅度阈值来设定初始对比敏感性的基准，模拟新生儿的视觉状态。随着训练的进行，这个阈值会降低，以反映敏感性的提高。参数λ控制频率域阈值随时间的衰减速率，将对比敏感性的提升转化为发展过程中频率域阈值的减弱。

我们的主要实验基于ResNet-50架构作为基线模型和DVD训练模型的默认骨干网络。基线模型接受了传统的高保真数据预处理，而DVD训练模型则接受了下文描述的发育视觉饮食（developmental visual-diet）流程转换后的输入。我们还训练了一系列CNN和ViT骨干网络（默认使用ResNet-50；AlexNet、VGG-16、MobileNet-V2、ResNet-18、ResNeXt-50、ViT-B/16和DeiT-B/16，用于跨架构的泛化测试；见图3b）。所有模型都进行了300个训练周期的训练，使用两个NVIDIA H100图形处理单元进行并行处理，采用随机梯度下降（动量0.9，权重衰减1 × 10^-6，学习率1 × 10^-4），并接受了相同的数据增强处理，包括随机水平翻转、旋转、灰度化、亮度调整、高斯模糊、锐化、均衡化和透视效果。在训练过程中，我们避免了过度的小范围裁剪，因为过小的输入区域往往会忽略全局对象结构，从而可能阻碍形状选择性表征的产生。为了评估潜在的相互作用，我们还训练了没有高斯模糊增强的控制模型，这些模型的形状偏差结果与之相当（见补充图12）。

我们使用三个图像数据集评估了带有和不带有DVD训练的模型：mini-ecoset（450万张图像，112个类别，其中包括12个新增的提示-冲突类别）、ecoset（来自565个基本级别的150万张图像）和ImageNet-1K（约130万张图像，1000个类别）。

形状偏差与纹理偏差的测量：形状偏差是通过提示-冲突刺激来衡量的，在这些刺激中，纹理和形状线索相互冲突。根据Geirhos等人的方法，我们计算形状偏差为：
B_shape = (N_shape / (N_shape + N_texture))，
其中N_shape是根据形状线索正确分类的提示-冲突图像的数量，N_texture是根据纹理线索分类的图像数量，B_shape表示形状偏差。这个指标捕捉了在面对冲突的形状-纹理视觉信息时的形状驱动决策的比例。除非另有说明，否则整体的形状偏差以类别级别形状偏差的中位数来报告。

为了追踪训练过程中形状偏差的出现，我们在每个训练周期间隔保存了DVD训练模型和基线模型的权重检查点。对于每个检查点，我们计算了形状偏差及其对应的形状/纹理分类准确率。利用发育时钟参数α（每个训练周期的月数），我们还可以将这些周期转换为具有相同视觉敏锐度、对比敏感性和色彩敏感性的等效人类发育年龄。

为了分清各个视觉发展组成部分的贡献，我们进行了对照饲养实验，通过训练模型来组合三种因素的所有可能组合：视觉敏锐度、对比敏感性和色彩敏感性，从而区分了七种不同的条件：（1）三种因素都存在，（2）敏锐度+色彩敏感性，（3）敏锐度+对比度，（4）对比度+色彩敏感性，（5）仅敏锐度，（6）仅色彩敏感性，（7）仅对比度。这种系统的因子设计表明，仅对比敏感性就足以引起强烈的形状偏差，这与使用完整DVD流程训练的模型观察到的表现一致。

我们应用了Grad-CAM方法（Grad-CAM77），该方法通过结合目标类的梯度和最后一个卷积层的激活来生成类别区分性热图。Grad-CAM突出了对预测最有影响力的空间区域，从而提供了模型决策过程的互补性、粗粒度的可视化结果（见图4b）。此外，我们还应用了逐层相关性传播（LRP）来追踪模型预测通过网络层的过程，根据输入像素对最终类别决策的贡献来分配相关性分数。这使我们能够可视化模型在分类提示-冲突图像时主要依赖于形状相关特征还是纹理相关特征（见补充图4）。

我们通过测量在10个严重程度级别上物体和面孔的top-1分类准确性来评估对图像退化的鲁棒性，每种退化类型在5个严重程度上进行了测试。退化包括噪声（高斯噪声、射击噪声、脉冲噪声和斑点噪声）、模糊（运动模糊、缩放模糊、高斯模糊和散焦模糊）、天气效应（雨、结冰的窗户、细雨和雪）以及质量损害（像素化、JPEG压缩、像素丢失和波浪失真）。在每个严重程度上记录准确性，以量化模型在所有退化类型下逐步增加的挑战条件下的恢复能力。

对抗性鲁棒性是通过在逐渐增加的强度水平下测量top-1准确性来量化的。黑盒攻击（black-box attacks）包括基于L2的高斯噪声、均匀噪声和椒盐噪声，每个噪声的扰动幅度分别为10、20、50、80和100。白盒攻击（white-box attacks）包括FGSM6（ε=1 × 10^-4、2.5 × 10^-4、5 × 10^-4、7.5 × 10^-4、1 × 10^-3）、FGM6（ε=1 × 10^-3、1 × 10^-2、3 × 10^-2、1 × 10^-1、3 × 10^-1）和PGD7（ε=1 × 10^-4、2.5 × 10^-4、5 × 10^-4、7.5 × 10^-4、1 × 10^-3）。在每个级别上记录准确性，以评估模型在越来越强的对抗性扰动下的稳定性。

我们使用IllusionBench数据集评估了抽象形状识别能力，该数据集包含16种不同的形状类别（飞机、自行车、鸟、瓶子、汽车、猫、狗、海豚、叉子、吉他、杯子、熊猫、回形针、帆船、滑板和茶壶），这些形状巧妙地嵌入在11个自然场景中（市集市场、城市、中世纪村庄、博物馆、时代广场、水下遗迹、云层、森林、海洋、折纸和沙丘）。这个基准测试了模型检测嵌入在自然场景中的全局形状配置的能力。我们使用映射到16个形状超级类别和11个场景超级类别的ImageNet-1K预测来评估所有模型、视觉语言模型（VLMs）和标准视觉模型（见图3b）。形状召回率衡量预测类别属于正确形状超级类别的频率。场景召回率衡量预测类别属于正确场景超级类别的频率。对于每个数据集，召回率以识别出正确形状或场景超级类别的图像百分比来报告。

我们使用相同的约束指令评估了多模态大型语言模型（LLMs）/VLMs（Llama-4-Scout、Gemini-2.0-Flash和GPT-4o）：‘你是一个ImageNet分类器。请从用户提供的列表中精确选择一个类别标签。仅用该类别名称回答——不需要引号、标点符号或额外的词汇。如果不确定，猜出最可能的类别。永远不要道歉或提及不确定性。将这张图像分类到1000个ImageNet类别中：{classes}。我们采用了与之前VLMs评估中使用的类似的封闭集分类提示方案（Zhang等人79；Gavrikov等人63）。

对于IllusionBench-IN，图像被调整大小为224 × 224像素，并以单张图像的形式呈现，每张图像只进行一次生成，不允许多次尝试（适用于全部6,874张图像）。Llama-4-Scout使用确定性贪婪解码（do_sample = False，num_beams = 1，max_new_tokens = 32），没有指定温度。Gemini-2.0-Flash使用API默认参数运行，包括1.0的采样温度。GPT-4o同样在API默认参数下进行评估，没有明确设置温度或top-p参数。对于提示-冲突刺激的分析，我们通过参考文献63获得了多模态LLM们的结果。

为了检查DVD训练引起的内部表示，我们从每个模型的倒数第二层（CNN的最后一个平均池化层或Transformer的最终预逻辑输出层）提取了特征激活，以响应完整的IllusionBench数据集。这些高维激活向量通过主成分分析（principal component analysis）被简化为50个主成分，这是一个标准预处理步骤，可以稳定t-SNE并减少噪声。然后使用t-SNE将简化后的表示嵌入到两个维度中，t-SNE的困惑度为30，基于主成分分析进行初始化，并进行了1,000次迭代（随机种子=42）。得到的二维嵌入提供了模型如何基于学习到的特征相似性对刺激进行聚类的清晰可视摘要（见图5c和补充图5）。

有关研究设计的更多信息，请参阅与本文相关的Nature Portfolio Reporting Summary。