跨类别形变中的材料识别：材料属性而非仅视觉相似性组织人类材料表征

《Scientific Reports》：Material recognition from cross-category morphing

　　

来自不同类别的材料共享共同图像特征，但也表现出独特特征。尽管材料外观变化巨大，人类如何识别材料？研究人员利用生成式神经网络（generative neural networks）创建原型材料以及类别间形变的模糊材料。为捕捉材料表征（material representation）的丰富性，研究人员通过三项行为任务——材料分类（material categorization）、材料属性评分（material property rating）和视觉相似性判断（visual similarity judgment）——表征人们如何利用跨材料形变（cross-material morphs）判断材料。研究发现，形变平滑地调节材料外观的知觉尺度（perceptual scales）。尽管存在这种平滑变化，参与者能够在给定外观范围内可靠识别原型材料，表明材料类别与其视觉特征之间存在强关联。材料属性构建知觉空间（perceptual space），其中显著维度——尤其是刚性（rigidity）——与感知到的材料类别强相关。相比之下，分析源自自监督深度学习（self-supervised deep learning）模型的图像嵌入（image embedding）表明，仅学习视觉相似性不足以再现人类材料的知觉空间。总之，研究结果表明，材料表征不仅仅是视觉相似性，可能还需要学习构建类别内和跨类别材料之间关系的材料属性。视觉特征可能被灵活且任务依赖地用于支持多个层次的材料感知，从辨别到材料属性推断再到分类。

研究背景与问题：材料分类（material categorization）是将连续感觉输入映射到离散、行为相关概念的过程，是指导人类与物理环境互动的基本能力。日常生活中材料外观高度多样且多维，物理不同的材料可表现出相似视觉特征，如颜色、光泽度或透明度，而物理相似的材料也可在外观上明显不同。以往材料分类研究多聚焦高度控制的刺激，通常沿单一维度变化，并独立操纵形状、光学和机械属性等因素。这种控制方法有助于发现图像特征、物理参数与材料类别之间的关系，但人为去除了自然共变，可能强制某些视觉特征与感知类别直接映射，并依赖关于操纵因素的强假设。真实材料外观来自许多共变视觉特征的联合交互，这种自然特征组合可能同时塑造材料分类和材料属性估计。因此，研究人员在视觉外观与材料属性共变的条件下研究材料感知，追问人类如何从连续多维视觉外观中分类和表征材料。

研究人员开展的研究与结论：研究人员训练生成神经网络模型，在肥皂（soap）、岩石（rock）和软体玩具（squishy toy）原型类别之间创建无缝过渡的形变连续体，并利用这些跨材料形变开展三项行为任务。研究发现，形变平滑调节材料外观知觉尺度；参与者能从特定外观范围可靠识别原型材料；材料属性构建材料知觉空间，其中刚性等显著维度与感知材料类别强相关；自监督深度学习模型分析则显示，仅学习视觉相似性不足以再现人类材料知觉空间。其重要意义在于，材料表征超出视觉相似性，可能要求学习那些在类别内和跨类别间组织材料关系的材料属性；视觉特征可能被灵活、任务依赖地用于支持从辨别、材料属性推断到分类的多层次材料感知。

关键技术方法概括：研究人员使用 StyleGAN2-ADA 生成式深度学习模型，在自建图像数据集上训练；先训练肥皂数据集（8085张照片），再分别在岩石数据集（3180张照片）和软体玩具数据集（1900张照片）上微调，获得 soap、rock、squishy toy 三个模型。通过线性插值潜在代码和生成器卷积权重创建七级跨材料形变连续体，共130张图像。行为实验参与者来自 American University 的本科生和研究生，均具有正常或矫正视力；实验1由20名参与者完成最大似然差异标度（maximum-likelihood difference scaling, MLDS）三刺激视觉相似性判断；实验2和3由27名参与者完成材料属性评分和材料分类。另训练 SimCLR（self-supervised contrastive learning，自监督对比学习）模型，以 ResNet18 为骨干，在10,800张 StyleGAN 生成图像上训练，并用 ImageNet 预训练的 SimCLR（ResNet50）验证。

研究结果：
Morphing smoothly modulates perceptual scales of material appearances（形变平滑调节材料外观的知觉尺度）：通过实验1，研究人员使用 MLDS 三刺激任务测量参与者对七级 soap-rock 或 toy-rock 形变连续体的视觉外观差异敏感性。结论是，估计的知觉尺度随形变水平单调且近似线性增加，线性拟合 R² 均值=0.972，s.d.=0.015；表明参与者能辨别外观变化，形变近乎均匀地调节材料外观知觉尺度，并连续、可预测地调节视觉相似性。

Perceptual material categories emerge from morph continua（知觉材料类别从形变连续体中涌现）：通过实验2和3，27名参与者在10个 soap-rock-toy 连续体上进行材料属性评分和材料分类。结论是，参与者能从跨类别形变中识别原型材料类别；对晶体/岩石的一致性高于肥皂和软体玩具；端点附近相邻图像也被识别为原型材料。形变系统调节类别判断和置信度，类别判断沿连续体逐渐移动并在中点附近突变；中间形变常被感知为不同于两个原型的材料，尤其 rock-toy 形变；中点置信度显著低于原型端点。这表明特定外观与熟悉材料类别之间存在清晰关联。

Space of material properties clusters materials into perceptual categories（材料属性空间将材料聚类为知觉类别）：通过属性评分线性混合模型、表征相异矩阵（representational dissimilarity matrices, RDM）和表征相似性分析（representational similarity analysis, RSA）以及主成分分析（principal component analysis, PCA）。结论是，刚性和光滑度沿形变水平表现出最清晰、最一致的线性调节。感知刚性从 soap 到 rock 增加，从 rock 到 toy 降低，紧密跟踪材料分类；光滑度呈相反轨迹。光学属性变化较不系统：光泽度从 soap 到 rock 无线性趋势，从 rock 到 toy 下降；透明度无一致线性调节；脆性总体变化小。材料分类 RDM 与刚性 RDM 相关性最强，均值 r=0.672，与光滑度和脆性为低到中等相关，与透明度和光泽度相关性最小。PCA 中刚性和表面光滑度是主要属性，分离硬与软材料且强负相关；晶体/岩石与 soap、squishy toy 分离；光泽度和透明度几乎与刚性正交；一些被归为不同类别的图像在 PCA 空间重叠。材料属性构建材料知觉空间：机械属性定义类别分离主轴，光学属性捕获跨类别共享的外观变化。

Characterizing material representation through learning visual similarity（通过学习视觉相似性表征材料）：通过训练 SimCLR 自监督对比学习模型，并比较模型嵌入与人类知觉表征。结论是，SimCLR 在真实照片上形成与真实标签大致一致的类别聚类，说明自监督学习可产生区分原型材料的视觉特征。但对130张形变图像，SimCLR 图像嵌入与人类属性评分嵌入缺乏对应；人类知觉嵌入呈现明显局部聚类，主要分离感知岩石/晶体，而模型嵌入聚类较弱，并沿形变连续体分组。使用 ImageNet 预训练 SimCLR（ResNet50）后，错位仍然存在。尽管在更广自然场景上训练可捕获类别相关视觉特征，但并未恢复人类与材料类别相关的语义属性。仅学习视觉相似性不足以再现人类材料知觉空间。

讨论部分总结：讨论指出，人类能从跨材料形变的连续原型和模糊外观中感知材料；尽管外观变化大，仍可识别熟悉类别，表明人类学习各类别的特征外观。自监督深度学习揭示人类表征与基于图像相似性的表征之间存在差距。人类材料表征由对材料属性的语义理解支撑，如刚性、光滑度、透明度，这些属性在广泛外观变化中将材料锚定在有意义的表征空间中。关于材料分类的原型特征，研究人员分析 StyleGAN 生成器不同层卷积权重变化率，发现岩石原型生成在 32 × 32 分辨率层与 soap 和 squishy toy 显著分歧，对应中低空间尺度图像特征，可能编码物体形状和表面纹理等岩石原型特征；对这些特征的敏感性可能促进快速可靠识别岩石。相邻图像在中点附近被感知为不同类别，分类转变伴随感知刚性增加和表面光滑度下降；某些情况下参与者仍高度不确定。关于语义属性组织类别，结果表明语义属性在材料心理表征中居中心地位；分类变化不能仅由视觉相似性解释，SimCLR 嵌入也未像人类那样聚类材料。除视觉相似性外，人类可能沿更抽象或多感官维度组织材料外观。刚性和表面光滑度是区分刺激的最有效维度；视觉外观、机械属性与类别之间的联系可能通过材料交互学习。光学属性作用比以往报道更微妙：本研究中光泽度、透明度与分类相关性较弱，可能因为刺激设计允许外观和多个材料属性同时变化；当光学线索跨类别共享时，其对分类区分作用降低，更多参与类别内细化。关于知觉连续体和类别表征，大脑表征视觉内容为离散类别还是连续维度仍有争议；跨类别形变可用于研究分类知觉，中点附近分类判断突然变化提示材料可能至少部分被类别化。材料也可按语义属性表征；有些属性如光泽度可在不明确识别材料时判断，而可食性或柔软性可能需要更明确的材料识别。理解材料感知需考虑观察者的知觉目标。局限性方面，本研究聚焦有限原型材料类别；扩展到糖果、木材或金属等会增加外观多样性和属性范围。刺激在刚性、透明度、表面光滑度上差异较大，这些属性自然成为主导知觉维度；更多样材料集可能揭示更丰富结构。刺激背景简单，自然环境中材料出现在更丰富、多样情境中，上下文可促进识别，尤其对模糊对象；本研究未直接解决自然场景上下文如何贡献材料感知。其他多感官属性，如触觉、听觉，以及可供性，如可食性，也可能成为行为相关维度。

研究结论部分翻译：研究人员的发现表明，人类通过经验学会将特定诊断性视觉特征与材料类别相关联。同时，学习有意义的属性对于在类别内和跨类别组织材料的心理表征至关重要。更广泛而言，这项工作为利用 AI 生成的逼真形变研究大脑如何表征语义丰富刺激提供了有前景的途径。