《Frontiers in Neural Circuits》：Representations of facial features and surface quality in monkey area TE compared to neural network models
编辑推荐：
面部特征的形态与间距对情绪表情感知及个体识别至关重要，而面部的表面质量（如皮肤纹理、眼睛光泽与毛发反光）对评估健康状态具有重要价值。既往猴区功能磁共振成像（fMRI）研究显示，中央颞下皮层（IT）内面孔选择性区域与物体光泽选择性区域存在重叠，提示面部表面质量在
面部特征的形态与间距对情绪表情感知及个体识别至关重要，而面部的表面质量（如皮肤纹理、眼睛光泽与毛发反光）对评估健康状态具有重要价值。既往猴区功能磁共振成像（fMRI）研究显示，中央颞下皮层（IT）内面孔选择性区域与物体光泽选择性区域存在重叠，提示面部表面质量在TE区（含前IT与中IT）进行处理，但该区对面表面质量的表征尚未被直接检验。为理解面图像中表面质量的神经处理机制，研究人员在三只猴的TE区记录神经元活动，同时呈现具不同表情、身份与表面质量（高光泽、低光泽及将面部纹理替换为织物的“风格迁移”）的面孔图像，并将这些表征与卷积神经网络（CNN）及视觉Transformer（ViT）等若干模型比较。结果表明：风格迁移面孔强烈调制TE神经元活动，部分神经元调谐于猴面部表情，另一些更易受表面质量影响；相较之下，模型表现出相对更大的表面质量表征贡献，尤其体现在原始面孔与风格迁移面孔的分隔上，即便在使用旨在降低纹理分类依赖的 stylized ImageNet 数据集训练的模型中亦如此。上述结果提示风格迁移对TE神经元与模型均有强烈影响，TE神经元面部表征具多样性，而模型倾向强调风格迁移图像且与训练方式无关。这些发现凸显了当前人工视觉模型的潜在局限，并强调借鉴生物表征以启发更鲁棒、可适应视觉识别模型设计的价值。
研究背景与立项依据：在腹侧视觉通路中，物体表面质量（如光泽）的表征见于V2、V4及IT皮层（TE与TEO区），其中IT对物体光泽（含镜面与漫反射）处理精细，且IT神经元对自然物体多重表面特征敏感；同时IT神经元广泛响应面孔，其反应编码表情与身份。猴区fMRI提示中央IT内面孔选择性区与物体光泽区部分重叠，暗示面部表面质量在TE处理，但TE是否及如何同时表征面部特征（表情、身份）与表面质量、不同TE亚区是否偏好不同维度仍不清楚。另一方面，CNN与ViT等模型被指出在纹理-形状冲突时偏重纹理而非形状，但其在内部特征空间如何表征面部表情、身份与表面质量未知。鉴于此，研究人员通过在TE记录神经元并对比同图集下神经网络模型表征，探究生物与人工视觉系统对该维度的处理异同。该研究发表于《Frontiers in Neural Circuits》。
主要关键技术方法：实验纳入两只雄性恒河猴（Macaca mulatta）与一只雄性日本猴（Macaca fuscata），在TE区（猴A经单钨微电极于STS腹侧前TE记录；猴B于左半球前TE即STS与前中颞沟间植入Utah阵列；猴C于左半球后TE即PMTS前、STS腹侧植入Utah阵列）执行注视任务中呈现刺激。测试图集含20张原始图（9猴面、9人面、2像素随机形），经高光泽/低光泽（改HHP与LAP系数）与风格迁移（CNN替换织物纹理保色）扩为80张。神经元放电取刺激后50–249 ms平均发放率；模型取ImageNet-1k预训练AlexNet、VGG16、ResNet50、ViT及同架构SIN（stylized ImageNet）训练版，提取末全连接层（1000维）特征。表征分析采用DoD变换t-SNE可视化、DoD相异矩阵、原始高维欧氏距离归一化、质心距离归一化比。
研究结果：
3.1 猴区TE中对不同表面质量面图像的神经元反应：对426个单元作三向ANOVA（表情×身份×表面质量），加入风格迁移后显著受表面质量调制的TE神经元数在猴面由38增至90、人面由42增至92（χ2检验极显著），证明风格迁移强烈调制TE活动；示例神经元对中性猴面强响应，对高/低光泽有改变而对风格迁移响应减弱，显示神经元异质性。
3.2 TE神经元与神经网络模型对测试刺激的表征：DoD-t-SNE与相异矩阵显示，TE与所有模型均将风格迁移面与余者分离；猴A前TE还分猴面表情，猴C后TE分光泽，猴B分全局类别。归一化欧氏距离中，原始–风格迁移对距离在TE与所有模型（含SIN模型）均大于原始–高光泽/低光泽对，且模型中该距离比TE更大，表明模型对风格迁移分离更强。
3.3 各类别间质心距离：3种表面质量条件下，TE神经元（猴A、B）以表情贡献最大（猴面0.57、0.45），猴C表面质量贡献较大（0.40）；4种表面质量条件加入风格迁移后TE表面质量贡献上升（猴A猴面0.17→0.30，人面升至0.44），但猴A、B猴面仍以表情为主。模型在4质量条件下表面质量成主导（人面所有模型最大，猴面ImageNet模型最大；SIN-ResNet50猴面表情0.39略超表面0.35），且模型表面质量占比均高于猴C（最高0.52）。
3.4 图像分析：风格迁移图亮度（Luminance）更高、饱和度（Saturation）更低、明度（Value）更高，但像素随机形不因表面质量分离，说明分离非低层级像素可解释，属高阶面部信息处理。
讨论与结论翻译：研究人员考察了猴区TE神经元如何就面部特征（表情、身份）与表面质量（光泽、风格迁移）表征面图像，并与神经网络模型比较。TE中风格迁移调制的神经元多于光泽调制，且TE与模型均将风格迁移面分离，原始–风格迁移距离大于原始–光泽距离，模型尤甚。TE神经元间存在跨主体异质：猴A、B（前TE）猴面以表情为主，猴C（后TE）表面质量贡献大，呼应后TE涉表面光泽、前TE涉表情的既往定位。模型（含ViT）在4质量条件表面质量贡献大，即便SIN训练也未消除该偏向，扩展 Geirhos 等（2018）纹理偏向结论：训练数据可减不可消纹理偏向。讨论指出感受野大小可能解释TE内表面/形状偏好共存及CNN内核大小与纹理偏向关系。结论为：风格迁移对TE与模型均有强影响；TE面部表征多样且受记录位点为后/前TE影响；模型不论训练均强调风格迁移，揭示当前人工视觉模型局限，凸显以生物表征启发鲁棒视觉模型之价值。
