神经网络能否学习象形甲骨文与物体图像之间的视觉对应关系？

《Expert Systems with Applications》：Can Neural Networks Learn Visual Correspondence Between Pictographic Oracle Bone Scripts and Object Images?

　　``

• •
  OBS-VisSem 能在11个类别中统一处理OBS符号和对象图像。
• •
  一个简单的ResNet加上原型头部能够学习到统一的表示方法。
• •
  在经过筛选的设置中，封闭集分类显示出强大的OBS-对象建模能力。
• •
  保留的领域测试显示了超越随机水平的跨领域泛化能力。
• •
  鲁棒性分析评估了输入表示、评估规则和模型变体。

引言

汉字通常是指事文字：一个书写符号代表一个词，通过词来传达概念。因此，汉字往往保留了丰富的语义和结构信息，许多早期的汉字形式显示出明显的图画起源。这一特性在甲骨文（OBS）中尤为显著，甲骨文是已知最早的成熟汉字形式，可以追溯到3000多年前（Keightley, 1997; Li, Dai, Gao, Zhu, Li, Liu, 2020）。尽管已破译的OBS语料库包含了多种形式——包括象形字、会意字、意音复合字、联想复合字和音借字——但其中最直接模仿现实世界对象的象形字子集是本研究的重点，如图1所示。从这个意义上说，象形字OBS为我们提供了一个自然的实验平台，用来研究视觉空间表示是否能够支持古代符号和对象图像之间的类别级对应关系。

虽然一些OBS符号与现实世界对象的相似性对人类读者来说往往是显而易见的，但目前尚不清楚计算机视觉模型在多大程度上能够理解这种象形对应关系。特别是，人工神经网络是否仅通过视觉就能在OBS符号和对象图像之间建立类别级的视觉对应关系？据我们所知，现有的与OBS相关的机器学习研究主要集中在OBS与现代汉字之间的联系上，而对OBS与对象之间的直接关系关注较少。因此，神经网络是否能够学习到象形字OBS符号和对象图像之间可迁移的跨领域线索仍有很大的探索空间。最近的基于LMM的视觉破解基准测试（如PictOBI-20k）进一步表明了对直接OBS-对象对应关系的兴趣日益增加（Chen et al., 2025）。然而，在受控的保留领域协议下，仅通过视觉模型能够恢复这种对应关系的程度仍然不清楚。

在本文中，我们使用“象形性质”一词来指代OBS符号与其对应对象图像之间的基于视觉的、类别级的视觉-结构对应关系。这种对应关系并不意味着模型能够完全理解语言、历史或文化语义。相反，我们的任务重点是研究象形字OBS符号的视觉拓扑结构是否保留了可以与对象图像进行跨领域匹配的对象相关结构。

为了研究这个问题，我们构建了OBS-VisSem（甲骨文视觉-语义数据集）¹，这是一个双领域数据集，使我们能够通过视觉抽象来研究象形对应关系。该数据集涵盖了11个语义类别，包括两个视觉领域：(i) 从公共仓库（如汉字源和国学大词库）收集的OBS符号，以及(ii) 从现实世界来源收集的对象图像，并使用Diffusers库（von Platen et al., 2022）生成了补充样本。在主要实验设置中，对象图像被转换成单通道基于边的表示。为了评估这一设计选择的可靠性，我们还在鲁棒性分析中检验了其他图像表示方法。

我们的模型采用了极简的设计，包括一个单一的ResNet风格的编码器（He, Zhang, Ren, & Sun, 2016）和一个基于欧几里得原型的分类头部（Snell, Swersky, & Zemel, 2017）。没有引入领域对手、语言先验或显式的领域对齐损失。相反，模型在统一的视觉空间中进行训练，使我们能够研究简单的视觉表示是否能够支持符号领域和对象领域之间的跨领域类别泛化。在这种设置下，模型在封闭集分类中的Top-1准确率达到了99.66%。更重要的是，在逐渐严格的单领域保留评估中——即在训练期间保留一个领域的一个类别、一对类别或所有类别，并且在训练期间不可见——学习到的表示仍然具有显著的迁移能力，在10+1设置中的平均Top-1准确率超过了46%。进一步的鲁棒性分析评估了输入表示在10+1设置中的效果，以及评估规则和模型变体在严格的0+11设置中的效果。总体而言，这些结果表明，象形字OBS符号包含可迁移的类别级视觉线索，支持在共享类别监督下的非平凡的跨领域泛化，同时也揭示了在更严格保留条件下的明显限制。

本工作的主要贡献如下：

• 1.
  问题定义。我们为象形字OBS构建了一个视觉识别设置，专注于符号和对象图像之间的类别级跨领域对应关系，从而可以直接研究视觉空间中的可迁移象形线索。
• 2.
  数据集和协议。我们构建了OBS-VisSem，一个包含OBS符号和对象图像的双领域数据集，并引入了标准化的封闭集和逐渐具有挑战性的单领域保留评估协议（10+1 / 9+2 / 0+11）。
• 3.
  具有非平凡跨领域迁移能力的简单基线。使用从头开始训练的单一ResNet编码器和欧几里得原型头部，我们在逐渐严格的保留设置下获得了良好的封闭集性能和非平凡的跨领域泛化能力，为后续研究提供了一个清晰的基线而不是高性能的基准。
• 4.
  消融研究和诊断分析。我们在10+1设置中评估了对象图像表示和类别-top-t敏感性，并在严格的0+11设置中评估了不同的决策规则、编码器和分类器头部。

章节片段

相关工作

OBS资源、识别和分析。

以往关于OBS的工作涵盖了几个主要方向，包括数据集构建、识别/分类、检索/检测和辅助破译。公共语料库包括Oracle-20K（约20k个手抄符号，261个类别）（Guo, Wang, Roman-Rangel, Chao, & Rui, 2016）、Oracle-AYNU（约40k个字符，超过2.5k个类别）（Zhang, Zhang, Liu, Yang, & Liu, 2019）和OBC306（约300k个扫描符号，306个类别）（Huang, Wang, Liu, Shi, & Jin, 2019）。

数据集构建

我们介绍了OBS-VisSem（甲骨文视觉-语义数据集），涵盖了十一个语义类别：大、鸟、牛、鹿、象、眼、羊、莱、月、兔和雨，如图1所示。这些类别是从经过破译且具有足够符号样本的强烈象形字OBS字符中选出的，因此它们为研究神经网络是否能够捕捉到编码在其中的对象相关象形信息提供了一个小型但受控的实验平台

封闭集分类（11路)

我们首先评估了在标准封闭集分类设置中是否可以联合建模OBS符号和对象图像。在OBS-VisSem上的11路分类任务中，一个在两个领域都训练过的模型取得了非常高的准确率，表明这两个领域可以在统一的标签空间内有效处理。

使用欧几里得原型头部，ResNet-18/34/50分别取得了99.44%、99.66%和99.55%的Top-1准确率。由于ResNet-34提供了最高的准确率

讨论

结果支持了一个特意有限但非平凡的结论：在选定的11个具有强烈象形特征的类别中，当特定的类别-领域配置——或者在最严格的设置中，整个目标领域——在训练中缺失时，仍然可以观察到OBS符号和对象图像之间的类别级视觉对应关系。完整的10+1和严格的0+11协议为这一结论提供了主要证据。不同类别之间的显著差异和性能下降

结论

我们研究了现代视觉模型是否仅通过视觉输入就能学习到OBS符号和对象图像之间的跨领域象形对应关系，而不需要语言先验或显式的领域对齐目标。为了研究这个问题，我们构建了OBS-VisSem，一个包含OBS符号和对象图像的双领域数据集。主要实验使用了一个从头开始训练的共享ResNet-34编码器和欧几里得原型头部，在三个逐渐严格的单领域保留设置下进行训练

未引用的参考文献

表C1、表C2、表C3和C.14。

CRediT作者贡献声明

李子涵：方法论、数据策划、软件、调查、形式分析、可视化、写作 —— 初始草稿。陈慧宇：数据策划、软件、验证、写作 —— 审查与编辑。胡宗海：概念化、项目管理、方法论、调查、监督、写作 —— 审查与编辑、资金获取、资源。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能会影响本文报告的工作。

Zihan Li|Huiyu Chen|Zonghai Hu

``````