《Engineering Applications of Artificial Intelligence》：Exploiting surviving features: Interpretable fragmented bamboo slips character recognition via prototype-based vision transformers
编辑推荐：
简牍（Jiandu）文字识别面临不规则书写、非标准异体字及历时演变的挑战。此外，长期埋藏与发掘损伤常导致高度残碎的文字，其形态变异显著。由于象形结构破碎，识别完全依赖于不完整的幸存特征，这使得该任务远比识别完整古文字困难。这促使研究者需要充分利用残碎文字有限的
简牍（Jiandu）文字识别面临不规则书写、非标准异体字及历时演变的挑战。此外，长期埋藏与发掘损伤常导致高度残碎的文字，其形态变异显著。由于象形结构破碎，识别完全依赖于不完整的幸存特征，这使得该任务远比识别完整古文字困难。这促使研究者需要充分利用残碎文字有限的幸存特征，从已知完整文字中获取识别证据，同时处理由严重残缺且视觉上难以区分的文字结构引起的标签模糊性。为应对这些挑战，研究人员提出了一种可解释的基于原型的视觉Transformer（ProtoViT-FC），该模型建立残碎-完整关联并引入模糊感知监督。该模型采用对比学习来弥合残碎文字与完整文字之间的表征差距。为缓解不完整文字固有的标签模糊性，研究人员设计了两种软标签策略，并引入梯度协调机制（Gradient Harmonizing Mechanism, GHM）损失，使模型能够从局部特征预测可能的类别。此外，研究人员通过基于傅里叶的不规则破损模拟生成大规模合成数据集，以解决数据稀缺问题。在大规模模拟数据集上的综合实验表明，ProtoViT-FC持续优于现有基线，配对自助法分析确认了几乎所有比较中具有统计学显著性的提升。除该特定应用外，所提出的框架通过整合完整参考匹配、模糊感知监督和可扩展退化模拟，为涉及不完整和模糊视觉证据的识别任务提供了初步的工程参考。
**残碎简牍文字识别中的可解释原型学习研究解读**
简牍是从先秦至汉晋时期文字传播的重要载体，其文字识别对追溯早期中华文明具有重要价值。然而，简牍文字存在书写不规范、异体字多样、历时演变等问题，加之长期埋藏和发掘损伤，导致大量文字仅剩残破笔画，形态高度变异。与完整古文字识别不同，残碎文字的象形结构被破坏，识别必须完全依赖有限的幸存特征，难度显著增大。现有古文字修复研究多聚焦于修复任务且需要语义信息，直接针对残碎文字识别的研究较少；同时，高质量训练数据稀缺、标签固有模糊、残碎与完整文字之间的可解释映射缺失等问题突出。为此，研究人员提出了ProtoViT-FC，一种可解释的基于原型的视觉Transformer，相关成果发表在《Engineering Applications of Artificial Intelligence》。
该研究基于敦煌汉简（Dunhuang Hanjian）构建了真实简牍字符数据集，涵盖711个类别共40,226个标注实例，并另选891个真实残碎字符用于补充评估。针对数据稀缺，研究人员采用基于傅里叶的不规则破损模拟生成大规模合成残碎样本。模型以ProtoViT为基础，利用InfoNCE对比损失建立残碎字符与完整字符的关联；设计两种软标签策略以刻画标签模糊性；引入GHM损失以平衡易、难、噪声样本的梯度贡献。实验表明，ProtoViT-FC在模拟测试集上全面优于现有基线，配对自助法分析确认了绝大多数比较具有统计学显著性，该框架为不完整视觉证据识别提供了工程参考。
**关键技术方法**：研究人员构建了源自敦煌汉简（排除悬泉置简）的数据集，包含40,226个标注实例、711个类别，另选891个真实残碎字符进行补充评估。针对数据稀缺，采用基于傅里叶的不规则破损模拟（随机多边形裁剪与谐波扰动）生成大规模合成残碎样本。模型以ProtoViT为基础，采用InfoNCE对比损失实现残碎-完整特征关联；提出Top-k排序软标签策略和基于熵的软标签策略，以刻画标签模糊性；引入GHM损失以平衡各类样本的梯度贡献。总损失由上述四项损失线性融合，并采用完整字符预训练、残碎数据微调的两阶段训练。
**研究结果**：
**4.1 真实残碎字符数据集（Real-world fragmented character dataset）**：研究人员汇集敦煌汉简多个批次，经考古学家处理与标注，最终得到711类、40,226个字符实例；另标注891个真实残碎字符，按残损程度分为简单、中等、困难三档。
**4.2 模拟残碎字符数据集（Simulated fragmented character dataset）**：通过随机多边形裁剪与傅里叶谐波扰动，生成面积占比为20%至60%的模拟残片；每个完整字符生成5个独立残片，并按面积比将测试集分为三档，得到训练157,270个、验证19,690个、模拟测试19,719个样本。
**4.3 实现细节（Implementation details）**：所有模型采用两阶段训练，先以完整字符预训练，再用残碎数据微调；ProtoViT-FC的Top-k参数k=50，四项损失权重分别设为0.333、0.333、0.333和0.1。
**4.4 与基线模型的性能比较（Performance comparison with baseline models）**：在模拟测试集上，ProtoViT-FC的Top-1准确率达41.14%，Top-20达78.79%，均优于ProtoViT及所有对比方法；在真实测试集上，Top-1为24.02%，Top-20为64.09%，同样优于基线。配对自助法分析显示模拟集上几乎所有差异显著。
**4.5 计算效率（Computational efficiency）**：ProtoViT-FC与ProtoViT参数量相同（48.6M），推理延迟相近（约20.92 ms/图）；第二阶段训练时间从29.45h增至36.38h，额外开销换来了可解释的原型匹配能力。
**4.6 模拟傅里叶谐波破损边缘的专家验证（Expert validation of simulated Fourier-harmonic fracture-edge）**：六位博士级专家盲评24个样本，模拟边缘的Q1均分为2.43±0.93，表明与真实断裂痕迹有一定相似但逼真度不足；常见问题包括边缘过于平滑、周期性强、曲率过大、断裂方向不自然。
**4.7 解释效用的专家用户研究（Expert user study of explanation utility）**：五位考古学博士进行两阶段候选筛选实验。加入原型视觉参考后，错误拒绝率从65.52%提升至73.33%，正确类别误拒率从26.15%略升至27.69%；问卷均分处于3.60至4.20之间，说明视觉解释有助于专家审查证据并辅助候选筛选。
**4.8 定性结果（Qualitative results）**：展示多个难度级别的正确识别案例，说明ProtoViT-FC能利用幸存笔画关联完整字符原型；在严重残碎情况下，其Top-k预测仍具有参考价值。
**4.9 失败分析（Failure analysis）**：分组严重失败混淆矩阵显示，低频类别的严重失败率更高；错误预测系统性地偏向高频、低笔画数类别，其中HF-LS→HF-LS是最常见混淆模式；模拟与真实测试集呈现一致的失败规律。
**4.10 消融研究（Ablation studies）**：超参数分析表明，GHM损失单模块增益最大，k=50最优，损失权重均衡组合效果最佳；扰动掩膜实验显示，掩蔽原型激活补丁导致的精度下降显著大于随机掩膜，支持解释的忠实性；跨碎片模式实验中，谐波扰动在困难子集上优势明显；在DeepJiandu跨数据集评估中，ProtoViT-FC以62.85%的Top-1和81.66%的Top-5准确率，优于仅用完整数据训练的ProtoViT（56.30%和76.36%），验证了模拟数据策略的迁移潜力。
**讨论**：真实测试集仅有891个残碎字符，中度和困难子集尤其小，限制了性能差异的统计显著性；模拟器主要模拟物理破损，无法充分表示磨蚀、污染等退化；类别频率不平衡导致低频类别失败率偏高；跨语料泛化仍需验证；原型推理带来额外计算开销。未来工作将探索人机协同标注、更先进的退化模型、类均衡与难负样本学习、跨语料验证以及高效原型推理策略。
**研究结论（翻译）**：本文提出了ProtoViT-FC，一种针对残碎简牍文字识别的基于原型的视觉Transformer，通过将残碎文字与完整文字进行视觉关联，提供了透明的可解释性。为克服结构特征损失及残碎与完整文字间的表征差距，研究人员整合了对比式残碎-完整关联机制。此外，采用基于Top-k排序和熵的软标签策略，并结合GHM损失，以缓解标签模糊性和难度不平衡。为解决训练数据稀缺问题，研究人员通过随机多边形裁剪模拟不规则简牍破损，生成了大规模合成数据集以及按退化程度分类的真实测试数据集。在大规模模拟数据集上的实验表明，ProtoViT-FC持续优于现有基线，统计分析支持了这些改进的可靠性。由于样本量有限，真实世界评估被视为初步补充证据。尽管盲法专家研究表明模拟破损边缘与真实破损模式有一定相似性，但在边缘规则性、曲率和断裂方向方面仍存在重复性差异。解释效用的专家研究进一步表明，通过其基于原型的视觉解释，ProtoViT-FC可以帮助专家检查预测证据并做出更明智的候选筛选决策，从而显示出作为残碎简牍文字识别AI辅助工具的潜力。更广泛地说，该方法为结构不完整识别任务（包括损坏部件识别、部分遮挡目标识别以及不完整符号或文档识别）提供了方法论参考。
