《Pattern Recognition》：SAGE-Networks: Shape-Aware Geometric Embeddings for Writer Re-Identification in Historical Manuscripts
编辑推荐：
历史手稿书写者重识别面临风格多变、材料退化等问题，本文提出SAGE-Networks架构，通过形状感知几何嵌入模块和自监督损失函数，增强模型对书写轨迹的鲁棒性，并构建Scribe Re-ID20数据集验证其有效性，实验显示性能提升21.6%。
亚历西奥·法乔利（Alessio Fagioli）|尼古拉·福拉多尔（Nicola Follador）|马可·卡西奥（Marco Cascio）|埃马努埃拉·科洛姆比（Emanuela Colombi）|詹·卢卡·福雷斯蒂（Gian Luca Foresti）
法律与经济系，Unitelma大学，Sapienza大学，萨萨里广场4号（Piazza Sassari 4），罗马，00161，意大利
摘要
在古代手稿中重新识别笔迹是一项复杂的开放集任务，这一任务因笔迹风格的多样性、材料老化、书写工具的不一致性以及大型注释数据集的稀缺而变得更加困难。传统的作者识别方法在历史背景下往往难以泛化，因为笔迹会因时间、材料或环境的变化而显著不同，即使这些手稿是由同一位抄写员所写。为了解决这个问题，我们提出了一种新的设计策略——形状感知几何嵌入（Shape-Aware Geometric Embeddings，简称SAGE），该策略通过强制保持形状一致性来提高作者识别的准确性，并将集成此模块的架构称为SAGE-Networks。SAGE模块结合了一个孪生网络架构（Siamese architecture）和形状一致性机制，后者强调输入图像中的几何结构。一种自监督损失函数（self-supervised loss）确保孪生网络和形状感知嵌入之间的对齐，引导模型提取跨书写样本的不变结构特征。这种方法提高了模型对风格变化、墨水差异和物理退化的鲁棒性，这些都是在历史语料库中常见的挑战。为了支持这项任务，我们还引入了一个新的基准数据集Scribe Re-ID20，其中包含了来自20位不同作者的抄本片段，时间跨度跨越几个世纪。该数据集包含了专门为开放集识别设计的探针-样本对（probe-gallery pairs）。实验结果表明，与没有形状引导的标准孪生网络基线相比，SAGE-Networks在Rank-1准确率上提高了高达21.6%。这些发现突显了几何先验在笔迹建模中的关键作用，并证明了我们的形状感知嵌入策略在具有挑战性的历史环境中显著提升了性能。SAGE为未来的作者识别和文档图像分析研究奠定了坚实且可扩展的基础。
引言
将作者身份归属于历史作品是一项既有趣又极其复杂的任务。这一直是历史学和古文字学研究的重点，因为它提供了关于书写风格演变以及特定历史时期的文化、社会和知识背景的宝贵见解[1]、[2]。传统上，识别抄写员依赖于耗时且需要专业知识的 Manual 过程，这些过程不可避免地会受到人为偏见和错误的影响。在历史背景下进行作者识别面临许多与现代环境不同的挑战。首先，历史手稿使用诸如羊皮纸和纸莎草等不同的材料，这些材料的质地和吸墨性会直接影响书写的清晰度。其次，老化、湿度和光照等退化因素会导致诸如墨水褪色、污渍和材料损坏等显著噪声[3]。此外，抄写员使用的工具（例如羽毛笔的粗细）以及书写风格的变化（例如从加洛林风格到哥特风格）增加了作者内部的多样性，这使得归属判断更加复杂[4]、[5]、[6]、[7]。
得益于计算机视觉技术的进步，现在可以通过计算方法来进行作者归属的判断[8]。一个关键的进步是作者重新识别（Re-ID）：即使训练过程中没有见过该作者，也能确定两个样本是否来自同一位作者。正如在开放集识别[9]、[10]中正式定义的，并扩展到笔迹识别[11]、[12]中所示，这种方法依赖于学习一个稳健的相似性度量标准，而不是对固定身份进行分类。这对于历史档案尤为重要，因为在这些档案中，作者往往未知或记录很少。
为了支持这一目标，我们引入了两个由乌迪内大学（University of Udine）人文与文化遗产系（Department of Humanities and Cultural Heritage）整理的拉丁文手稿数据集。第一个数据集用于训练形状一致性模块，包含六位作者的样本[13]。第二个数据集Scribe Re-ID20是一个新的开放集历史识别基准数据集，包含了20位不同作者的样本。详细信息见第3.1节。此外，受[14]的启发，我们提出了SAGE-Networks，它利用了形状感知几何嵌入（SAGE）。SAGE的核心创新在于它能够将抄写员的“书写轨迹”（即笔的稳定生物力学运动路径）与文档的“瞬态纹理”（通常受到退化影响的纹理）分开。通过关注持久的几何特征，模型能够抵抗风格变化和墨水变化的影响[15]、[16]。具体来说，SAGE结合了一个孪生网络架构和形状一致性模块，并通过自监督损失函数来明确指导网络编码拓扑不变量（例如笔画的连续性），而不是表面统计特征。
传统模型在这个领域存在显著的限制。支持向量机（SVMs）缺乏可扩展性，而标准的卷积神经网络（CNNs）倾向于过度拟合局部特征，并且对风格无关的变化敏感[17]。尽管基于Transformer的模型在其他领域取得了成功，但它们通常需要大型训练数据集，而这在历史背景下是不可获得的[18]。此外，还需要区分历史作者识别（Writer Re-ID）和一般的人物识别（Person Re-ID）。虽然人物识别通常依赖于多模态融合[19]、[20]或视角不变的注意力机制[21]、[22]来处理视角变化，但作者识别是一个细粒度的模式匹配任务。在历史文档中，标准的注意力机制可能会被老化羊皮纸的强烈“纹理偏差”所误导[23]。SAGE通过将形状不仅仅视为一个特征，而视为一个结构约束，从而确保即使在墨水褪色或材料退化的情况下，嵌入仍然保持稳定。
我们的方法使用多种骨干网络（例如VGG、MobileNet、DenseNet、EfficientNet）进行了基准测试，并且始终优于标准的孪生网络基线。总结来说，我们的主要贡献包括：
- •
提出了SAGE-Networks，这是一种新的历史作者识别架构，它利用形状感知几何嵌入（SAGE）来区分抄写员身份和材料退化。
- •
引入了一种自监督对齐损失函数，将孪生网络架构和形状一致性模块统一到一个共享的潜在空间中。
- •
创建了Scribe Re-ID20，这是一个新的开放集历史识别基准数据集，包含了20位历史拉丁语作者的探针-样本对。
- •
进行了全面的基准测试，将SAGE-Networks与标准孪生网络模型和最先进的Transformer模型进行了比较，
结果显示，在Rank-1准确率上提高了高达21.6%。
以下部分将详细介绍相关工作（第2节）、我们的模型架构（第3节）、实验和结果（第4节）以及结论（第5节）。
相关研究
古代手稿的重新识别是一个相对较少被探索的研究领域。然而，已有几项研究使用了各种人工智能方法来解决更广泛的笔迹识别任务。本节回顾了使用CNNs、混合模型、支持向量机（SVMs）、Transformer和孪生网络的关键贡献。我们还讨论了影响模型开发和泛化能力的现有数据集限制。
CNNs在笔迹识别中得到了广泛应用
方法
本节详细介绍了所提出的SAGE-Networks框架的组成部分，包括使用的数据集、预处理流程、架构模块、训练目标和推理策略。每个元素的设计都旨在确保模型对风格变化、材料退化和有限的监督具有鲁棒性，这些都是历史笔迹识别中固有的挑战。
实验结果
本节展示了所提出框架的实验验证结果。我们首先概述了实现细节，描述了数据集准备、网络配置和训练程序。然后，我们进行了消融研究，以评估关键组件的单独贡献，如SC空间（SC-space）、SL空间（SL-space）和自监督损失函数。最后，我们报告了性能评估结果，并将其与最先进的基线进行了比较。
结论
在这项工作中，我们提出了SAGE-Networks，这是一种用于历史手稿中抄写员识别的新框架，它通过添加形状感知几何嵌入（SAGE）模块来增强孪生网络的功能。
通过明确建模笔迹的形状一致性和几何不变量，该架构解决了历史文档分析的核心挑战，特别是将墨水褪色、污渍和羊皮纸损坏等瞬态环境因素与稳定的
CRediT作者贡献声明
亚历西奥·法乔利（Alessio Fagioli）：撰写 – 审稿与编辑、初稿撰写、可视化、验证、监督、软件开发、项目管理、方法论研究、数据分析、概念化。尼古拉·福拉多尔（Nicola Follador）：撰写 – 审稿与编辑、初稿撰写、可视化、验证、软件开发、方法论研究、数据分析、形式化分析。马可·卡西奥（Marco Cascio）：撰写 – 审稿与编辑、初稿撰写、验证、数据分析。埃马努埃拉·科洛姆比（Emanuela Colombi）：
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。
致谢
本文部分得到了FVG项目“通过人工智能支持罕见疾病（MR）的诊断”（2023-26年）（CUP: F53C22001770002）的支持；乌迪内大学“人工智能部门战略计划”（PSD-AI）（2022-25年）项目的支持；以及欧盟NextGenerationEU计划下的“创新生态系统 - 罗马技术园区”项目（由MUR法令n. 1051 23-06-2022资助 - CUP B83C22002820006）的支持。
