15世纪纽伦堡信函手稿多转录数据集：面向人文研究的文档分析与跨学科应用

为解决历史文献数字化中转录标准单一、难以满足多学科需求的问题，研究人员构建了包含1711页15世纪纽伦堡信函的多转录数据集（含基础、外交和规范化三种转录版本），通过HTR模型（CER低至2.64%）和半自动纠错技术实现高精度文本识别，并建立书写者聚类基准（mAP达96.4%）。该数据集首次将计算机视觉与人文研究深度结合，为历史学、语言学与文档分析领域提供标准化研究资源。

　　

在历史文献数字化浪潮中，一个长期困扰学术界的难题浮出水面：扫描后的古籍虽易于获取，却难以真正"读懂"。不同学科对转录文本的需求存在巨大鸿沟——计算机科学家需要简化标注训练模型，语言学家追求原汁原味的字符还原，而历史学者则偏好现代拼写的规范化版本。这种标准割裂导致现有数据集难以满足跨学科研究需求，尤其对15世纪纽伦堡议会信函这类包含经济、法律和政治信息的珍贵史料，单一转录模式严重制约了其学术价值的挖掘。

德国埃尔朗根-纽伦堡大学跨学科团队在《Scientific Data》发表的研究给出了创新解决方案。他们构建的"纽伦堡信函数据集"首次实现三重转录体系：基础转录（Basic）用于HTR模型训练，外交转录（Diplomatic）保留原始拼写特征，规范化转录（Regularized）则适配现代阅读习惯。数据集涵盖1408-1423年间4本手稿的1711页内容，包含10位书写者的50980行文本，每页均标注行边界框、文本区域和书写者ID。通过半自动纠错流程和留一法验证，团队不仅确保数据质量（CER<3.5%），更建立起连接人文研究与AI技术的桥梁。

关键技术方法包括：使用Sobel算子进行双页分割，Transkribus工具提取文本基线；构建CNN-BiLSTM-Transformer混合架构的HTR模型，采用标签平滑和动态学习率策略；基于RootSIFT和VLAD的书写者特征编码，通过PCA降维实现无监督聚类。数据验证阶段采用书籍交叉验证策略，特别针对缩写扩展任务设计AER（Abbreviation Error Rate）评估指标。

数据采集与处理
研究团队首先对300DPI彩色扫描的双页稿进行垂直梯度检测，通过高斯加权定位分页线，经人工校验后获得单页图像。利用Transkribus的CITLab Advanced算法提取文本行多边形，但需手动修正删除线等干扰因素造成的误分割。

多版本转录体系
基础转录采用简化字符集，外交转录通过标签保留缩写符号（如"*"转换为），规范化转录则统一长s等古体字符。特别设计的三层校验机制：原始转录与HTR预测比对、专家人工修订、聚类验证书写者标签，使外交转录的WER降至9.01%。

技术验证结果
HTR模型在书籍交叉验证中表现优异：基础转录CER为2.64-7.06%，外交转录CER波动更小（2.41-7.11%）。缩写扩展任务展现惊人准确率，书4的AER仅6.4%，证明Transformer解码器能有效学习古文字语言模式。书写者检索的mAP均值达92.8%，UMap可视化显示10类书写者形成清晰聚类，仅少数混合书写信件存在重叠。

数据记录与可用性
数据集通过Zenodo开放获取，包含PAGE XML格式的元数据和GitHub开源工具链。书5因书写者多样性（含764封W9书写信件）成为最具挑战性的测试集，其24.09%的WER揭示了古文字变体对模型泛化的影响。

这项研究的突破性在于首次实现了"机器可读"与"人文可用"的有机统一。通过多转录层级的精细标注，历史学者可直接采用规范化文本分析政治经济脉络，语言学家能在外交转录中追踪正字法演变，而计算机科学家则获得带丰富语义标签的训练数据。数据集设计的通用性更使其成为中世纪文献数字化的范本——例如书写者ID与行号绑定的设计，有效解决了同一页多书写者的识别难题。正如研究者指出，这种跨学科协作模式将加速从"数字化存档"到"智能化研究"的范式转变，为数字人文领域树立了新标杆。