历史明信片自动索引：一种结合图像与文本分析的端到端方法

《Journal on Computing and Cultural Heritage》：Automated Indexing of Historical Postcards: An End-to-End Approach Combining Image and Text Analysis

　　

摘要AI 摘要

要查看此 AI 生成的摘要，您必须拥有高级访问权限。

了解更多登录

摘要

摘要

历史明信片对不同领域的研究者尤其是历史学家具有重大意义。将这些文件保存供后代参考至关重要。它们确实代表了珍贵的文化遗产文件，将视觉图像与文本信息相结合，但大规模数字化馆藏的人工编目在时间和资源方面代价高昂，令人难以承受。本文提出了一种端到端的自动化历史明信片编目方法，融合了计算机视觉和自然语言处理技术。我们的模块化流水线采用微调后的 YOLO 模型检测文本类型和邮政标记，使用 EasyOCR 进行文本转录，利用 CamemBERT 进行命名实体识别以实现自动地理位置定位，并使用 DINOv2 模型对十种语义主题进行视觉内容分类。对于缺少文字描述的图片，使用 DINOv2 图像嵌入通过支持向量机预测关键词，同时复杂的邮政标记会被分割和转录。我们在来自法国东北部地区（Grand Est）的 4,293 张数字化明信片的正面（有插图的一面）（1899-1930年）上验证了我们的方法。

我们的结果表明，在最新的 YOLO 模型中，微调后的 YOLOv12x 实现了 0.83 的加权平均精度。微调后的 DINOv2 在图像分类中达到了 0.91 的加权平均精度，而 CLIP 和其他分类模型则不超过 0.83。最后，命名实体识别成功对 52% 的明信片进行了地理位置定位。在完全自动运行模式下，完整流水线几乎为每张明信片分配了至少一个粗略主题，并为约 80% 的明信片分配了至少一个更丰富的字段（关键词、地理位置或日期），使得不到 1% 的明信片基本未被编目。我们的工作通过展示多种 AI 技术的有效集成用于自动化遗产文件分析，为数字人文做出了贡献，并提供了一个公开可用的数据集供未来研究使用。

AI 摘要

AI 生成摘要（实验性）

本摘要使用自动化工具生成，未经本文作者撰写或审核。其目的是支持发现、帮助读者评估相关性，并协助来自邻近研究领域的读者理解本工作。它旨在补充作者提供的摘要，后者仍然是论文的主要摘要。完整文章仍然是权威的正式版本。 点击此处了解更多。

点击 此处 对本摘要的准确性、清晰度和实用性进行评论。这样做将有助于改进未来的重新生成版本。

要查看此 AI 生成的简明摘要，您必须拥有高级访问权限。