历史明信片自动化索引：一种融合图像与文本分析的端到端方法

《Journal on Computing and Cultural Heritage》：Automated Indexing of Historical Postcards: An End-to-End Approach Combining Image and Text Analysis

　　

摘要AI 摘要

要查看此 AI 生成的摘要，您必须拥有高级访问权限。

了解更多登录

摘要

摘要

历史明信片受到不同研究人员的广泛关注，尤其是历史学家。将这些文献保存下来供后代使用非常重要。事实上，它们是珍贵的文化遗产文献，结合了视觉图像和文字信息，但对大量数字化收藏进行手动编目的时间和资源成本过高，难以承受。本文提出了一种端到端的自动化历史明信片编目方法，整合了计算机视觉和自然语言处理技术。我们的模块化流程采用微调后的 YOLO 模型检测文本类型和邮戳标记，使用 EasyOCR 进行文本转录，利用 CamemBERT 进行命名实体识别以实现自动地理定位，并采用 DINOv2 模型对十个语义主题进行视觉内容分类。支持向量机利用 DINOv2 图像嵌入来为缺乏文字描述的图像预测关键词，同时对复杂的邮戳标记进行分割和转录。我们在法国大东部地区（Grand Est）4,293 张数字化明信片的正面（1899-1930年）上验证了我们的方法。

我们的结果表明，在最新的 YOLO 模型中，微调后的 YOLOv12x 在检测任务上取得了 0.83 的加权平均精度。微调后的 DINOv2 在图像分类任务上达到了 0.91 的加权平均精度，而 CLIP 和其他分类模型的精度不超过 0.83。最终，命名实体识别成功定位了 52% 的明信片。在完全自动化运行中，完整流程几乎为每张明信片分配了至少一个粗略的主题类别，并为大约 80% 的明信片至少提供了一个更丰富的字段（关键词、地理位置或日期），仅有不到 1% 的明信片基本未被编目。我们的工作通过展示多种 AI 技术的有效整合用于文化遗产文献的自动分析，为数字人文学科做出了贡献，并提供了一个公开可用的数据集供未来研究使用。

AI 摘要

AI 生成摘要（实验性）

本摘要由自动化工具生成，并非由文章作者撰写或审核。本摘要旨在支持发现功能，帮助读者评估相关性，并协助来自相邻研究领域的读者理解本文。本摘要旨在补充作者提供的摘要，后者仍为论文的主要概述。全文仍为权威版本。

点击此处对摘要的准确性、清晰度和实用性发表评论。这样做将有助于改进未来的版本。

要查看此 AI 生成的通俗摘要，您必须拥有高级访问权限。