基于Dublin Core标准的档案文档自动分类与编目系统：结合OCR、TF–IDF及机器学习模型的方法

《Information》：Development of a Software Model for Classification and Automatic Cataloging of Archive Documents Adilbek Dauletov, Bahodir Muminov, Noila Matyakubova, Uldona Abdurahmonova, Khurshida Bakhriyeva and Makhbubakhon Fayzieva

　　

研究人员提出了一种集成光学字符识别(OCR, Optical Character Recognition)、词频–逆文档频率(TF–IDF, Term Frequency–Inverse Document Frequency)特征提取、多类机器学习分类器及都柏林核心(Dublin Core)元数据自动生成的档案文档数字化处理流水线。该系统以扫描文档图像为输入，经图像预处理(二值化、倾斜校正、去噪)后通过Tesseract OCR引擎提取文本，采用TF–IDF将文本映射至高维特征空间，并分别应用多项式逻辑回归(Multinomial Logistic Regression)、支持向量机(SVM, Support Vector Machine)、朴素贝叶斯(Na?ve Bayes)、轻量级梯度提升机(LightGBM, Light Gradient Boosting Machine)及基于Transformer的双向编码器表示(BERT, Bidirectional Encoder Representations from Transformers)模型进行文档分类；分类结果与命名实体识别(NER, Named Entity Recognition)及摘要模块共同驱动Dublin Core标准元数据(题名、责任者、主题、类型、描述、日期、格式、语种)的自动填充与导出(JSON/XML)。实验在RVL?CDIP数据集及本地乌兹别克语档案文档上展开，评估指标含字符错误率(CER, Character Error Rate)、准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1值及元数据生成正确率。结果表明：图像预处理显著降低CER；BERT分类准确率最高(Accuracy=95.1%, F1=95.0%)，LightGBM次之(Accuracy=F1=93.2%)；自动生成的Dublin Core元素中格式(Format, 99%)与语种(Language, 97%)精度最高，描述(Description, 86%)受OCR质量影响略低。该集成流水线可有效提升数字档案馆中文档处理效率与元数据规范化水平。

研究背景与问题提出

传统档案馆中文档多以为纸质或扫描图像形式存在，手工分类与编目耗时且易引入人为误差。已有自动化方案常孤立处理OCR、分类与元数据生成环节，且对多语种老旧档案适应性不足；此外经典机器学习模型在捕捉复杂语义关系上存在局限，而深度语义模型计算成本较高。为此，研究人员设计并验证了将OCR预处理、文本向量化、多模型分类及Dublin Core标准自动编目整合为单一流水线(pipeline)的系统，并在RVL?CDIP基准数据集及真实乌兹别克语档案材料上测试其鲁棒性。该文发表于《Information》(MDPI, 2026)。

主要关键技术方法

研究人员构建四层面向服务架构：(1)OCR阶段对输入图像(???^H+W)做二值化、倾斜校正(deskew)与去噪后调用Tesseract获得文本序列t_i=G_θ(i_i)+ε_i，其中ε_i为OCR噪声；(2)文本经清洗归一化后用TF–IDF(φ_TF?IDF:T→?ⁿ)转为特征向量x_ij=tf?idf(ω_j,t_i)，字典V={ω₁,…,ω_n}；(3)分类阶段对比Multinomial Logistic Regression、SVM、Na?ve Bayes、LightGBM及微调(fine?tuned)BERT模型；(4)Dublin Core元数据自动生成——Title取自OCR首行，Creator/Contributor由BERT?based NER抽取，Subject/Type依分类标签映射，Description由摘要模块产出，Date/Format/Language源自文件属性——最终导出JSON/XML供外部系统集成。训练验证按70/30划分，采用加权类别均衡策略防少数类被忽略。

研究结果

3.1 数据集与类别均衡策略

研究人员使用RVL?CDIP(16类，共40万份)及本地乌兹别克语档案扫描件，对训练集按类别计数|D_train|计算P(c_k=|{(x_i,y_i)∈D_train:y_i=c_k}|/|D_train|)，以加权损失函数抑制稀有类被忽视，确认此策略可防止类别偏倚。

3.2 OCR-Based Text Extraction and Feature Vectorization Model

定义图像空间???^H×W，OCR映射G_θ:?→T，带噪声项ε_i。文本经TF–IDF映射至?ⁿ(n为词典大小)，向量分量x_ij=tf?idf(ω_j,t_i)。此步骤将非结构化OCR文本转为可供分类器使用的数值特征。

3.3 Classification Based on Machine Learning Models

在同一TF–IDF特征空间下评估五类模型。BERT经监督微调用于捕获上下文语义嵌入(contextual embeddings)；LightGBM通过梯度提升建模非线性词特征交互；SVM用于处理类别边界复杂情形；Logistic Regression与Na?ve Bayes作基线。结论：BERT(Accuracy=95.1%, Precision=94.7%, Recall=95.4%, F₁=95.0%)与LightGBM(Accuracy=F₁=93.2%)显著优于经典模型，SVM(Accuracy=89.7%)可作稳健替代，Logistic Regression与Na?ve Bayes因线性/独立性假设受限但训练最快(分别约18 s、12 s vs BERT 410 s)。

3.4 Automatic Cataloging Algorithm Based on Dublin Core

分类结果与NER、摘要模块联动生成Dublin Core记录(Title, Creator, Date, Description, Subject, Type, Format, Language)，以JSON/XML输出。说明此模块可将分类语义映射到标准元数据字段并完成系统间兼容交换。

3.5 System Architecture and Functional Model Divided into Domains

呈现表示层(React)、应用API、文档接收服务、处理域(OCR→文本处理→ML分类/语义分析含BERT与经典模型)、元数据/导出域(Dublin Core对齐→外部Archive API Gateway)及PostgreSQL存储库的分层面向服务架构，证明各模块松耦合与可扩展性。

4.3 Analysis of the Efficiency of the OCR Stage

二值化+倾斜校正+去噪使印刷体CER明显下降，手写与老化扫描件CER亦有降低但幅度较小，证实预处理是后续NLP特征提取与分类稳定工作的前提。

4.4 General Results of Machine Learning Models

量化对比显示BERT最优(语义长距离依赖捕获能力)，LightGBM次优(非线性TF–IDF特征组合利用)，SVM平衡稳定，基线模型快但语义捕捉力弱。训练耗时呈BERT?LightGBM>SVM>Na?ve Bayes≈Logistic Regression，体现精度—算力权衡。

4.5 Quality Analysis of Dublin Core Metadata Generation

按元素分别计算Accuracy=正确生成元数/评估文档数。Format(99%)、Language(97%)、Title(95%)最高；Subject(93%)、Type(91%)依赖分类结果亦较好；Creator(88%)与Date(90%)靠NER+OCR归一化；Description(86%)受OCR完整性与摘要模型影响最大。整体验证自动编目可行性。

讨论与结论

研究人员指出：所提集成流水线将文档摄入、OCR、TF–IDF向量化、多模型分类(BERT/LightGBM/SVM/Na?ve Bayes)及Dublin Core自动编目统一为端到端系统，较手工流程显著节省时间并降低人为差错。OCR预处理质量对整个链条稳定性至关重要；BERT与LightGBM在复杂语义文档分类上优于经典模型，印证引入上下文敏感与非线性集成方法的必要性；Dublin Core大部分元素可高精度自动生成，语义依赖型字段(Creator, Description)可通过更深语言模型与后处理进一步提升。模块化架构便于独立升级与接入既有档案信息系统，未来工作将聚焦于OCR精细调优、NER增强、上下文感知摘要及完整15元素Dublin Core自动化，以提升数字档案馆检索精度与语义一致性。