书目研究中的子集选择:自动与人工策展的边界、偏差与混合工作流

《Library & Information Science Research》:Subset selection in bibliographic research: Exploring the boundaries of automated and manual curation

【字体: 大 中 小 】 时间:2026年10月30日 来源:Library & Information Science Research 2.6

编辑推荐:

  研究人员针对大规模数据分析中的子集选择(subset selection),比较了人工策展(manual curation)与自动策展(automated curation)方法。由于元数据(metadata)存在不一致和缺失,两类方法均不可或缺。自动化方法能

  
研究人员针对大规模数据分析中的子集选择(subset selection),比较了人工策展(manual curation)与自动策展(automated curation)方法。由于元数据(metadata)存在不一致和缺失,两类方法均不可或缺。自动化方法能够复现人工语料库的大部分内容,发现新的题名,但也会引入假阳性(false positives)。混合工作流(hybrid workflows)可提高透明度与可扩展性,并降低语料策展中的偏差。
一、研究背景与问题
在社会科学、信息研究与人文研究中,从大型研究语料中检索相关记录是常见挑战。子集选择(subset selection)指从更大书目集合中识别和检索符合研究目的标准的记录;语料构建总涉及纳入与排除,并受书目元数据(bibliographic metadata)和编目实践形塑。人工策展(manual curation)可运用主题专长,但耗时、易错,主观选择对集合代表性的影响难以客观评估;自动策展(automated curation)可提高速度、一致性和可重复性,便于测试替代策略,但全自动分析可能漏检或产生错误命中,纯专家分析也有偏差、透明度低和可重复性差等局限。两条路径均依赖元数据质量与结构,而方法尚未充分标准化。历史书目数据受保存、收藏、编目和机构化实践影响,常有不完整覆盖、代表不均、字段缺失、不一致和错误;数字历史记录中的缺口或误分类若无专家审阅可能不被发现。既往研究承认两类方法的局限,但子集选择决策对定性文学史分析的累积效应缺乏系统关注;不同策略在同一书目数据源上可产生实质不同语料,文学史结论可能建立在未检验的数据完整性、代表性和中立性假设上。故本文考察人工与自动策展子集选择策略的变异程度及其对专家定性文学史分析的影响,识别选择缺口和偏差,并据此提出混合策展策略。目标为探索两类方法的边界与差异原因,并提出结合人工与自动策展的改进策略。

二、研究开展、结论与意义
研究人员以Fennica(芬兰国家书目)中1809—1917年芬兰大公国时期芬兰语或瑞典语成人小说第一版为案例,构建并比较人工与自动子集。人工列表经主标准、排除标准、富集和专家策展后含2793种第一版(first editions);自动列表经富集后含4868个题名。自动方法可复现大部分人工语料:仅用Melinda(芬兰图书馆元数据仓储)ID匹配2493条,占89.3%;结合Melinda ID与作者、题名、出版年等元数据匹配2641条,占94.6%。自动流程还能发现人工遗漏的题名,专家认为374本自动结果可加入第一版,其中202本缺原人工检索所用索书号;但自动结果也含假阳性(false positives)和不确定记录:1324本已被专家在人工列表构建中排除,712本因信息不足被标为不确定。结论是人工与自动子集选择各有边界,单一方法不足以应对复杂书目数据;混合工作流(hybrid workflows)可结合自动过滤与富集的可扩展性和专家对第一版、元数据不一致及不确定案例的判断,提高语料构建的效率、准确性和透明度,降低偏差。其意义在于把子集选择从准备性/技术性步骤提升为具有认识论后果的方法论决策,揭示书目元数据基础设施如何系统性形塑哪些作品进入文学史分析。

三、关键技术方法
研究以Fennica为数据源。人工候选集于2022年11月由研究人员与芬兰国家图书馆馆员协作约两个月构建,依据Fennica索书号和语言信息,后经文学史专家交叉参考《Writers in Finland 1809—1916》、NLF馆藏及实体资料策展,并加入Reenp??收藏(Reenp?? collection)约200个题名富集。自动流程使用2024年10月Fennica数据转储约120万条MARC21(Machine-Readable Cataloging 21)记录,经fennica R包 harmonization,依据leader、008/33、041、655、080a/080×、索书号等字段,以tidyverse进行精确和模式匹配;两列表以Melinda ID及作者、题名、出版年匹配并规范化。

四、研究结果
3. 结果。人工流程主标准后得9211条,排除后4468条,富集和专家策展后2793种第一版;自动流程主标准后5278条,排除后3652条,经UDC(Universal Decimal Classification)和genre富集后4868条。Melinda ID法匹配2493条(89.3%),仅人工295条(176不在自动所用数据转储,119在转储但不满足自动标准),自动独有2375条;Melinda ID+书目元数据法匹配2641条(94.6%),仅人工145条(76不在转储,69在转储但不满足自动标准)。因人工数据保留重复和多部分记录、自动流程合并记录,计数不可直接相加,后续以第二种方法为主。对69条自动未选而人工接受的记录分析显示:30条非小说或演讲,25条儿童文学,13条翻译,1条语言未定义。差异模式为:人工检索主要漏掉缺原Fennica索书号或仅赋主题索书号但其他字段表明为小说的作品;自动流程因genre、language、翻译状态或受众元数据冲突而排除人工接受作品,也会检索到满足宽泛机器可读文学标准但超出“书形式文学”研究定义的资料;另一些记录因第一版状态或国家文学归属(national literary affiliation)无法明确分类。案例上,Georg Rydman的旅行文学作品因008和655归为非小说而被自动拒绝;Aura(Betty Elfving)的《Vuosisatain perint?》因655误标为翻译而被自动排除;Larin-Ky?sti(Karl Gustaf Larson)的剧作因UDC富集标为儿童文学而被排除。自动独有2375条约相当于2641条匹配人工记录的90%;专家评估374本可加入第一版,202本缺原检索索书号;Elias Tuoriniemi的《T?m’ on juttu juomarista, koottu kohmelow?est?》因655标为arkkiveisu(宽叶歌谣/broadsheet literature)按书形式语料标准被排除;Gustaf Henrik Mellin的《Samlade svenska historiska noveller》出版于斯德哥尔摩,说明国家文学归属需研究特定解释。总体上,两种策略不仅影响语料规模,还系统性形塑哪些作品进入文学史分析,定性解释依赖常未被记录的方法与基础设施决策。

五、讨论与结论
讨论认为,自动子集选择高效、可扩展,可复现人工列表并随数据更新重跑;人工列表则是静态快照,重建需大量人工。自动化减少人工负担但不消除人的参与:专家从“从头选记录”转为“验证和精炼算法输出”。混合方法价值双向:自动富集可回收人工遗漏的相关题名;自动检索也会产生满足机器可读标准但超出语料特定概念边界的假阳性。712条不确定记录表明子集选择不能总化为二元技术判断;专家评估应用了书目元数据仅部分表征的研究特定概念。算法设计依赖专家定义标准,而标准受元数据可用性约束;国家文学归属等应由领域专家界定。自动方法在元数据不完整、不一致或模糊时第一版识别较不准确,并可能降低透明度;策略应尽可能简单可解释。即使自动化改进,关键人的判断仍居中心;自动提供一致性、规模和速度,专家提供解释细微和语境判断。数据精炼影响子集质量和代表性;元数据缺失、未编码和字段缺口会妨碍自动识别合格题名,本研究中不完整或冲突元数据增加人工评估需求。MARC21结合 harmonization和富集可有效支持历史与文学研究;书目元数据因此不仅是技术基础设施,也是知识基础设施。4.1 局限性:本研究仅聚焦Fennica单一案例,定量结果不能直接推广到其他书目基础设施,但方法学发现可超出Fennica;研究受数字数据覆盖和质量限制;人工和自动流程顺序开发、使用不同版本Fennica,观察差异可能部分反映数据和方法决策变化,更受控比较应在同一数据快照和共同标准下应用两法。应从一开始整合自动化和专家评估。
5. 结论(翻译)
研究结果表明,子集选择不是中性的准备步骤,而是形塑文学史研究的方法论决策。仅靠人工或自动选择均不能完全应对复杂书目数据的挑战。混合方法将自动过滤和富集的可扩展性与专家对第一版、元数据不一致和不确定案例的评估结合起来。自动化不是替代人的专业知识,而是对其补充,提高语料构建的效率、准确性和透明度,同时凸显方法选择如何形塑对文学史的解释。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号