维基共享资源上的计算机辅助标记：面向开放知识工作中的人机协作设计

《Proceedings of the ACM on Human-Computer Interaction》：Computer-Aided Tagging on Wikimedia Commons: Designing for Human–AI Collaboration in Open Knowledge Work

　　

AI摘要
要查看此AI生成的摘要，您必须拥有高级会员权限。 了解更多 登录

摘要
本研究调查了维基共享资源贡献者使用计算机辅助标签工具（CAT）的实际体验。CAT是一种AI辅助的图像标签系统，旨在提升维基共享资源的可发现性、可搜索性、可访问性和多语言支持。通过对来自11个维基页面的595条CAT相关社区评论以及16次深度访谈进行定性分析，我们识别了导致CAT评价两极化并最终被停用的七个关键问题。我们还提出了基于社区意见的改进建议。我们探讨了这些发现对维基共享资源上人机协作设计以及对支持开放知识工作的AI辅助工具开发的启示。本研究通过拓展对人机协作的理解——超越英语国家、以文本为中心、企业主导的平台——为HCI和CSCW研究做出了贡献。

AI生成的摘要（实验性）
此摘要由自动化工具生成，未经本文作者撰写或审阅。它旨在支持内容发现，帮助读者评估相关性，并协助相邻研究领域的读者理解本文工作。它意在与作者提供的摘要形成互补，后者仍然是论文的主要摘要。完整论文仍为权威版本记录。点击此处了解更多。点击此处对此摘要的准确性、清晰度和实用性发表评论。这将有助于改进和未来的重新生成版本。要查看此AI生成的通俗语言摘要，您必须拥有高级会员权限。

1 引言
维基共享资源是世界上最大的免费可重用图像和媒体文件存储库之一。它支持300多个维基百科语言版本以及全球贡献者和用户群体。维基共享资源依赖层级分类系统作为组织媒体内容的主要基础设施。该系统作为一种去中心化、志愿者驱动的社会标签机制，允许贡献者使用嵌套分类标签手动注释文件。尽管分类系统支持浏览、基于关键词的搜索和手动组织，但维基共享资源的快速增长已暴露出在可发现性、语义搜索和多语言访问方面的持续局限，主要原因在于文件元数据在很大程度上仍为非结构化的且以英语为主导。

为解决这些局限，维基媒体基金会启动了维基共享资源结构化数据（SDC）项目。SDC将维基共享资源的元数据从无结构纯文本迁移至结构化的、基于本体链接的属性-值声明模型中。它将文件注释与维基数据的共享知识图谱连接起来，使元数据能够解析至全球一致、由社区维护的本体中。为支持社区采用SDC，基金会随后推出了计算机辅助标签工具（CAT）。CAT被设计为一种人在回路的图像标签助手。它使用谷歌云视觉API生成AI建议标签，将这些标签映射至语言无关的维基数据条目，并将其呈现给维基共享资源贡献者进行人工验证。贡献者可以审核每条建议，并有选择地将已确认的标签发布为SDC"描绘"（Depicts）声明——这是一种结构化的语义声明，断言媒体文件中视觉上呈现的内容，并将文件与维基数据中定义的共享概念链接起来。通过这种方式，CAT旨在支持跨语言的语义媒体搜索，并使多媒体文件在维基媒体项目中更具可发现性和可重用性。

HCI/CSCW领域的先前研究已调查了在Facebook[9, 18]、Twitter[32]和TikTok[9, 13, 31]等商业、企业控制平台上的人机协作。在维基媒体项目的语境下，先前的研究主要集中于部署在英语维基百科上、支持间接任务的AI/ML工具，如检测破坏行为[1]、评估贡献或文章质量[10]以及建议任务[5]。然而，关于在多语言、社区治理的平台上，人类贡献者如何围绕直接内容创作（而非间接任务）与AI协作，目前所知甚少。

本研究旨在弥补这一空白，首次呈现在一个志愿者治理的开放知识生态系统中部署的人机协作的完整生命周期的实证案例，其中语义标签是知识创作的核心。通过研究CAT评价两极化以及最终被停用这一具有后果性的AI部署失败案例，我们将失败视为一种实证资源，以揭示更广泛、可推广的CSCW洞见——即遗留的社会技术基础设施、社区价值观、目标和实践、参与式设计方法以及共识驱动的治理机制如何与AI管道相互作用，从而影响开放知识生态系统中的协作断裂与重新设计的可能性。我们的发现为未来旨在支持SDC的AI辅助工具生成了基于社区意见的设计启示。

在接下来的章节中，我们首先介绍维基共享资源、其分类系统、SDC、CAT工具以及维基共享资源上的标签实践。然后我们回顾维基媒体项目中AI/ML辅助工具设计的相关文献，并描述我们的研究方法，包括对维基讨论的定性分析和参与者访谈。论文报告了导致CAT评价两极化并最终被停用的七个关键问题，以及基于社区意见的改进工具设计与采用的建议。我们最后讨论了这些发现对维基共享资源上人机协作以及支持开放知识工作的AI辅助工具的启示。

2 背景与文献综述
在本节中，我们介绍维基共享资源、维基共享资源分类系统、SDC和CAT工具。然后我们定义维基共享资源上的标签操作，并将我们的研究置于维基媒体项目中AI/ML辅助工具设计的现有文献框架之中。

2.1 维基共享资源
维基共享资源1是世界上最大的免费可重用多媒体文件在线存储库之一，包含图像、音频和视频。其内容由全球志愿者社区贡献和整理。根据最新统计数据2，该平台托管了超过1.18亿个由约1300万用户贡献的文件。维基共享资源支持300多个维基百科语言版本以及其他维基媒体项目，如维基旅行、维基物种和维基学院，同时也服务于更广泛的互联网公众。

尽管维基共享资源规模庞大且至关重要，但它在学术研究中仍相对缺乏研究和被低估[22, 33]，尤其是在与其姊妹项目维基百科的对比中。虽然两者都是开放知识工作的范例，但先前的研究[33, 34]指出了两者之间的关键差异。维基百科专注于在线百科全书的协作文本生产，而维基共享资源则以免费可重用多媒体的收集和整理为中心。尽管两个平台都建立在MediaWiki软件之上，但其功能、象征性角色（参考vs.集合）和治理结构将它们定位为根本不同的社会技术平台，这与吉利斯皮对平台的扩展定义一致[8]。

总体而言，虽然维基共享资源在维基媒体生态系统和更广泛的开放知识格局中扮演着重要的基础设施和文化角色，但它独特地被表征为一个"为重用而协作"的平台，而非共同编写平台[33, 34]。与维基百科等以文本为中心的同行生产系统不同——后者汇聚于单一的、相对稳定的知识产物——维基共享资源支持持续的、分布式的协作，贡献者在多样的语言和文化语境中共享、诠释、整理和验证视觉材料。其核心协调工作围绕元数据、分类、许可和跨项目图像重用的迭代协商展开，而非对单一固定对象的联合创作。维基共享资源的贡献者并非共同生产单一的标准产物。相反，他们集体构建和维护不断演进的描述性基础设施，以支持共享的图像意义构建，并支持全球规模的下游重用。这些独特的活动和协作动态使维基共享资源成为CSCW研究中一个重要但相对缺乏研究的探索场所。

2.2 维基共享资源分类系统
维基共享资源二十多年来一直依赖层级分类系统3作为组织与导航多媒体内容的主要基础设施。该系统作为一种协作的、去中心化的社会标签机制运作，允许贡献者向文件元数据手动应用层级分类标签。由于多个贡献者可以从不同视角注释同一文件，分类系统支持了分布式意义构建，并自下而上地构建了一个大规模、广泛的大众分类法——一种演化的、社区驱动的分类结构，在没有严格强制的控制词汇表的情况下运作。尽管该系统长期作为搜索、浏览和内容发现的主要导航工具，但维基共享资源迅速扩展的规模已暴露出分类系统的基本局限，特别是在支持可发现性、可搜索性、可访问性和多语言参与方面。

首先，该系统受限于MediaWiki的设计假设，而MediaWiki最初是为支持以文本为中心的内容而非以图像为先的存储库而开发的。因此，分类标签是人工生成的非结构化纯文本，缺乏一致的机器可读架构[33]。这限制了高级检索能力，降低了语义互操作性，并削弱了平台与维基数据或外部本体等结构化知识库集成元数据的能力。

其次，尽管维基共享资源社区已协作构建和维护该分类系统，但它面临着用户生成图像标签所固有的典型挑战[30]：标签往往噪声大、不一致、不完整或过于主观。虽然这些标签可以辅助组织和意义构建，但它们也引入了模糊性和歧义性，因为贡献者基于个人偏好、倾向和信念来选择标签[24, 28]。因此，许多标签仅对其原始贡献者有意义，这降低了协作标签系统的整体精确度。

第三，维基共享资源对手动标签的依赖导致大量文件未被分类，因为人工注释需要持续的时间和劳动[30, 33]。与文本不同，图像不具有自描述性，这意味着没有分类标签的文件实际上无法通过主要导航系统被发现。在实践中，这创造了一个长期积累的存档图像长尾，这些图像既不可查找也不可浏览，既降低了存档完整性，也降低了重用潜力。

最后，尽管维基共享资源致力于多语言包容性，但英语在分类标签中仍占主导地位[33]。这种语言不平衡限制了非英语用户的可访问性，他们在贡献、搜索和发现相关内容时面临重大挑战。这些语言壁垒加剧了参与和访问方面的更广泛不公平现象，不仅存在于维基共享资源内部，也贯穿于整个维基生态系统[23]。

2.3 维基共享资源结构化数据与计算机辅助标签
为解决上述分类系统的局限并提升维基共享资源上的可发现性、可搜索性、可访问性和多语言参与，维基媒体基金会启动了维基共享资源结构化数据（SDC）项目?。SDC引入了一个用于媒体文件的元数据模型，该模型既可供人类解读——使贡献者能够直接阅读和编辑——又可供机器操作——使数据遵循可预测的、标准化的结构，软件系统可以大规模统一解析。

在SDC之前，维基共享资源文件主要使用非结构化纯文本元数据进行注释，包括文件名、自由格式描述和层级分类标签。这些注释通常用单一语言撰写（大多数为英语），缺乏语义类型，且不符合共享数据架构。因此，软件系统无法可靠地解析分类标签的含义或将其与共享概念关联。这限制了语义检索、多语言渲染以及与结构化数据库的互操作性。SDC用基于维基数据?的属性-值声明框架取代了这一模型，维基数据是维基媒体生态系统的中央结构化知识图谱，以唯一标识的条目存储概念和现实实体，并通过共享的、社区治理的本体将它们链接起来。在该框架中，每个元数据声明都以语义定义的属性（例如"描绘"、"创作者"、"许可"）与引用全局唯一维基数据标识符（Q编号）的值配对来表达。由于属性和值都解析至维基数据的本体中，维基共享资源文件元数据可以与更广泛的、相互连接的语义生态系统互操作，该生态系统横跨维基媒体项目和外部数据库。维基数据标识符是语言无关的，这使得相同的SDC声明可以通过界面本地化在多语言中动态渲染，而无需贡献者手动复制或翻译标签。

维基共享资源上的每个媒体文件页面现在都包含一个"文件信息"标签页，其中包含传统的非结构化元数据，如维基文本描述和贡献者创建的分类，以及一个"结构化数据"标签页，以结构化的、基于本体链接的格式显示SDC声明。在"结构化数据"标签页下，贡献者可以使用"描绘"（P180）声明断言文件中视觉上呈现的内容，还可以添加其他结构化声明，如许可（P275）、创作者（P170）、版权状态（P6216）以及社区维护的质量或合规性评估。图1提供了文件传统非结构化"文件信息"视图与其结构化SDC声明视图的并排对比。

结构数据选项卡下列出的SDC声明示例包括：

- 描绘（P180）：波音CH-47"支奴干"直升机（Q209613）
- 版权状态（P6216）：受版权保护（Q50423863）
- 创作者（P170）：Diego Delso（Q28147777）

图1. 文件传统非结构化文件信息视图（右）与结构化数据视图（左）的并排对比。

为支持社区对SDC的采纳，维基媒体基金会随后推出了计算机辅助标注（CAT）工具。CAT被设计为一种人机协同的图像标注助手，帮助贡献者识别并应用SDC中的一种结构化元数据字段：描绘（P180）声明。描绘声明指定了媒体文件中在视觉上呈现的内容。

CAT工具使用Google云视觉API，这是Google提供的商业图像识别服务。在本研究中，我们及参与者将这一系统描述为通用型系统，因为它是一个通用模型，并非为维基共享资源设计或定制。虽然我们也不能排除某些共享资源文件可能被纳入Google更广泛的训练数据中，但该模型并非专门针对共享资源的计算机辅助标注进行训练，未整合共享资源贡献者的反馈，也未经由维基媒体基金会研究人员开发或维护。

图像上传到共享资源后，API仅分析视觉内容，不访问或整合任何现有的非结构化文件元数据，并返回候选标签。每个标签都关联一个Google知识图谱概念ID，CAT通过Freebase-Wikidata映射将其映射为Wikidata Q-ID。映射后的Wikidata实体在CAT界面中作为建议标签呈现给贡献者。图2展示了该界面的示例，其中在已上传图像下方显示了未经验证的建议标签。贡献者可以评估建议标签，点击单个建议标签以接受，并选择"发布"以保存已确认的标签。他们也可以跳过所有建议标签。只有经人工确认的标签才会被保存，每个被接受的标签作为一条描绘（P180）→ Wikidata项目（Q-ID）声明存储在文件的结构化元数据中。

图2. CAT界面为示例图像文件显示未经验证的建议标签。

图3展示了已确认的描绘声明（左）在之前图2所示同一示例图像的文件页面上的显示方式，与之对比的是该图像的传统分类标记（右），后者由层次化的、贡献者生成的纯文本标签组成，未经过语义分型，也未链接到共享本体。虽然分类标签支持人工浏览和手动组织，但描绘声明能够基于链接标识符和含义实现多语言语义搜索，而非基于关键字的字符串匹配。

图3. 结构化数据选项卡显示描绘声明（左），以及作为纯文本标记存储的传统分类标签（右）。

CAT工具于2023年9月被停用。

**2.4 维基共享资源中标注的定义**

在前两个小节中，我们介绍了在维基共享资源上对图像文件进行"标注"的三种不同方式。首先，贡献者可以添加分类标签——这是通过将文件归入人工定义的主题组来组织文件的传统方法。我们将此过程称为分类。其次，CAT工具使用Google云视觉API自动标注图像，基于视觉内容分析生成建议标签。这些是根据视觉内容分析生成的机器推荐，用于描绘声明中可能包含的内容。我们将此过程称为建议标签。第三，人工贡献者通过CAT界面审查建议标签，并选择性地将其作为描绘声明应用——这些是结构化的、多语言的数据，语义描述了图像的视觉元素。我们将此活动称为应用描绘声明。

在所有这三个过程中，我们使用"标注"一词作为动词来指代向图像应用元数据的一般活动。区别在于所应用的标签类型以及执行标注的主体是人还是机器。为在全文中保持清晰，我们采用以下术语：

- 我们使用"分类标签"来指代共享资源分类系统中的传统标注。
- 我们使用"建议标签"来指代CAT工具的AI生成输出。
- 我们使用"描绘声明"来指代人工编辑者使用CAT工具应用的结构化标签。

这一区分使我们能够将标注描述为人机协同的过程，同时准确界定所涉及的标注具体形式和来源。我们注意到，讨论帖子和参与者访谈中的引用对"标签"和"标注"的使用方式要宽松得多。

**2.5 在维基媒体项目中设计AI/ML辅助工具**

人机交互（HCI）和计算机支持的协作工作（CSCW）研究已考察了在企业控制平台（如Facebook、Twitter/X和TikTok）上支持审核、推荐和内容创作的系统中的人机协同。这些系统是自上而下引入的，并针对专有指标（如参与度和留存率）进行了优化，AI行为由平台拥有者和设计者集中管控。相比之下，开放知识工作项目由志愿者的去中心化社区治理。平台拥有者不参与编辑决策。内容创作、审核和工具部署方面的决策通过开放参与、共识建设和共同责任来做出。这些社会技术差异塑造了在开放知识工作环境中AI/ML工具的设计、采用和评估方式。

如今，CSCW研究对开发AI/ML辅助工具以支持开放知识工作表现出日益增长的兴趣。特别地，先前的研究在英文维基百科中设计、部署和评估了支持间接任务的工具，例如 vandalism检测、贡献或文章质量评估以及任务建议。例如：

- 质量控制工具帮助巡查员评估编辑质量，并识别和回退有害编辑。
- 推荐系统（如SuggestBot）基于编辑者的兴趣或活动历史，建议需要关注的文章或任务。
- 元算法系统（如ORES和LiftWing）代表了维基媒体参与式价值观向AI/ML基础设施的更深度整合。这些工具不仅用于进行编辑或文章质量预测以支持审核，还作为平台使社区成员能够审计、质疑和适应模型以满足本地需求和价值观，从而支持透明和协作的开发。

然而，这些系统仅在维基百科的语境下进行了研究，重点关注间接工作、编辑审核和协调，而非直接内容创作。因此，当前研究忽视了AI/ML辅助工具如何支持开放知识工作的核心目标，即由社区治理的直接创建新的共享知识。

本研究将焦点转向另一个维基媒体项目：维基共享资源，这是一个多语言、多媒体平台，供来自维基百科超过300种语言版本的社区贡献和使用。我们研究计算机辅助标注（CAT）——一种支持向图像添加结构化、机器可读的描绘声明的AI辅助工具。与以往的工具不同，CAT具备多语言可用性。其设计使贡献者能够以他们所选的共享资源界面语言与AI建议标签进行交互。由于每个建议标签都链接到Wikidata实体，因此AI建议标签和CAT显示界面会自动翻译成多种语言。在本文中，我们使用"非英语使用者"一词来描述这些多语言功能，该功能使不以英语为主要工作语言的编辑者也能有效贡献，这是传统共享资源分类系统或其他已在维基媒体项目中部署的AI/ML工具所不支持的能力。图4通过展示当用户界面语言设置更改时已添加的描绘声明如何以不同语言显示，来说明这一功能。

图4. 演示多语言结构化数据声明的屏幕截图。

虽然在其他语境中应用图像标签可能被视为元数据任务，但共享资源社区将添加图像标签（如描绘声明）视为一种开放知识创造。这些标签提供了关于图像内容及其意义的语义信息，丰富了作为共享媒体库的共享资源，改善了图像检索，并直接贡献于支持其他维基媒体项目的内容层。重要的是，这些注释不仅仅是描述图像中可见的内容，它们将图像嵌入更广泛的概念和文化框架中。这些编辑决策塑造了知识如何被组织，以及全球用户如何寻找和解读视觉媒体。从社区的角度来看，添加图像标签不仅仅是一项技术任务，而是一个生成、组织和分享知识的编辑过程，这构成了共享资源致力于提供的内容创作形式。

这一背景为AI辅助工具带来了独特的挑战。与评估编辑质量等基于文本的任务相比，视觉内容标注更具模糊性、依赖语境且更具主观性。一张图像可能需要多个标签，因为它可能包含多个对象、嵌套元素或概念层次。此外，视觉特征的解释在不同文化语境下可能有所不同。与具有客观指标的结构化数据（如字数统计）不同，图像标注在很大程度上取决于文化、个人判断和生活经验——这些因素难以编码为一致的标注规则。

在本研究中，我们调查了在多语言、社区治理环境中人与AI如何协同工作，重点关注这种形式的内容创作。通过考察共享资源贡献者使用CAT工具的体验，以及支持其采用、交互和满意度所需的设计考量，我们通过提供超越英语化、以文本为中心、企业平台之外的AI设计洞见，扩展了当前HCI和CSCW研究。

**3 方法**

为捕捉社区输入的广度和个人视角的深度，我们结合定性数据分析和访谈方法。本研究经我们的机构审查委员会（IRB）审查并判定为豁免项目。我们遵循维基媒体基金会的建议，在Meta-Wiki上创建研究项目页面。该页面描述了我们项目的目标、方法、进展和潜在影响。

**3.1 与CAT工具相关的维基讨论的定性分析**

我们对关于CAT工具的维基讨论进行了定性分析，以更广泛地了解共享资源编辑社区对该工具的需求、体验和问题。我们确定了11个讨论CAT工具的维基页面（表1）。这些页面包含172个主题下的595条评论，由160位独特的维基用户贡献。表2展示了CAT相关讨论中用户参与的分布情况。7位用户发布了超过10条CAT相关评论，15位用户贡献了5至10条评论，59位用户发表了2至4条评论，而大多数——79位用户——仅发表了1条评论。

**表1. 分析的维基页面**

| 页面 | 主题数 | 评论数 | 页面类型 |
|------|--------|--------|----------|
| 页面1 | 63 | 37 | 共享资源讨论页 |
| 页面2 | 24 | 58 | 共享资源讨论页 |
| 页面3 | 11 | 13 | 共享资源讨论页 |
| 页面4 | 12 | 15 | 共享资源讨论页 |
| 页面5 | 9 | 11 | 共享资源讨论页 |
| 页面6 | 5 | 10 | 共享资源讨论页 |
| 页面7 | 17 | — | Phabricator任务页 |
| 页面8 | 1 | 15 | 共享资源村泵讨论 |
| 页面9 | 1 | 5 | 共享资源村泵提案 |
| 页面10 | 1 | 8 | Wikidata属性提案 |
| 页面11 | 1 | 80 | 共享资源村泵讨论 |
| **总计** | **172个主题** | **595条评论** | **11个页面** |

第一作者将所有595条评论连同对应的用户名以及我们在维基共享资源或Meta-Wiki上找到的用户页面链接，手动复制粘贴到一个电子表格中进行分析。随后，我们使用主题分析方法对这些评论进行了开放编码。这一过程确定了七个关于共享资源编辑者使用已停用CAT工具体验的新兴主题：

- 共享资源结构数据项目的目标
- 建议标签质量的评估
- 描绘声明的定义
- 标签与描绘声明之间的区别
- 现有基础设施（图像标题、分类、描述）
- 工具的文档和说明
- 用户界面问题，包括跳过图像的困难、压倒性的通知、编辑建议标签、添加额外标签、错误消息和等待期

该定性分析的结果为参与者招募和我们的访谈协议制定提供了指导。

**表2. 用户参与分布**

| 评论数 | 用户数 |
|--------|--------|
| 超过10条 | 7 |
| 5–10条 | 15 |
| 2–4条 | 59 |
| 1条 | 79 |

**3.2 访谈**

对CAT相关讨论进行定性编码后所识别的问题，以及对已停用CAT工具体验的更深入理解，来自对曾参与这些讨论的共享资源编辑者的访谈。

**3.2.1 招募**

我们旨在招募所有160位已识别出曾参与CAT相关讨论的独特用户。然而，由于各种原因，我们未发送或无法向其中41位用户发送邀请函：

- 6个用户页面似乎属于负责设计和/或开发CAT工具的维基媒体基金会研究人员
- 26位用户在共享资源或Meta-Wiki上没有用户页面
- 1个用户页面归属于已故维基人（WP:RIP）
- 1位用户被永久禁止编辑所有维基项目
- 1位用户被标记为退出维基项目编辑（WP:RETIRE）
- 6位用户在共享资源或Meta-Wiki上有用户页面，但未启用"向此用户发送邮件"功能

我们使用共享资源和/或Meta-Wiki内置的"向此用户发送邮件"功能联系了其余119位共享资源用户。

每位编辑都收到了一条个性化消息，内容包括其用户名、研究目的、我们Meta-Wiki研究页面的链接、识别其参与CAT相关讨论的维基页面，以及邀请其参与访谈。我们同时也说明，参与研究是自愿的，并提供了25美元的亚马逊礼品卡作为对其时间、精力和专业知识表示感谢的答谢。

在被联系的119位编辑中，29位进行了回复，16位完成了与我们的访谈。表3展示了这16位受访者的基本信息。

表3.
化名 访谈方式 Commons编辑次数群组 维基百科语言版本 Wikidata编辑
Mark 视频会议 600,001+ 英语和德语 是
Ian 视频会议 0–25,000 英语 否
Victor 视频会议 0–25,000 英语、俄语和白俄罗斯语 是
Kevin 视频会议 25,001–100,000 英语 是
James 在线聊天 0–25,000 英语 否
Vin 视频会议 100,001–300,000 英语和法语 是
Jack 视频会议 300,001–600,000 英语 是
Joel 视频会议 300,001–600,000 英语和波兰语 是
Mira 视频会议 25,001–100,000 英语 是
Harris 视频会议 0–25,000 英语和德语 是
Cody 在线聊天 300,001–600,000 英语、西班牙语和法语 是
Sam 视频会议 600,001+ 英语 是
Ron 电话访谈 25,001–100,000 英语、德语和法语 是
Kirk 视频会议 100,001–300,000 英语 是
Paul 视频会议 300,001–600,000 英语 是
Simon 视频会议 25,001–100,000 英语和日语 是

受访者基本信息

3.2.2 数据收集与分析

在定性编码结果的指导下，我们制定了一份访谈方案（附录A），包含开场白、四个访谈阶段和结束语。

在开场白中，我们自我介绍，说明访谈目的，并概述我们如何处理和保持参与者数据的保密性。我们还请求同意对访谈进行录音。在参与者同意之前，我们澄清，尽管我们致力于匿名化数据，但维基人有时仍可能从讨论中识别出个人或特定情况。这确保参与者了解保密性方面的残余风险。

在访谈的第一阶段，我们提出引导性问题以了解参与者对Commons的参与情况。这些问题包括参与者编辑Commons多久、他们在平台上通常从事哪些类型的工作。我们还请参与者用自己的话解释他们理解的Commons结构化数据项目的目标。这些问题有助于建立融洽关系并收集关于参与者观点和经验的基础信息。

访谈的第二阶段重点讨论参与者最近上传到Commons的示例图片。我们向他们展示他们最近贡献的三张图片，并针对每张图片请他们描述贡献背后的故事、图片描绘的内容以及他们会如何为图片添加标签。随后，我们提供由Google Cloud Vision API为该图片生成的建议标签列表，并将其匹配到Wikidata条目，以重现已停用的CAT工具所提供的那类建议。然后我们请参与者对这些建议标签进行思考，包括他们是否同意任何建议标签、是否愿意接受并将任何建议标签添加到"Depicts"属性中、这些建议标签如何改善图片在Commons上的可发现性，以及他们认为在标注此类图片时哪些元数据很重要。

访谈的第三阶段转向对CAT工具本身的反思。我们首先询问参与者对CAT工具的印象以及它如何影响他们在Commons上的工作。然后我们请他们解释自己对Commons上类别系统的作用、Depicts属性的目的以及这两者之间区别的理解。我们还请他们反思CAT工具在Commons上的目标，以及他们认为该工具是否达成了这些目标。

在最后的阶段，我们邀请参与者分享他们对更广泛问题的看法，例如使用AI/ML为图片添加标签所涉及的风险以及在Commons上缓解这些风险的方法。

在结束语中，我们邀请参与者分享任何额外的问题或评论。我们还通过提供25美元的亚马逊礼品卡来感谢他们付出的时间和精力，作为感谢的表示，并确认他们用于发送礼品卡的电子邮箱地址。

我们在2024年10月、11月和12月完成了全部16次半结构化访谈。其中14次使用英语进行，通过参与者选择的远程会议应用（Zoom或Google Meet）或电话进行。在13次远程会议访谈中，我们共享屏幕以展示和讨论参与者的示例贡献和建议标签。对于电话访谈，我们提前向参与者发送了相关链接列表，并请他们在会前在自己的设备上打开这些材料。这些访谈的时长从45分钟到90分钟不等。此外，还有两次访谈通过在线聊天进行。在这些情况下，研究人员通过电子邮件将访谈问题发送给参与者，等待他们的回复，然后提出后续问题。我们认为这种异步方式为偏好书面交流的和/或需要翻译器的参与者提供了灵活性。

这些访谈产生了包含16份文字记录的数据库。第一作者对所有访谈进行了文字记录，并记录了讨论中涉及的相关页面——如用户页面、用户贡献页面和Commons讨论页面——以支持数据三角验证。第一作者使用主题分析法对文字记录进行了开放编码，并记录了分析备忘录。我们对主题和备忘录进行了迭代，最终选择仅报告与阻碍贡献者与CAT工具协作的问题相关的新兴主题。

4 研究结果

在本节中，我们报告了导致CAT褒贬不一和最终停用的七个关键问题：（1）对Commons结构化数据视角的认知偏差，（2）Depicts属性定义不明确，（3）通过CAT应用Depicts的困难，（4）类别与CAT之间缺乏整合，（5）AI/ML任务定义不清，（6）协作评估支持有限，以及（7）CAT与Commons搜索功能之间的脱节。

4.1 对Commons结构化数据视角的认知偏差

Commons结构化数据项目是由维基媒体基金会推出的一个创新举措，旨在提高Commons内容的可搜索性和可访问性。然而，编辑社区内的参与者反馈显示，他们对该项目的执行方式存在严重不满。虽然Commons结构化数据的理念被认为是有前景且有价值的，但其实施被普遍认为是存在缺陷的——不仅在技术层面，更关键的是在社会层面。识别出的主要问题之一是该项目没有充分向编辑社区，包括长期贡献者进行宣传。结果是，许多人要么不了解其目的，要么不清楚如何参与，导致了参与度的不足。正如Vin所解释的：

"我觉得问题是……结构化Commons一开始是个很好的想法，但它并没有完全被很好地实施，技术上有点问题，但主要是社会层面。它没有很好地向人们介绍，所以很多人，包括Commons上的老用户，都不怎么了解它。"——Vin

参与者还指出，维基媒体基金会对结构化Commons的愿景与编辑社区的视角之间存在显著偏差。参与者表达了沮丧，认为基金会的项目目标往往与积极参与Commons贡献者面临的实际需求和现实情况不一致。正如Sam所指出的，双方之间的理解差距导致了严重的冲突，并持续影响项目的进展：

"基金会对问题的理解与编辑社区对问题的理解有很大分歧，而这种分歧导致了冲突，我们至今仍在从中恢复。"——Sam

认知偏差的核心在于，该项目被认为将重心转向了通用图片标注、可搜索性和发现——这些目标让许多参与者担忧会削弱Commons的教育价值。Commons长期以来被视为一个独特的教育资源库，提供不仅是免费可用，而且上下文丰富、信息具体的图片。参与者认为，如果Commons转向优先考虑广泛的通用搜索功能，它将失去使其区别于其他平台的教育价值。正如Sam所说：

"这不是你在Commons上搜索的原因。那是你在Google搜索上做的事对吧？……其他图片搜索引擎应该是负责分配这些自动标签用于发现功能的，因为Commons发现功能的目的不是通用搜索。编辑社区有明确的共同目的，Commons的功能也是如此，对吧？……Commons的意义在于创建一个教育媒体资源库，而不是创建一个图库照片资源库……如果我们把它变得太通用，你就会毁掉这些媒体内容的教育价值，把它变成又一个图库……而每个大语言模型使用维基百科数据来训练他们的模型的原因，是因为我们做的是奇怪的、具体的事情，比如我们想要那些奇怪的人类片段，超级具体的，对吧？这就是我们的数据对其他人有帮助的原因，也是我们与众不同的特征。就是我们的那种独特性，对吧？"——Sam

进一步强调这一观点，另一位参与者Joel认为：

"这有点……是一个关于图片用途的哲学讨论，对我来说，图片的主要用途是找到少数几张最善于描绘某个我缺乏相关图片的东西。如果我在找一些陌生人的照片，我知道，我肯定很容易找到陌生人的照片。找到那些不会太难，但真正难的是找到，比如说，某个特定时刻的特定图片。"——Joel

这一批评触及了一个更深层的哲学辩论，即Commons在数字生态系统中的角色与其他平台（如Google作为媒体搜索工具或Flickr）相比如何定位。这些更大的平台被设计用来处理广泛的通用搜索查询，而Commons的角色，正如其编辑社区所认为的，更加专业化。它服务于研究人员、教育工作者以及那些寻找高度具体、上下文丰富且具有教育意义的多媒体内容的人。

为了解决这种认知偏差，参与者建议需要对Commons用户进行清晰的、基于证据的理解——包括谁在使用Commons、为什么使用它以及他们如何与内容互动。这可以通过用户研究、数据分析（流量和页面浏览量分析、搜索词跟踪与可视化）以及与Commons社区更直接的互动来实现，正如Sam指出的，类似的研究已经在维基百科上进行过：

"我们甚至没有证据……在基金会内部时，我们对受众想要什么没有任何证据，现在仍然没有。而我们实际上在发现，比如维基百科的受众，我们的主要用户是学生、退休人员和专业人士，还有那些有深度知识需求而非表面知识需求的人，对吧？"——Sam

一旦对用户群体及其需求有了更清晰的理解，基金会应促进一次全社区讨论，重新审视和明确Commons结构化数据的目的、功能和实施。这次对话应旨在使该项目与Commons作为一个支持其多样化贡献者和用户社区的平台这一更广泛的角色保持一致。

4.2 Depicts属性定义不明确

CAT工具将经人工批准或编辑的、由AI建议的标签添加到Commons的一个结构化数据属性——Depicts属性中。然而，参与者报告说，围绕Depicts在此语境中的含义存在严重的模糊性。这种歧义导致了工具的混乱和不一致使用。正如一位经验丰富的Commons贡献者Vin所解释的：

"这仍然算新的，你还处于困惑中，没有明确的规则或指南。所以这很成问题，如果你没有一个好的起点，你就无处可去。然后技术本身……你使用的工具或技术遵循的规则几乎不存在。那这怎么办？与我们的期望相比，这个工具好不好？……这不是工具的问题。如果我们没有一个关键规则来明确我们的期望，那这不是工具的错。"——Vin

Vin的评论指出了一个重要问题：缺乏明确的规则和指南来理解Depicts在Commons上应如何理解和应用。这种缺乏清晰度迫使贡献者依赖个人解读，这往往导致不一致的做法。在我们的访谈中，当被要求帮助添加Depicts属性时，参与者经常表达出不确定性。

即使是在处理自己上传的文件时，他们也在判断哪些"描绘（Depicts）"声明最为恰当或准确方面感到困难。正如凯文所指出的："嗯，我会说它描绘了一只跳蛛，可能是最显而易见的说法。你知道，我的意思是，这其实取决于你想要多细致，而这正是维基共享资源上结构化数据争议的核心之一——关于描绘的数据应该多具体？你可以说，你知道，这描绘了一只蜘蛛；你可以说它描绘了一只动物；你可以说它描绘了一只跳蛛；你也可以说它描绘了眼睛、腿和一片叶子。但我认为，关于在维基共享资源上如何使用'描绘'声明，从来就没有达成过什么好的共识。"——凯文

这种模糊性影响着所有经验水平的贡献者。即使是更有经验的编辑也面临着关于'描绘'声明应该多具体或多宽泛的持续不确定性。在缺乏共同政策或准则的情况下，贡献者往往根据非正式的小群体规范或个人判断来操作。正如杰克分享的："我想时至今日，关于'描绘'声明究竟用于什么，仍然没有一个特别好的定义。我不断遇到有人给我的照片添加'描绘'声明的情况。我有一张树的照片，然后有人说，'描绘的是西雅图。'嗯，抱歉，但我真的不认为任何人会觉得一张树的照片能有用地描绘西雅图。所以，不，我不认为有共识。有一群人在他们内部达成了共识，但我估计使用这个功能的有一半人并不属于那个群体。那是一种松散的共识。"——杰克

这种共享准则的缺失往往导致不一致的做法，甚至引发"编辑战争"，即编辑会删除他们个人不同意的'描绘'声明。参与者建议，未来的CAT工具开发应该解决关于'描绘'声明的这一根本性困惑。他们建议维基媒体基金会应与维基共享资源编辑社区合作，制定清晰全面的政策或准则，定义'描绘'声明的用途，并提供实用示例来说明其在不同情境中的应用。参与者提议，可以以现有的分类使用共识为模板，开发类似的'描绘'声明框架。正如一位有经验的编辑杰克所解释的："关于分类，我们有一个牢固的共识，我们希望尽可能精确，唯一的例外是当有非常深层的理由需要把东西放在更高层级的时候……所以……关于分类，我有一个相当清晰和强烈的共识，关于如何去做或不去做。我不认为关于'描绘'声明，他们有接近共识的东西来说明在这些情况下应该如何使用。"——杰克

杰克对分类系统的类比表明，可以为'描绘'声明创建类似的基于示例的教程，以指导社区在结构化数据方面的实践。

**4.3 通过CAT应用"描绘"面临的挑战**

除了定义上的模糊性之外，用户在使用CAT工具有效应用'描绘'声明时也面临挑战。对于新贡献者来说，这些挑战往往因工具所建议的标签而加剧，因为这些标签并不总是准确或符合情境的。正如文所指出的，贡献者在批准建议的标签时需要谨慎使用自己的判断："建议的是什么？哦，什么都建议……但也许你可以更加谨慎，因为那只是建议。你不必接受所有东西。它并不总是相关的。如果每个人都很慎重，在批准什么东西之前都想想什么是对的、什么是错的，那么这也许就没问题了……"——文

然而，新贡献者往往缺乏做出如此慎重决定所需的背景知识或培训。CAT工具的游戏化设计——鼓励大量打标——进一步加剧了滥用，正如萨姆观察到的："他们把它部署给了大量新编辑，这简直是一个糟糕透顶的主意，对吧？……有些用户就像是，哦，标签越多越好。但实际上，这不是'描绘'的用途，对吧？更多并不一定更好……你知道，不是所有人都这样，但总是那些就像，我只要更多。我只要更多。所以这种游戏化，因为它在驱使人们做更多事情，而不是解决具体问题。"——萨姆

这种明确指导的缺乏往往导致新用户将数量与质量混为一谈。结果，许多人添加了无关或误导性的'描绘'声明，以为自己在遵循最佳实践。保罗给了一个例子："还有一个例子，标签是绿色的，那是一张乡村的照片，主色调是绿色，工具建议了绿色，所以用户点了按钮，让它说'描绘绿色'……所以在两年里，无辜的人一直在做错误的事情，因为工具要求他们这样做，而他们认为这就是所想要的。这不是他们的错，而是那些要求他们这样做的人的错。"——保罗

在缺乏对'描绘'的明确定义或关于如何负责任地应用CAT建议的充分支持下，贡献者，尤其是新手，经常错误地使用这一功能。这些错误应用产生了质量较低的数据，并加剧了更有经验的编辑的不满，因为他们不得不纠正或质疑这些错误。为缓解这一问题，参与者强调，除了制定清晰的政策和准则之外，未来的CAT工具版本还应帮助用户，尤其是新用户，慎重地评估AI建议的标签并选择准确的'描绘'声明。正如保罗所解释的："……或者甚至是一个教程，从要求人们为已知标签的图片打标开始，并给他们一些糟糕的例子，告诉他们，'不，你不应该选那个。'而不应该选的原因是……我在其他众包工具中见过这种情况。例如，我曾使用一个基于NASA火星图像的工具来识别地质特征。你需要完成一个训练练习，它问，'这些事物中哪些出现在这张图片里？'如果你选错了，它会解释为什么不正确，并提供要学习的关键要点。一旦你达到了回答始终正确的水平，它就允许你继续进行新任务。"——保罗

保罗的提议凸显了对结构化引导体验的更广泛需求，帮助贡献者理解'描绘'声明的含义，从错误的标签选择中学习，并随着时间推移，在准确应用本体链接的结构化元数据方面建立信心。

**4.4 分类与CAT之间缺乏整合**

自维基共享资源创建以来，分类一直是其核心组织工具。它们允许用户将多媒体文件归类为广泛分类。多年来，分类系统提供了一种轻量级但有效的浏览仓库和通过关键词搜索定位内容的方式。然而，随着维基共享资源的增长，其文件数量已达数百万，该系统的局限性越来越明显，不仅对维基共享资源编辑社区如此，对维基媒体基金会和研究人员也是如此[28]。我们的受访者基本呼应了这一认识：尽管分类在历史上发挥了重要作用，但它们已无法满足维基共享资源不断演变的需要。向结构化元数据的转变被认为是必要的，以提高可访问性、实现更准确的知识表示并改善搜索功能。正如保罗所解释的："我认为最终目标是我们不需要使用分类，或者我们对它们的依赖大大减少。因为结构化数据让你能够说更多的东西，并且以更具机器可读性和更全面的方式来实现，同时减少了分类被错误应用或分类本身的局限性所带来的问题，比如循环分类和分类继承可能产生的误导性……"——保罗

尽管认识到分类的局限性，参与者强烈反对当前CAT的方法——即创建一个平行的结构化数据系统，他们认为这无视了分类系统中蕴含的协作知识。他们主张，不应该抛弃分类系统并"重新发明轮子"，而应该将结构化数据与分类系统整合在一起。正如杰克所说："我仍然认为他们犯了一个可怕的错误，完全没有思考结构化数据如何与分类整合，而是让它作为一个并行的目的存在于旁边……而且正如我所说，他们没有尊重社区已经建立的东西……与如果他们对已有的东西有所尊重并加以完善相比，这是一笔巨大的工作量。"——杰克

对于参与者来说，分类不仅仅是导航辅助工具；它们代表了大约二十年来维基共享资源社区在组织、策展和注释多媒体内容方面积累的共同知识。这些人工生成的分类标签捕捉了CAT建议（即AI生成的结构化描述性标签）无法完全反映的语义和上下文知识。哈里斯阐明了这一区别："是的，'描绘'声明更多是关于……可见的东西。而分类……我认为它们更多是基于图片背后的元数据。所以拿这张1995年的照片来说，那是一个历史时刻。我描述了这些男人的所有名字，因为我知道他们。所以这是……我可以提供的信息……不仅是在描述中，也在分类中。但'描绘'声明更多是表面的，关于……可以看到的东西。是在室外还是在一个房间里？"——哈里斯

这种知识通常编码在分类中，可以支持'描绘'声明（表面视觉呈现）之外的结构化数据工作。它们可以为与历史背景、艺术媒介和来源相关的其他结构化数据属性提供信息。正如保罗所指出的："在某种程度上，分类可以与'描绘'相同，所以这幅画在'阿斯顿下地'的分类中，这正是'描绘'声明中的内容……但分类还有1880年代……伯明翰的信息，该地区现在属于伯明翰。当时它不属于伯明翰。所以把伯明翰放在'描绘'声明中是不合适的。分类记录了它收录于一本书中的事实。它记录了它来自哪本书……但那不是它描绘的内容。它不描绘那本书。你不能看着它说，哦对，我能看到一本书，但分类告诉你它在那本书里。分类告诉你它是一幅画而不是照片或油画，这是图像的属性，但不是图像所描绘的内容。分类可能告诉你谁画了它，但那是画者，不是'描绘'……其他结构化元数据可以告诉你这些，但不是'描绘'声明。"——保罗

因此，参与者建议，SDC和未来的CAT工具应该建立而非抛弃维基共享资源分类的遗产，将现有分类标签中的知识整合到结构化元数据中。例如，正如杰克所解释的："我希望，如果某样东西已经有了分类，而我们试图在自动化的基础上做事，它就能知道，哦，这是在树林公园……取一段文本，用AI做一些分析。"——杰克

杰克建议，未来的CAT工具可以分析现有的分类标签，提取结构化的属性-值语句，将它们映射到维基数据标识符，并将其作为建议呈现，以帮助编辑将分类中嵌入的知识转化为结构化元数据。

**4.5 定义不明的AI/ML任务**

CAT工具应用了一种通用AI/ML算法（Google Cloud Vision API）来标记维基共享资源中的所有多媒体文件并建议标签。参与者对这种定义不明的任务——即对整个仓库应用一刀切的AI/ML模型进行无监督发现——表达了担忧，因为它通常生成过于宽泛的建议，对编辑和用户没有用处。正如萨姆所解释的，这种通用AI/ML应用之所以无效，是因为AI/ML算法在执行明确定义的任务时表现最佳。他详细阐述道："这不是任务导向的机器学习。这就像理论上的宽泛的，无论谁用的版本的机器学习……我认为这下降到了，就像，过度通用的内容，对吧？"

嗯，我们发现的情况是，事实上所有AI的应用，其好的用途都是非常具体的用户配以特定的训练集，对吧？比如……我想找星系，然后用哈勃太空望远镜的一千万张图片，对吧？真正好用的应用就是这么窄。它越泛化，就变得越平庸……正是具体性赋予了它们实用性。"——Sam在访谈中，参与者提供了AI/ML模型能在Commons中有效处理的、明确指定的任务示例。Kirk举例说明了机器根据特定字母刻文识别和标注SVG旗帜图像的潜力。他解释道："……如果我有一面华盛顿州的SVG旗帜……上面写着，我不记得华盛顿州是否有'Washington'这个词，但如果它是以实际文本编码的，那么机器可以完美地按字母添加关于刻文的类别……这就是我加到这些旗帜上的一个例子，当旗帜上有刻文时，我会说它有字母W，有字母A，有字母S。这对机器来说是个完美的任务。但这难道不是一种小众的分类系统吗？……所以即便是最窄、最简单的任务，它们只有在我们把合适的语义信息放入文件中时才是好用的，就像我提到的，如果你有SVG并正确标记它，告诉它需要知道什么，它就能进行插值并利用数据做事。但如果你只是拍摄一般照片并希望机器能弄清楚里面有什么……它们不能被信任去区分性地添加标签、类别、描绘和结构化数据。"——Kirk这个例子说明了AI如何能协助处理明确指定的、重复性的、非主观的任务，比如识别旗帜的特定特征，从而使人类贡献者能够专注于更复杂的工作。Sam还提出AI可以协助处理高量任务，例如对大量相似图像进行分类，包括识别烟花的颜色。他解释道："现在，部署这类东西的理想方法是给予社区成员控制权，比如我想要给这些烟花添加颜色标签，Commons上有大约三万张烟花图片，对吧？那是相当多的烟花。我很抱歉，你并不真的需要一个人来告诉你它们是什么颜色，你可以运行Google视觉工具，说'这里是你的颜色范围'。烟花的颜色并行度大概是10种，对吧？然后告诉我每一个是其中的哪一种。其中95%都会准确，对吧？然后我们就不必担心用人工来描绘烟花的颜色了，我们可以专注于更有趣的人类任务，对吧？所以我认为这就是发生的问题，他们没有寻找积压工作，也没有赋予社区选择处理哪些积压工作的权力。"——SamSam的例子也突显了将AI/ML工具与社区需求和优先级对齐的重要性。当AI被用于解决Commons社区看重的、明确指定的任务时——比如给烟花标签颜色——它可以显著减少积压并提高效率。展望未来，参与者建议维基媒体基金会帮助识别和定义Commons社区看重的、明确指定的AI/ML任务。这可以通过促进专注于特定领域的Commons社区内部合作来实现，从而有效地识别和定义支持其工作所需的AI/ML任务，正如Sam所解释的："分类组……有非常明确的使用案例。他们训练机器学习模型，但不想要模糊的鸟类标签，那些对任何人都没用。所以我认为你可以相当容易地将其细分为不同的领域。"——Sam此外，参与者主张选择针对特定内容领域中明确定义的任务而定制的专业AI/ML算法，而不是使用像Google Cloud Vision这样的通用工具。Ron提供了植物和花卉识别算法的例子，这些算法已展现出专家级的准确率："……已经存在的非常好的植物和花卉识别应用，比如PlantNet或Flora Incognita。这些应用非常先进，你可以在野外仅仅通过拍一张智能手机照片并运行应用就能识别植物。在几乎所有情况下，识别都是准确的，真的是专家级别。"——Ron总之，参与者建议AI/ML工具在Commons上最有效的是应用于与社区优先级一致的、明确指定的任务。相比之下，对不明确指定的任务使用通用AI/ML模型——比如广泛标注多样化的媒体文件——会产生不一致的结果并提供有限的价值。对于未来CAT工具的设计，参与者呼吁转向协作识别有价值的、具体的使用案例，并采用针对每个案例定制的专业模型。4.6 缺乏对协作决策和评估的支持我们发现，在Commons上给图片打标签是一个协作的、迭代的过程。个人贡献者往往难以独自分配最准确和适当的Depicts语句，而是依赖社区输入来审查和逐步完善它们。然而，CAT建议的当前设计并没有充分支持这种协作现实。这并非冲突，而是Commons贡献者处理打标签的方式与CAT工具目前所支持的方式之间的对比。在访谈中，参与者分享了他们在自己分配的Depicts语句的准确性、相关性和有用性方面经常感到困难。当编辑不确定他人可能如何解释或使用某张图片时，这一挑战尤为明显。作为回应，许多人采取了协作方法：他们以宽泛或通用的Depicts语句开始，期望更有知识的编辑后来会对其进行完善或更正。正如Simon在给一件不熟悉的服装打标签时解释的那样："如果我能百分之百确定它是Salwar Kameez，我就会标记为Salwar Kameez。但如果不确定的话，我就只标记为布料，希望能有一位对印度时装非常了解的编辑来说，'哦，这实际上是这种裙子，这种布料之类的。'他们会做对，而如果我做，也许我会做错。所以在这些情况下，冒这个风险可能不太好。"——Simon这种策略反映了一种常见做法：使用宽泛的"安全"Depicts语句，比如"布料"，以避免错误分类，同时信任社区会帮助随着时间的推移提高准确性。另一位参与者进一步解释了通用Depicts语句作为协作起点的价值。即使是模糊或一般的Depicts语句也能提供一个基础，他人可以在此基础上继续建设："我认为即使是非常宽泛的东西也比什么都没有好。因为人们可以，比如一个专家，可以后来来，例如，如果我标记为建筑，其他一些人，比如建筑专家，可以来完善正确的描绘，比如说，我不知道，城堡或教堂，进一步往下……我认为正确分类图片的良好第一步，因为如果图片没有任何描绘或类别，除了它有好的名称之外，没有人会找到它，但已经有一个基础类别或基础描绘的图片更容易被找到和完善。"——Simon一些参与者甚至承认故意使用他们知道不准确的Depicts语句，期望更熟悉该主题的人后来会进行更正。例如，Simon描述了给一所幼儿园标记城市名的情况，原因既是时间限制，也因为没有相关的Wikidata条目："这所特定的幼儿园没有Wikidata条目……所以我认为我用城市标记了它……然后我想，好吧，里面的人会进一步完善这个，所以我不需要做了，他们会做的。"——Simon这些例子表明，打标签通常被视为一项持续的、共享的任务，而不是单个贡献者的一次性决定。编辑们行事时预期他们的工作会被他人审查和改进。这种协作过程也延伸到评估Depicts语句的有用性和适当性。编辑们经常报告说自己难以判断Depicts语句的相关性，因为他们无法预见他人可能如何使用或搜索某张图片。Joel反思了同一张图片可能服务于多种甚至意想不到的用途："我不知道我会搜索什么，你知道，我想也许，我不知道，描绘那个海岸线部分？……主要主体，这里的主要主体是悬崖跳水，你知道。我想我把这张特定的图片用在了一篇关于抛物线数学概念的文章里。所以你知道，这就是不同的用途。"——JoelJoel的反思显示，图片的潜在用途——运动、地理、数学等——是多样化的，任何单个编辑都难以完全预见。这进一步突显了在分配和评估Depicts语句时需要协作的意义建构和推理。综合来看，这些例子表明在Commons上给图片打标签通常是一项协作的、迭代的工作。编辑们在不确定时使用宽泛或通用的Depicts语句，而这些初始语句作为占位符，后来会被他人完善或更正。相关性的主观性以及图片用途的多样性使得打标签成为一个受益于且往往需要持续协作决策和推理的过程。虽然当前的贡献者实践需要协作，但CAT建议假设上传者或打标签者会独自做出最终决定。该系统没有提供机制用于共享审查、讨论、论证或对建议的Depicts语句进行迭代完善。它向个人展示建议，但不支持贡献者讨论为什么选择某个标签，比较它与替代解释，或在标签最终确定前邀请他人的结构化输入。这限制了CAT作为协作验证工具的功能，尽管社区通常将初始Depicts语句视为协调的起点而非最终的标注决定。4.7 CAT与Commons搜索功能之间的脱节CAT工具的核心目标之一是通过添加结构化数据来提高Commons内容的可搜索性。然而，许多参与者报告说停止了对CAT及Commons上更广泛的结构化数据的贡献，因为他们觉得当前实现没有实质性地改善Commons的搜索功能。目前，CAT工具通过添加Depicts语句来帮助连接Commons的基于文本的搜索与Wikidata。为了支持一般性和具体性的查询，贡献者经常通过CAT在Depicts语句中包含宽泛术语（例如"man"或"woman"）和高具体性术语（例如"Vincenzo de Cotiis"）。然而，这种做法与Commons和Wikidata上既定的最佳实践背道而驰，后者建议选择最具体的非冗余术语，并避免重复已被层级关系所隐含的信息。参与者指出，这种方法无意中创造了一个类似Commons旧分类系统的平行民间词典。正如一位参与者解释的："他们最终搞出了一个第二平行民间词典。他们没有做艰苦的工作去弄清楚在特定领域如何建模数据，然后再向该领域的一般用户使用发布。他们只是用一群人建立了一个民间词典，这些人随着时间的推移做了一些文本工作。是的。所以它不更好也不更差。它，你知道，在Wikidata本身，因为他们有那个额外的工具来表达关系，[它]在本体论上比Commons要好一点。但SDC不是。"——Jack这种对穷尽性术语包含的过度依赖，与传统的分类系统相比，只带来了有限的收益。更深层次的问题不在于CAT本身，而在于查询是如何被搜索系统处理的。

尽管CAT（计算机辅助标签）和Commons上的结构化数据（Structured Data on Commons，简称SDC）具有增强搜索能力的潜力——通过在Wikidata中利用语义关系和层级推理——但在当前的搜索实现中，这些优势在很大程度上仍未被实现。一位参与者这样描述了这种错失的机会：

"好吧，你显然会包含一些关键词，搜索引擎是可以被教会去理解结构化数据的。比如说，如果你搜索'Beagle'（小猎犬），你可以向搜索引擎表明你是想找狗还是想找达尔文乘坐的那艘船——他那艘著名的HMS Beagle。所以它既是在消歧义类似的术语，也在理解如果你搜索'dog'（狗），那你可能想要Beagle。你不仅仅想要那些被标注为'dog'的东西。这就是结构化数据如何在搜索方面而非查询方面提供帮助的方式。现在，你的搜索查询必须比这更巧妙。你可以搜索具有特定结构化数据声明的内容，比如描绘一只Beagle狗的图像，但你需要知道如何做到这一点。你需要能够理解一些标记代码才能做到这一点，而我希望最终这些功能会被内置到搜索引擎中。这样，如果人们只是用自然语言输入，它就能通过该机制找到相关内容。"——Paul

由于当前系统将负担压在了贡献者身上，却未能回报以改进的搜索体验，许多参与者不仅对CAT失去了兴趣，对Commons上的结构化数据整体上也不太积极参与了。他们将该过程视为无效，并认为它造成了Depicts（描绘）声明的污染，且重新创造了一个类似于旧分类系统的民间标签体系（folksonomy）。为应对这一挑战，参与者建议，除了改进CAT之外，Commons还应设计并部署一个能够充分利用Wikidata语义关系的搜索机制，并与维基媒体生态系统中最佳标签实践保持一致。

**5 讨论**

本文使用两种互补的数据来源调查了维基共享资源（Wikimedia Commons）贡献者使用计算机辅助标签（Computer-Aided Tagging，简称CAT）工具的亲身经历：11个维基页面上的595条用户评论和16次深度访谈。我们的分析揭示了七个关键问题，这些问题导致了CAT的评价褒贬不一以及最终被停用：（1）SDC各方视角的不一致，（2）Depicts声明定义不明确，（3）通过CAT应用Depicts的困难，（4）分类与CAT之间缺乏整合，（5）AI/ML任务规格不明确，（6）对协作评估的支持有限，以及（7）CAT与Commons搜索功能之间的脱节。除了识别这些挑战外，我们还提出了基于社区建议的改进方向。在本节余下部分，我们讨论这些发现对设计Commons上的人机协作以及开发支持开放知识工作的AI辅助工具的更广泛影响。

**5.1 为Commons上的人机协作进行设计**

本小节概述了为维基共享资源设计AI辅助工具以促进有效人机协作的关键考量。基于我们的发现，我们强调促进共识建设、采用参与式AI/ML方法、利用遗留系统以及解决语言和文化差距的重要性。

**5.1.1 促进共识建设**

我们的发现凸显了共识建设在Commons上AI辅助工具的有效设计和部署中起到的重要作用。虽然像CAT这样的工具是出于良好的意图开发的，但当缺乏共识——围绕项目目标、任务定义和最佳实践的共识——时，它们可能会无意中破坏既定的工作流程和社区价值观。在CAT的案例中，关于SDC项目目标、CAT工具目标、AI辅助任务的适当范围以及何为有效的Depicts声明缺乏共享规范，使得贡献者难以参与或信任该系统的建议。

在CSCW（计算机支持协作工作）和HCI（人机交互）文献中，共识建设在维基百科的语境下已被广泛研究[11, 16]。研究人员开发了各种社会技术系统来支持维基百科的共识建设实践：帮助识别新兴冲突的工具[15]、通过结构化摘要促进相互理解的系统[17]，以及协作生成讨论摘要的机制[36]。维基百科还受益于正式治理结构，这些结构将共识确定为一种核心原则，并有详细政策11和社区撰写的指导12说明如何实现共识。

相比之下，维基共享资源获得的关注相对较少，也缺乏平行的治理结构。没有正式政策、既定指南或工具来支持Commons贡献者建立共识。这种差异源于两个项目的不同性质。维基百科是一部协作式文本百科全书，贡献者必须将多种视角综合为连贯、中立的条目，这自然地需要审慎和共识。而Commons是一个多媒体资料库，其贡献行为——如上传、添加元数据和分类文件——通常独立进行，协调和冲突解决需求极少。

这种结构性独立已在先前的研究中得到充分记录[33, 34]，这些研究指出Commons的工作流程通常以低协调水平运行，且不强调共识。我们的发现支持了这一观点。参与者描述在应用Depicts声明时使用自己的理解，往往缺乏任何共享标准的指导。在某些情况下，小的子群体已经发展出了非正式的共识，但几乎没有迹象表明平台层面存在共识。虽然这种开放性支持了多元参与和灵活贡献，但当引入依赖共同基础才能有效运作的AI工具时，也带来了挑战。

这些发现表明，CAT面临的挑战不仅仅是技术性的，也是社会组织层面的。为Commons上的成功人机协作构建工具不仅需要准确的算法，还需要关注促进共识所需的社会基础设施。与其假设共识已经存在，未来的工具设计和开发必须积极支持共识的产生。未来研究可以探索社会技术方法来支持Commons环境中比维基百科更加去中心化的共识建设。

**5.1.2 采用参与式AI/ML方法**

我们的发现表明，CAT工具在Commons编辑中采用率低、使用率低和满意度低的一个主要原因是，它使用通用AI模型来处理一个规格不明确的任务——使用Google Cloud Vision API对整个Commons资料库进行广泛标注以实现无监督发现。这种方法往往产生过于宽泛或不相关的建议，对Commons编辑者提供的价值有限，并打断了他们现有的工作流程。参与者表达了对范围更窄、专门针对特定且定义明确的任务进行训练模型的偏好，这些任务应与社区优先级保持一致。这些发现突显出，为Commons上的工作设计AI/ML工具需要与使用和维护该平台的社区进行早期和持续的参与。工具必须与贡献者的需求、价值观和日常实践保持一致才能被接受和有效使用。

在其他贡献同样去中心化且由社区驱动的开放知识环境中——如维基百科——参与式方法（例如ORES[10, 27]、LiftWing13）已被引入以支持这种需求。与CAT依赖单一默认嵌入的"最佳"分类器不同，参与式AI/ML框架允许多个可能相互矛盾的分类器共存。参与式AI/ML的结果不是单一的模型或工具，而是一个公开的、协作性的过程，包括对模型本身及其在内容审核界面中的部署进行训练、审计、重新解释、挪用、质疑和协商。

将这种方法应用于Commons面临独特挑战。一个核心困难在于识别拥有共同领域知识、编辑目标和共享工作流程的Commons编辑者凝聚力社区。在维基百科中，语言版本通常充当自然的社区边界，如先前的研究[10]所建议的，这使得参与式AI/ML工具的协作开发和部署成为可能。相比之下，Commons是一个真正的多语言平台，缺乏可比的语言细分。虽然许多Commons贡献者源自维基百科的特定语言版本——最初使用Commons来管理其母语维基的媒体文件——但只有一小部分人将Commons视为其主要项目[33]。因此，Commons内部较强的社区纽带相对罕见。大多数贡献者在不需要持续协作或社区建设的情况下独立工作[34]。

这种更加去中心化和个人主义的结构使得在Commons上启动参与式AI/ML过程的努力变得复杂。正如我们的参与者所建议的，一个有前景的起点可能是绘制内容领域（例如生物物种）并识别这些领域内部和之间的协作机会。然而，鉴于Commons的跨语言特性，这些努力需要解决重大的语言和文化障碍。在不同语言版本的维基百科贡献者汇聚的领域中，有效的参与式AI/ML将需要促进多语言协作和解读的工具和实践。

**5.1.3 利用遗留系统**

维基共享资源于2004年推出，已为互联网用户服务超过二十年。在此期间，互联网技术迅速发展，但Commons仍然依赖于长期存在的社区驱动方法来积累和组织协作知识。虽然这些方法——包括传统的分类系统——可能无法完全满足Commons不断发展的规模和范围的需求，但它们仍然是一项重要的遗产。这些系统不应被丢弃，而应被利用并整合到新AI辅助工具的设计中。

在我们的研究中，参与者承认了Commons分类系统的局限性，尤其是在支持现代语义搜索方面。然而，他们强烈反对CAT工具绕过这一遗留系统而引入完全平行的标签基础设施的做法。参与者将此视为对社区积累的实践、规范、贡献和现有知识的否定。

结构化标签与非结构化用户生成标签之间的张力在图像处理和计算机视觉领域的先前研究中已有讨论。例如，Flickr和Zooomr等社交媒体平台长期以来一直允许用户为其图像手动标记自由选择的标签。这些标签支持图像索引和搜索，但由于其草根性质，它们往往与图像的实际视觉内容不一致[19]。研究[14]发现，当一个标签出现在Flickr图像中时，只有大约50%的概率它能准确反映内容。类似地，研究[2, 26]表明非结构化标签允许更广泛的标签范围，且许多用户分配的标签描述的是上下文信息——如位置、时间或情绪——而非图像视觉描绘的内容。

这一区别很重要，因为非结构化的用户生成分类标签——尽管经常不一致——包含有价值的上下文信息，而仅有结构化的Depicts声明无法完全捕捉。这些标签经常反映创建地点、事件或创作者等元数据，可以丰富媒体文件的语义理解。与其将这些人类生成的分类标签视为过时或无关，未来的AI工具应将其作为补充的知识来源加以利用。

未来CAT设计的一个有前景的策略是标签处理[19, 30]，这是一种自动分析并优化用户提供分类标签的方法，以建议更准确且语义一致的结构化元数据声明。通过应用标签处理技术，开发者可以弥合Commons丰富但非正式的分类实践与平台新兴结构化数据基础设施之间的差距。

**5.1.4 纳入多语言图像描述**

SDC和CAT工具的一个主要目标是减少维基共享资源——一个支持超过300个维基百科语言版本和全球用户的媒体资料库——上的多语言内容访问和贡献障碍。贡献者可以用任何语言上传文件和提供描述，这使得传统的非结构化Commons元数据在设计上就是多语言的。虽然这种去中心化的模式多元化了文化知识覆盖范围，但先前的研究[33]已显示，英语主导的描述为非英语贡献者和用户造成了可访问性缺口。这一障碍不是单向的，它也影响到英语贡献者，因为他们往往难以定位关于非英语地区的材料，因为相关描述和策展工作通常以源社区的母语制作[33]。

为了缓解这一访问缺口，CAT忽略了现有的多语言图像描述，仅在上传时分析图像像素，并将建议标签映射到语言无关的Wikidata Q-ID上。这一设计使不同语言社区的贡献者能够使用等价信息评估一组共享建议。然而，正如我们的发现所示，参与者指出，这一设计选择导致了更加通用的图像标签趋势，许多人担心这会损害Commons的教育目的。

这一担忧与一个更广泛的问题相关联：主流的现代视觉模型（包括 Google Cloud Vision）是在语言和文化上存在偏差的网络级数据集上训练的，它们的标签建议可能会将具有文化特异性的概念扁平化为通用的、默认西化的标签 [3, 12, 20, 21, 35]。为了解决这一差距，未来的 CAT 工具在生成标签建议时，应该纳入而非绕过维基共享资源（Commons）的多语言文本元数据。具体来说，未来的设计应将基于像素的视觉推理与基于语言的非结构化多语言描述处理相结合。这将使系统能够提出语义上具体且具有文化语境的“描绘”（Depicts）陈述，而不是依赖通用的西化默认标签。

5.2 设计支持开放知识工作的 AI 辅助工具
本小节讨论了设计用于开放知识工作的 AI 辅助工具的关键考量，重点在于支持模糊和多模态任务，并将人机协作的范围扩展到审核之外。

5.2.1 支持模糊和多模态任务。
本研究通过表明传统的 AI 设计方法（其目标通常是消除模糊性）并不适用于所有开放知识情境，从而扩展了现有知识。我们的发现表明，在开放知识系统中设计 AI 辅助图像标记充满挑战，因为该任务具有主观性——图像标记不像对文本数据进行预测那样是一个直接的过程。与倾向于遵循更严格规则和结构的文本数据不同，图像是多模态的，需要根据文化、背景和个人视角进行解释。正如本研究所示，AI 系统和人类贡献者在分配“描绘”陈述时都难以应对模糊性。

在图像标记的背景下，AI 系统的设计不应旨在消除模糊性，而应对并支持模糊性。AI 工具不应提供 definitive 的标签，而应呈现反映视觉数据固有复杂性和不确定性的建议。有效的 AI 设计应向贡献者呈现这些复杂性和不确定性，传达 AI 生成建议的置信度，并提供关于 AI 如何得出建议以及哪些因素影响其决策的清晰上下文信息。这将使人类贡献者能够更有依据地选择是否接受或完善 AI 生成的标签。

5.2.2 将人机协作的范围扩展到审核之外。
引入像 CAT 工具这样的用于内容创建的 AI 工具，标志着开放知识系统中人类与 AI 协作方式的重要转变。历史上，像英语维基百科这样的平台上的 AI 工具（例如 ORES [10]、SuggestBot [5]）一直侧重于审核和协调等间接任务，而不是直接的内容创建。相比之下，CAT 在生成内容（具体而言，为图像文件生成“描绘”陈述）中的作用，将 AI 的功能从支持性工具扩展到了共同作者。

这一转变给技术设计带来了新的挑战，特别是理解人类贡献者如何感知 AI 作者身份。正如我们的发现所示，CAT 对内容层的贡献模糊了人类编辑与机器生成内容之间的传统界限。贡献者对 AI 解释视觉数据的上下文和意义的能力有限表示担忧。因此，他们建议 CAT 中的人机协作应被设计为一种共同创作过程，在这种过程中，AI 充当合作伙伴，提供建议以支持决策制定，而不凌驾于人类判断之上。

因此，我们建议未来研究在开放知识工作中设计人机协作时采用更广阔的视角——即调查 AI 日益增长的潜力，如何重塑协作内容创建中作者身份、责任及编辑控制的动态关系。

5.3 局限性
本研究存在若干局限性。首先，我们的发现基于来自 160 名用户和 16 次深度访谈的定性数据。虽然这些来源提供了丰富的见解，但它们可能无法完全捕捉更广泛的维基共享资源社区的多样性。参与 CAT 工具并参与讨论的贡献者可能与选择不参与的那些人有显著差异。

其次，我们无法联系到那些对 CAT 有负面体验并随后脱离维基共享资源的用户。因此，某些批判性观点——特别是那些由挫败感或不满意度塑造的观点——在我们的分析中可能代表不足。

第三，我们的大部分受访者是有经验的活跃用户。因此，该研究可能更多地反映了资深贡献者的观点，而不是新手或偶尔参与者的观点。

6 结论
在本文中，我们对 595 条用户评论和 16 次访谈进行了定性分析，探讨了维基共享资源贡献者使用 CAT 工具的实际体验。我们的工作提供了对七个关键挑战的经验性理解，这些挑战决定了 CAT 的褒贬不一的接受度以及最终的停用，并提出了基于社区意见的工具改进建议。我们将对人机协作的理解扩展到了英语国家、以文本为中心的企业平台之外。本研究强调了在人工智能、图像标记和去中心化多语言社区交叉领域未来研究的激动人心潜力。

致谢
本研究由维基媒体基金会研究基金资助，资助编号为 G-RS-2402-15230。我们要对本研究的参与者表示衷心的感激，他们宝贵的贡献使本研究成为可能。我们也真诚感谢匿名审稿人，他们彻底且深思熟虑的评估和富有建设性的反馈帮助我们完善和改进本文。最后，我们要向 Nokkee Yu 表达诚挚的谢意，感谢他的爱与支持。