维基百科中的大语言模型:研究大语言模型对知识社区参与度的影响
《Proceedings of the ACM on Human-Computer Interaction》:LLMs in Wikipedia: Investigating How LLMs Impact Participation in Knowledge Communities
【字体:
大
中
小
】
时间:2026年10月24日
来源:Proceedings of the ACM on Human-Computer Interaction
编辑推荐:
摘要
AI摘要
要查看此AI生成的摘要,您必须拥有高级访问权限。
了解更多 登录
摘要
大语言模型(LLMs)正在重塑知识生产方式,社区成员越来越多地将它们纳入自己的贡献工作流程中。与此同时,参与知识社区不仅仅是贡献内容——它还是一个深受成员专业水平影响的深度社会过程
摘要
AI摘要
要查看此AI生成的摘要,您必须拥有高级访问权限。
了解更多 登录
摘要
大语言模型(LLMs)正在重塑知识生产方式,社区成员越来越多地将它们纳入自己的贡献工作流程中。与此同时,参与知识社区不仅仅是贡献内容——它还是一个深受成员专业水平影响的深度社会过程。尽管社区必须慎重考虑LLM的适当与负责任地整合,但具体规范的缺失使得编辑者们只能自行探索和应对LLM的使用。因此,理解LLMs如何影响不同专业水平的社区参与对于塑造未来规范和促进有效采纳至关重要。为弥补这一空白,我们研究了维基百科——最大的知识生产社区之一——从三个维度理解参与情况:1)LLMs如何影响编辑者获取知识的方式;2)编辑者如何利用策略使LLM输出与社区规范保持一致;以及3)社区中的其他编辑如何回应由LLM辅助的贡献。通过对16位不同专业水平的维基百科编辑进行访谈,这些编辑曾使用LLMs进行编辑,我们发现了一个由专业水平调节的参与差距,体现在知识获取、社区规范对齐和同伴回应等方面。基于这些发现,我们挑战了现有的新手编辑参与模型,并提出了LLMs支持社区参与的设计启示,突出了LLMs通过脚手架与反馈、流程文档以及善意新手编辑者披露LLM使用等方式来维持指导、知识传递和合法性建设的机遇。
AI摘要
AI生成摘要(实验性)
本摘要由自动化工具生成,并非由本文作者撰写或审核。它旨在支持文献发现、帮助读者评估相关性,并协助相邻研究领域的读者理解本工作。它作为补充,与作者提供的摘要(即论文的主要摘要)相辅相成。全文仍是权威记录版本。点击此处了解更多。点击此处对本摘要的准确性、清晰度和实用性发表评论。这样做将有助于改进未来重新生成的版本。要查看此AI生成的通俗语言摘要,您必须拥有高级访问权限。
1 引言
知识生产包括内容的创建、记录、维护和传播[2]。参与知识生产社区既具有认识论特征——例如需要关注事实准确性和平衡性——也具有社会特征[11, 63]——例如将实践与社区规范对齐[6, 12]、与其他社区成员互动[50, 63]。贡献者必须收集可靠的知识,根据规范适当地组织结构,并与更广泛的社区进行沟通。知识社区的新成员——例如进入新领域的学生、加入开源项目的开发者或维基百科新手编辑者——面临着学习社区认识论要求和参与规范的挑战。进入实践社区并逐步向更核心的角色过渡的过程——通过观察、实践和互动——被理论化为合法边缘参与(Legitimate Peripheral Participation, LPP)[11, 42]。
大语言模型(LLMs)的出现使得通过自然语言提示生成流畅且结构良好的内容成为可能[8, 71],这为知识贡献者提升其知识工作提供了机遇[4, 44, 71, 79]。然而,LLMs生成的易于获取且表面流畅的内容可能无法满足知识社区的认识论和社会要求,例如准确性、证据的适当使用和来源标注[34]。这种张力在维基百科中确实存在[5, 63],因为围绕LLMs使用的正式共识或规范尚未形成[5, 63]。因此,各个编辑者必须解读、应对并实验LLMs的适当与负责任的使用方式,这不仅需要技术上有效,还需要在社区中具备社会合法性。
这提出了重要的研究问题:个人如何在知识工作中利用LLMs,以及LLMs对其社区参与有何影响?在本研究中,我们将参与视为一个社会技术过程,包括个人的LLMs使用以及社区对此使用的回应。我们在维基百科的背景下探讨这些问题,这尤为重要,因为已经观察到LLMs生成的文章内容不断增加[10]——编辑者们已经在利用LLMs为维基百科做贡献。我们的研究方法受先前关于编程和学习科学中专业水平与LLMs采纳有效性关联的研究指导[7, 14],这些研究表明新手和有经验的维基百科编辑者可能表现出不同的LLMs使用模式来支持他们的参与。因此,我们提出了三个具体的研究问题:
• RQ1:不同专业水平的编辑者如何使用LLMs获取知识以贡献维基百科?
• RQ2:不同专业水平的编辑者如何将LLMs收集的内容与维基百科规范对齐?
• RQ3:维基百科社区中的其他编辑者如何解读、参与和回应由LLMs辅助的编辑?
通过对16名参与者(5名新手、11名有经验的编辑者)进行半结构化访谈,这些参与者曾在编辑维基百科时使用LLMs,我们发现编辑者之间存在基于专业水平的参与差距。有经验的编辑者通过LLMs增强了他们的参与;他们扩展了贡献范围,利用策略使LLMs生成的内容与会社区规范对齐,并从其他社区成员那里获得积极回应。相比之下,虽然LLMs降低了新手编辑者获取知识和进入维基百科的门槛,但这些编辑者倾向于过度依赖LLMs生成的内容;他们尚未发展出适当评估内容所需的认识论技能。因此,他们的编辑更容易被社区拒绝,因为感知到的LLMs使用迹象成为评估内容质量的社会启发式线索。
我们的研究结果揭示了新手编辑者面临的参与悖论。通过合法边缘参与(LPP)的视角,我们表明LLMs辅助内容生成的便利性使新手过早地实现了更核心的贡献形式,而没有经历通常通过反馈、知识传递和合法性建设所培养的渐进学习过程。LLMs并非支持渐进学习,而是可以通过让新手在执行核心任务(如内容评估和规范对齐)之前尚未做好社会或认识论上的准备,从而短路关键的社会学习机制。
我们将研究工作置于更广泛的人类-AI协作和实践社区实证HCI/CSCW研究领域[21, 49, 56]中,做出以下贡献:
• 我们提供了一个实证说明,阐述新手和有经验的编辑者如何差异化地采纳LLMs,以及这些使用方式在知识社区中如何被社会性地解读和回应;
• 我们扩展了LPP理论,通过分析LLMs辅助的贡献如何绕过或干扰为新手建立的学习路径,重塑指导与反馈、知识传递和合法性建设过程;
• 我们提出了支持社区参与工具的设计启示,强调脚手架、流程透明度和意图披露的必要性,以促进新成员的信任、学习和合法参与。
2 相关工作
2.1 写作中的人类-AI协作
知识生产涉及文稿起草、来源查找、格式整理和摘要撰写。为了解这一过程,鉴于其与维基百科编辑的高度相似性,我们回顾了AI辅助科学写作的文献[20, 45, 48],并识别了人类-AI协作的模式。
基于LLMs的工具已被开发和评估,以辅助科学过程的各种阶段。例如,Sparks[28]被实现用于激发科学概念之间的联系。几项研究[1, 76]评估了LLMs进行文献综述的潜力。此外,Radensky等人[60]引入了计划-起草-修订的工作流程,并为科学家设计了一个写作助手,用于为他们的研究论文起草博客文章。
研究人员越来越多地将大语言模型(LLMs)融入他们的工作中,塑造了他们对这些工具的使用方式和感知方式。一项对14年间发表的1400万篇论文摘要的定量分析显示,2024年至少有10%的摘要可能是LLMs辅助生成的,这一点由某些词汇使用的可疑增加所表明[40]。一项调查研究[46]表明,816名研究人员中81%已将LLMs融入到研究工作的不同方面,包括信息检索[35, 96]、编辑[97]和创意构思[58, 59]作为最频繁的使用方式。用户通常将生成式AI视为不仅仅是被动的写作辅助工具[36],更是内容创作中的创意生成者和主动协作者[20, 91]。与LLMs的互动程度因用例而异。例如,用户通过来回对话与Sparks进行概念翻译,但在较长的会话中更独立地使用它进行灵感激发和视角转换[28]。目标不那么明确的用户倾向于寻找新想法,而目标明确的写作者则寻求精确的内容以纳入其写作[91]。类似地,ChatGPT被用于支持用户的信息检索行为,而不是替他们完成任务[48]。写作者可能会修改或直接接受生成的文本[92],博士生在写作过程中与生成式AI助手进行迭代互动,通过阅读、复制、粘贴和塑造内容来协作[54]。
我们承认,虽然科学写作是切入点,但维基百科在实践上超越了科学写作,例如与社区规范对齐等方面。基于这一系列前期工作,我们考察了知识贡献者在有规范的社区中如何使用和与LLMs互动。我们的发现通过揭示知识生产过程内的使用案例并识别相似的用户行为,扩展了现有研究。最重要的是,我们发现专业水平影响了编辑者将LLMs生成内容融入自己写作的能力。因此,他们在知识社区中的参与受到影响。
2.2 维基百科中的知识生产
在维基百科中,参与协作知识工作涉及三个主要方面:1)贡献内容;2)与其他编辑者互动;3)执行规范。
2.2.1 内容
维基百科上知识工作的核心部分聚焦于内容或知识本身。基于添加支持证据和删除现有信息等一系列意图[61],编辑者执行插入、删除、修改和重新定位等操作[18, 19]。对文章的此类调整针对维基百科文章中的不同元素,包括文本、链接、参考文献和模板[18, 19]。Yang等人[89, 90]将编辑操作分为两大类:意义保持编辑和意义变更编辑。意义保持编辑包括释义、拼写/语法修改和重新定位等修改,而意义变更编辑包含插入、删除和一定程度的修改。基于[89]中的14标签分类法,Ruprechter等人[66, 67]推导出3个超级标签:对文章页面上实际信息的内容修改、不改变文本意义的格式修改,以及诸如处理标签和打击破坏行为等维基内容。
跨语言版本的多语种编辑[30]对知识生产很重要,特别是在维基百科中,这是因为(1)维基百科拥有300多种语言版本的特性[65],以及(2)贡献者旨在弥合的内容覆盖和语言差距[62]。由于维基百科各语言版本之间的文章质量[65]和数量差异多样[43, 88],多语种编辑者在弥合和填补不同语言版本之间的差距方面发挥着至关重要的作用[30, 37, 88]。
2.2.2 社区
随着编辑者在维基百科上获得经验,他们的关注点往往从个人的内容编辑转向与编辑社区的积极参与[11]。协调的需求增加,因为与其他编辑者的社会互动有助于建立内部共识[6](例如页面结构[63])、解决冲突[39, 50],尤其是当他们共同编辑同一篇文章时[63]。编辑者在讨论页和维基项目群组中进行社会互动[47, 63]。虽然只有一小部分编辑者参与文章讨论页的讨论[38],但编辑者使用文章讨论页和用户讨论页[39]服务于各种目的,如请求或建议编辑协调、请求信息以及举报破坏行为[93]。维基项目通过让编辑者与其他志趣相投的编辑者社交,为他们建立了一种归属感[22, 63]。
2.2.3 政策与指南
除了内容和社区之外,编辑者还被期望遵守社区规范。维基百科的政策和指南是支持协作工作[6]并保持维基百科高质量内容和可信度的社区规范[57]。这些政策不仅定义了允许内容的标准(例如中立观点[81]、可验证性[85]、显著性[84]),还规定了社区成员之间期望的行为(例如文明礼貌、争议解决和禁止人身攻击)[75]。Butler等人[12]识别了这些政策的作用,如作为对外部组织的信号、保护维基百科的声誉免受外部攻击。它们还代表了组织、协调以保持一致性和可靠贡献的集体努力。
通过降低编辑们达成共识的困难[6],这些规则作为边界对象[78]在维基百科的日常运作中发挥着至关重要的作用。
2.2.4 从新手到成员
合法的边缘性参与(LPP)[11, 42]指出,新手从低风险和小任务开始,并逐步承担更多责任。建立在LPP基础上的情境学习[42, 64]强调,从新手到成员的过程是社会化过程:个体通过在协作工作中的互动获得技能和知识。在维基百科中,新手编辑通常从低风险任务开始,如修复错误和改善语法[11]。通过接受社区其他成员的反馈,这种逐步的学习路径使新手能够掌握技术技能、理解社区规范,并与其他人协作。
总之,内容、社区和规范启发了我们的研究问题,并指导了我们的研究,因为我们认识到参与维基百科包含这些方面。它们也作为基本框架指导我们的访谈问题,与知识贡献者的编辑和贡献工作流程相对应。合法的边缘性参与(LPP)和情境学习为我们提供一个视角来解释研究结果,我们在第5.2节中对此进行了详细阐述。
2.3 维基百科中的工具辅助编辑
编辑者和研究人员开发了工具来简化维基百科的贡献复杂性。本节主要介绍半自动机器人,并提及最近的AI/ML工具。
2.3.1 半自动机器人
机器人在维基百科的协作编辑系统中发挥着至关重要的作用[23],并在文献中得到了广泛研究[17, 25, 27, 77]。机器人旨在自动化重复性任务或大规模任务[77],大多数早期机器人由脚本实现。例如,HostBot邀请新编辑在问答论坛上交流[51, 52]。Huggle和Twinkle打击破坏行为和破坏性编辑[27]。Rambot向国家和城市文章添加数据[33]。Zheng等人[95]将机器人角色分为9类:生成器、修复器、连接器、标记器、文书、档案员、保护者、顾问和通知器。
尽管机器人保护和维护维基百科的高质量知识[25],但它们也可能导致意外后果。特别是,反破坏机器人在短期内会影响新手的留存率,因为它们会回滚善意编辑的贡献,而这些贡献可能看起来可疑[32, 95]。这反映了人机协作中的更广泛动态。编辑者不仅开发、批准[26]、操作和维护机器人[63, 95],还受到机器人行为的影响并与它们协同工作。例如,人类编辑者会检查并纠正机器人提供的信息[55]。在反破坏的背景下,机器人检测潜在的破坏者并将其放入队列。编辑者随后可以决定并授权机器人回滚编辑并留下警告信息。在更严重的情况下,机器人可以在用户累积多次警告时通知管理员[27]。
由于机器人紧密支持编辑过程,它们通常受到广泛接受[16]。事实上,它们不被视为简单的工具,而是塑造协作成果的社交主体[24]。通过不断演变的协作动态,人类和机器人共同维护维基百科的价值观和社会结构[27]。
值得注意的是,新兴的AI/ML驱动工具不仅用于辅助内容编辑(例如多语言贡献[9, 41, 43]),还用于支持编辑相关任务。例如,SuggestBot[17]和其他推荐系统[88]为编辑者提供编辑建议。ORES[31]评估文章质量。Edisum[68]生成信息性的编辑摘要。维基媒体基金会认识到AI工具的潜力,正在制定策略以继续投资支持编辑过程并改善编辑者体验的AI工具[80]。
基于先前研究,我们识别出与传统机器人使用不同的交互模式。与传统符合维基百科规范的工具不同,LLMs绕过政策和指南,要求编辑者做出规范性决策,这对新手编辑的参与构成了挑战。
3 方法
研究人员共同设计了一套半结构化访谈协议,包括3个部分:1) 关于贡献的一般背景,2) 在维基百科中使用LLMs的经验,3) 对人机协作知识生产的愿景。在获得大学机构审查委员会的豁免后,第一作者与两名研究生进行了试点研究并完善了访谈问题。试点研究数据被排除在数据分析之外。
表1 参与者概况,改编自[72]。某些字段因回答不完整或参与者偏好不回答而留空。
3.1 招募与参与者
我们遵循维基百科的惯例[87],将少于200次编辑的编辑定义为新手编辑(新成员),将超过200次编辑的编辑定义为有经验的编辑。我们通过多个渠道从英语维基百科招募新手和有经验的编辑作为参与者。我们在维基媒体项目页面发布了访谈邀请。同时,我们搜索了可能使用过LLMs的编辑,并通过他们的讨论页或电子邮件(如果启用了该功能)发送邀请。我们还利用滚雪球抽样[53],向参与者寻求推荐。对访谈研究感兴趣的编辑者填写了一份关于LLMs基本使用、维基百科经验、联系方式和人口统计信息的调查问卷。然后我们发送邮件安排Zoom访谈,并附上同意书。一位参与者回复了我们的访谈安排邮件,但最终因时间限制而拒绝参与。此外,几位参与者表示对视频/音频录制感到不适。因此,我们提供了通过书面文本(电子邮件)参与访谈的选项。
结果,我们进行了16次访谈,其中5次通过电子邮件进行。在完成第13次访谈后,我们开始观察到数据饱和[69]。因此,我们在完成16次访谈后停止了招募更多参与者,这与顶级HCI会议的定性研究平均样本量一致[13]。参与者未获得货币补偿,他们的人口统计信息和维基百科专业知识列在表1中。
3.2 访谈程序
在访谈开始前,我们获得了每位参与者的知情同意。在访谈前,我们感谢他们的参与并说明了隐私注意事项——访谈仅录制用于数据分析目的;不需要视频;参与将保持匿名。当每位参与者完全理解并同意后,我们开始访谈并按照访谈协议进行。
首先,我们简要介绍了研究目标。然后我们询问参与者关于他们的贡献过程,如典型任务、一般工作流程和常见做法或指南,以了解背景。接下来,我们要求参与者回忆一个在贡献中使用LLMs的具体案例,并提出相关问题,如与LLMs的交互。然后,我们请他们设想人机协作知识工作的未来以及与LLMs的理想交互。我们通过邀请参与者分享任何附加信息来结束访谈。在半结构化访谈中,我们允许参与者自由分享他们的经验并提出后续问题。
3.3 数据分析
我们的11次录制访谈时长从42分钟22秒到1小时17分钟29秒不等,平均为1小时3分钟18秒。在转录访谈后,我们采用归纳式主题分析方法[15]。我们使用ATLAS.ti,一款流行的定性数据分析软件。首先,作者共同对三个访谈进行开放编码,以建立开放编码的共同标准。然后,我们异步地对剩余访谈进行开放编码。最终我们得到了1524个编码,例如"P05 - LLMs没有来源"。
之后,作者根据编码的相似性和相关性在Miro中共同对编码进行分组。主题和子类别通过这一迭代过程逐渐浮现,作者讨论了主题和子类别的名称并达成一致。例如,上述编码被归入"没有来源"子类别下,属于"违反维基百科政策"主题。
4 结果
我们的结果揭示了维基百科编辑者如何利用和交互生成式AI(见表2的LLMs使用案例)。我们识别出LLM使用影响的三个知识生产方面:收集知识以贡献到维基百科,使这些知识符合维基百科的规范和政策,以及同伴对使用LLMs的编辑者的反应。在这些维度上,编辑者的体验因他们在维基百科的专业水平而显著不同。
表2 参与者报告的LLMs使用案例。生成与修改之间的区别在于在交互前内容是否已经存在。在生成中,LLMs用于从头创建新文本。在修改中,编辑者输入现有内容以获取反馈或改进建议。校对包括语法改善、重复词汇或较长描述的改写建议、头脑风暴替代表达。阴影部分旨在提高可读性。
4.1 RQ1: 收集和贡献知识
我们对RQ1的发现表明,编辑者的专业水平与内容贡献中LLMs使用模式相关联。对于有经验的编辑者,LLMs扩展认知能力,使探索新主题成为可能并提高置信度和质量。相比之下,新手编辑者经常依赖LLMs来填补知识空白,因为LLMs降低了进入壁垒并提供了指导感。
4.1.1 有经验的编辑者探索新主题和任务
LLMs有能力引导编辑者走向他们原本不会考虑的内容,通过提供有用的背景信息而不需要编辑者主动努力。P05分享道:"我用AI创建的文章,我可能自己不会创建它们。"这在可用资源有限时尤其如此。P08在为补充图表编写代码以提高文章质量时,不知道有谁能向他咨询来解决他的R代码问题,尤其是修复错误可能需要很长时间。LLMs充当了支持性导师,正如他所反思的:"[ChatGPT]基本上是除了[能提供帮助的人]之外最接近的东西。它提出了我原本不会考虑的不同包...[LLM]肯定引导我注意了我独自永远想不到的东西。"
通过这种方式,LLMs使他能够从事他原本不会独自尝试的任务。P03分享了一个类似的故事。当他深入研究水果和蔬菜时,LLMs建议了一个他完全不知道的新章节:"[ChatGPT]建议了一个我甚至不知道特定蔬菜已经被杂交的章节——这种蔬菜与另一种蔬菜杂交产生的东西不在文章中...我查阅以确保信息事实正确,然后把它加进去了。"
对于P03,除了他通常在商业文章方面的贡献外,他还探索了新主题。LLMs引入新知识和之前被忽视知识的能力增强了编辑者的创造力,鼓励他们超越通常的领域,最重要的是,在维基百科中添加这些知识。
4.1.2 有经验的编辑者接触到新视角
除了帮助编辑者超越其典型领域外,LLMs通过引入意想不到的和有洞察力的视角扩展了认知能力。
P08回忆道,大语言模型支持他以不同的方式反思自己的文本,例如,通过提示他的文本中有趣的地方:"我向大语言模型寻求灵感……'我写的这一大段文字中有什么有趣的地方?'老实说,我花了48小时盯着电脑屏幕写这篇文章。我快被这篇文章给烦死了。"大语言模型还可以充当模拟的普通读者,提供多元的视角,编辑们认为这对审核内容很有帮助。P09指出:"我经常向大语言模型提问……当我想要多元意见的时候。你想知道普通读者会怎么想。"
**4.1.3 经验丰富的编辑在陌生领域更加自信**
这种认知支持反过来增加了经验丰富的编辑的信心和满意度,即使在他们对领域不够熟悉的情况下也是如此。P03觉得自己在编辑医学和法律等复杂主题时更有能力:"如果我不理解,我可以消化信息……并通过大语言模型为我自己简化。"P04将大语言模型视为额外的验证机制:"大语言模型是一个很好的额外过滤器,可以确保你没有忽略什么或者犯错误。"P08回忆说,没有大语言模型时编辑需要无尽的迭代,因为他会"写、写、试着理解",尤其是当他卡住的时候。大语言模型的存在帮助他更快地对自己的工作感到满意,甚至改善了他的睡眠:"它让我对自己之前写的东西感到满意……从而让我能早点上床睡觉。"
**4.1.4 大语言模型降低了新手编辑的入门门槛**
新手编辑本人也经常表示,大语言模型鼓励他们编辑维基百科。例如,P14描述了他所在地区信息获取方面的挑战,以及大语言模型如何帮助他完成否则需要几天的研究:"大语言模型鼓励我参与维基百科……我必须去图书馆查找信息……我必须支付交通费和很多其他费用……在去图书馆之前,我会先在网上查询AI,了解更多关于这个主题的信息。"(P14)P01发现使用大语言模型校对使编辑变得更加容易,特别是考虑到英语不是他的母语:"英语不是我的母语……我不得不在ChatGPT上校对。"更有经验的编辑也同意大语言模型降低了入门门槛,正如P12、P09、P04和P05所指出的,大语言模型"提高了新贡献者的能力,因为它消除了一些障碍"(P12)。
**4.1.5 新手编辑依赖大语言模型填补知识空白**
由于大语言模型能够降低技术和语言障碍,新来者往往依赖大语言模型来填补他们的知识空白,通常是在生成和搜索内容方面。编辑们观察到新来者可能会使用大语言模型生成内容。P04观察到许多新来者正在使用大语言模型起草文章:"扩张明显增加……他们中的绝大多数只是写一个提示词,比如,嘿,ChatGPT,你能写一篇关于这个主题的维基百科文章吗?"新来者也利用大语言模型搜索有关主题知识和具体维基百科知识的信息。例如,P10分享道,为了确保高质量的贡献,他"使用大语言模型作为我的研究平台,以便更多地了解我想要找的东西。"P01强调他使用ChatGPT来"增加我对相关主题的知识。"他将大语言模型描述为一位可以向其学习的明智导师:"我把这些信息整合到我的思考中,就像与一位明智的人交谈。我没有奢侈可以与身边的超级知识分子交谈……我弥补了知识的差距。"(P01)同样,P14将大语言模型视为他的"学校",特别指出大语言模型让他能够"在家了解更多关于任何事情的信息。"他通过分享一个例子来证明这一点:他决定在英语维基百科上创建一篇文章,并向大语言模型提问"我该怎么开始做这件事?"然后了解到文章需要"引用、知名度和其他东西。"这样一来,大语言模型可以成为新来者的向导。P15认为:"我需要一个向导……如果有任何东西能指导我创作更好的内容。"
**4.2 RQ2:与社区规范的契合**
为了回答RQ2,我们的研究发现,编辑们依赖核心内容政策和指南来导航关于大语言模型使用的模糊规范。他们认识到大语言模型可能会违反这些标准,这表明大语言模型的使用是置于维基百科编辑生态系统之内的。经验丰富的编辑描述了三种做出编辑判断的策略:评估、验证和修改。因此,大语言模型给新手编辑带来了挑战,因为他们尚未培养出做出复杂判断和符合社区标准的能力。
**4.2.1 大语言模型未能与维基百科核心内容政策保持一致**
参与者们一致从违反维基百科核心政策的角度描述大语言模型的局限性,正如P02总结的:"大语言模型的输出有很多缺陷,经常违反维基百科政策。"最常提到的问题与中立观点(NPOV)[82]、可验证性[86]和禁止原创研究(NOR)[83]有关。
中立观点(NPOV)[82]定义为"公正且成比例地呈现关于某个主题的所有重要观点,不带编辑偏见。"大语言模型经常产生违反NPOV的语言,因为语气过于正面或带有推广色彩。P05注意到大语言模型倾向于使用诸如"这是最好的之一"或"有那么多可能性"之类的短语,除非有可靠的引用支持,否则这些是不被鼓励的。他补充说,这样的内容通常包含"自我吹嘘的孔雀式用语",尤其是在要求大语言模型从头写点什么的时候。P07同意P05的观点,因为他观察到大语言模型可能使用维基百科中不常见的英语表达。这与先前的研究[3]一致,该研究发现大语言模型在检测和生成符合中立观点的内容方面能力有限,无法像社区专家那样做到。
可验证性[86]是指一项声明能够被证明为真或假的能力,通常通过来源的存在或可获取性来实现。当大语言模型引用不可靠的来源或编造来源时,这一点就会受到损害。P07批评了一个名为Perplexity的大语言模型。有时它"不给任何来源",而有时它给出的来源不符合维基百科的标准,因为它们是"不可靠的垃圾商业网站,不是为了提供正确或经过验证的信息而制作的,而只是为了收集点击量和展示广告。"
大语言模型容易产生幻觉,尤其是对于晦涩的内容。这违反了禁止原创研究(NOR)[83]的规定,该规定禁止找不到可靠或已发表来源支持的原创研究。更重要的是,大语言模型产生幻觉的倾向与知识完整性的核心价值观相矛盾。P04特别指出,大语言模型生成的内容"不一定准确",因为大语言模型"会产生幻觉并编造来源。"P02和P03也提到了幻觉问题,P02解释说"当模型编造不存在的事实并编造不存在的参考文献来支持声明时。"P08特别分享了大语言模型在处理不常见的编程语言方面的困难,指出它们在Python或R之外的语言表现有限。
**4.2.2 经验丰富的编辑做出编辑判断的策略**
为了应对大语言模型可能违反政策和指南的风险,参与者们强调了自己作为守门人的责任。P03强调:"即使你有所有的工具可用,你仍然是最后一个决定是否应该收录内容的人。"在实践中,编辑们在处理大语言模型生成的内容时使用了三种关键策略:评估、验证和修改。
评估涉及判断大语言模型的建议是否提高了内容的可读性和连贯性。P08将其概括为"对大语言模型的内容是否有意义做出判断"。P02培养了一种做法,即"评估任何建议是否会改进写作"。P09从一致性的角度评估质量,因为他"重新生成了答案以查看是否一致,[并]比较了多个聊天机器人的答案"。
虽然评估确保了可读性和连贯性,但验证检查内容的事实准确性和可靠性。P09和P04都强调了"验证所有内容都有意义并有来源支持"(P09)。P07指出必须"逐字检查大语言模型写的每个词,因为可验证性的原因"。他提到了验证的具体策略:向朋友提出问题,以及通过网络搜索交叉引用术语或短语。
此外,参与者们在将输出整合到维基百科之前进行了密集修改,以符合维基百科的语气和风格。P16注意到大语言模型总体上更倾向于正面表述,并将修改描述为中和文本的语气。P07在发布前会"大力编辑"输出内容。P03、P04和P05会修改文本以更好地适应语境,例如"维基百科格式"(P04)、链接以及修复维基文本中的错别字,因为"ChatGPT可能会错误翻译维基链接或参考文献,所以我必须更新和更改它们"(P05)。
**4.2.3 新来者作为守门人?**
作为大语言模型生成内容的守门人需要专业知识和维基知识,特别是关于维基百科规范和标准方面的知识。然而,新编辑尚未培养出这些技能。例如,新来者意识到他们不知道所有的指南和原则,正如P01指出的:"我的技能还在发展中。我是维基百科的新人,所以我可能不知道所有的指南和原则。"P03是一位经验丰富的编辑,他谈到了自己在与大语言模型互动时如何做出决策:"我是最终决定者,我凭直觉知道什么应该收录在维基百科上。"他还指出,有多年贡献经验的编辑会有专业能力来判断材料是否应该收录在维基百科中。然后他对比了不同经验水平的编辑:"我现在有20年的编辑经验。所以,这个工具对我来说更多是一种增强,因为我能快速知道什么是允许的,什么是不允许的。我可以接受或拒绝建议的编辑……[但是]新用户会直接接受、接受、接受编辑。"P02提到"经验不足的编辑往往缺乏评估输出是否适当的能力……当经验不足的编辑不了解大语言模型的局限性而依赖它们做出贡献而不进行批判性审查时,这会引发问题。"这表明新来者缺乏批判性评估和审查大语言模型生成内容的能力,并且可能过度依赖大语言模型的输出,这导致了生产高质量内容的挑战。P15作为新来者自己分享的一个例子很好地说明了这一点:"我试图从中获得好的内容,但它也包含了很多不需要的东西。因为我还在学习,我对内容并不那么清楚,我应该过滤掉什么。有时候即使我读了好几遍,我也不知道是否需要它,或者内容是否好,这个特定的解释是否有用。然后在这位编辑指出之后,我意识到那并不是[维基百科]想要的。"(P15)
**4.3 RQ3:社区反应**
我们的结果显示,维基百科社区其他成员对新手编辑和经验丰富的编辑做出的大语言模型辅助编辑有不同的反应。其他编辑赞扬并接受经验丰富的编辑的大语言模型辅助贡献,却叫停并拒绝新手做出的贡献。大语言模型的使用成为了社区成员的新评估启发法,因为警惕的社区成员会将低质量内容视为"AI自动化"并拒绝该内容。
**4.3.1 其他社区成员对经验丰富的编辑表示认可**
经验丰富的编辑经常收到正面反馈。P16分享说,有一位编辑赞扬他为该编辑写的一个部分做了编辑校对,说"比他以前看到的任何版本都要好"。他在访谈中澄清说:"那是ChatGPT做的。"P04也分享了基于大语言模型的编辑广受好评:"它们并没有与我的非大语言模型编辑受到不同的对待。"P07也注意到没人注意到或发现他使用了大语言模型,因为他进行了大量的后期编辑。
**4.3.2 其他社区成员对新手表示拒绝**
相比之下,新手编辑面临更多的审查,因为其他编辑很容易检测到他们的编辑结果来自大语言模型的使用。例如,P01被告知他的贡献是"机器生成的",P10则因制作"带有推广性质和论文风格的文章"而受到批评。P15分享说,另一位编辑迅速发现了他的ChatGPT使用情况,这促使他删除了所有大语言模型生成的内容。
**4.3.3 将感知的LLM使用视为社区审查中的评估信号**
感知的LLM使用迹象成为了社区评估的一部分,特别是在贡献被视为低质量或与规范不一致时。
多位新加入的参与者表示,他们的草稿很快就被标记为"AI生成"并被拒绝;有趣的是,大多数情况下拒绝理由并未提及具体内容问题或违规行为。P11回忆说,在他将文章作为草稿发布后,他"收到了社区中某人的信息说:'哦,这看起来像是你用LLM创作的,我们不想要那种内容。'"P05注意到一些编辑"将低质量内容与AI联系起来",而那些被认为涉及LLM的内容"被很快删除了"。这些描述表明,明显的LLM使用本身就被视为编辑质量低的信号。
并非所有LLM辅助的编辑都本质上质量低下;也就是说,对LLM使用的担忧超出了明显存在问题的贡献范围。P09提出了一个观察,即编辑们攻击好的编辑,因为它们被感知为LLM生成的:"我曾经看到过恶意的评论……其他人严厉地批评了[这篇文章]因为是AI生成的。"换言之,社区不仅关注编辑的实际质量,还关注其制作方式。感知到的LLM使用会破坏信任:它表明编辑可能没有理解他们的编辑并验证内容。正如P04所指出的:"这太模糊了……人们可能认为[LLM辅助]意味着你从LLM提示词中复制粘贴文本,而没有进行任何审查或理解。"这有助于阐明为什么"明显"的AI编辑会受到怀疑和拒绝。另一方面,经验丰富的编辑知道如何编辑他们用LLM生成的任何内容,以去除明显的"AI痕迹",这解释了为什么他们的AI辅助编辑会被接受。
5 讨论
5.1 参与悖论
我们的发现揭示了一个参与悖论:虽然LLMs降低了新加入者的进入门槛,但这可能导致这些编辑者因不熟悉社区规范而产生低质量内容;更简单地说,如果他们不知道如何编辑LLM辅助的内容以去除"AI生成"标记,即使可接受的编辑也会遭到社区拒绝。此外,由于明显的AI内容标记被视为可疑,即使是潜在可接受的编辑也会收到负面反馈,从而加剧了新人面临的挑战。
我们使用合法边缘参与(LPP)的视角来解释这一悖论,该视角基于这样的洞见:成为一个社区真正的参与者涉及一个社会学习过程,包括指导与反馈、知识传递和合法性构建。
5.1.1 指导与反馈
LPP理论认为,新人通过与经验丰富的社区成员互动并接收迭代性和情境化的反馈来获得能力。在维基百科的背景下,这个过程通常遵循一条渐进路径:新人可能从边缘任务开始,如修正拼写错误或格式化模板,然后转向更难、更核心的任务,如对文章进行大量编辑甚至创建新文章。新编辑可以在讨论页讨论或编辑摘要中获得反馈,帮助他们了解维基百科的政策、规范和实践。
我们的发现表明,维基百科中的LLM使用可能以两种方式重塑这一学习路径:1)跳过边缘任务,2)减少从建设性反馈中学习的机会。
首先,LLMs可能通过使新人能够立即生成传统上需要逐步学习和指导的内容而绕过早期指导。几位新人描述使用LLMs起草或创建文章;换句话说,他们迅速进入维基百科核心任务,缩短了进行小编辑并从经验丰富的编辑那里获得反馈和指导的过程。因此,虽然使用LLMs使编辑变得容易,但这些编辑跳过了制作可接受编辑所需的步骤。
其次,LLM的使用似乎改变了新人收到的编辑反馈的性质。我们的发现表明,被视为AI生成的编辑更可能吸引针对LLM使用本身的标记、批评或删除,而不是针对内容质量或特定政策违规的反馈。这意味着新人不太可能得到关于维基百科政策和规范的说明,如可验证性和中立性,以及关于如何制作可接受编辑的建设性指导。因此,新人的编辑——即使不可接受——本应成为学习机会,却引发了直接拒绝。
5.1.2 知识传递
LPP描述新人不仅通过贡献和接受指导与反馈来发展能力,还通过观察经验丰富的成员如何开展工作、做出判断并将行动与社区规范对齐来发展能力。在维基百科中,这包括观察经验丰富的编辑如何在讨论页和编辑历史中进行辩论、协商、纠正错误并回应他人。这种情境知识通过接触这些实践瞬间而传递。
我们的发现表明,LLMs的引入可能中断了这一知识传递过程,因为新人无法看到专家的LLM实践。在我们的采访中,经验丰富的编辑描述了在处理LLM生成内容时进行的大量评估、验证和修改工作。然而,这些审议过程对新人通常是不可见的——专家编辑不会"宣传"他们使用过AI的事实,也不会展示他们如何用它来制作可接受的编辑。新人可以看到符合政策的贡献是什么样子,但看不到经验丰富的编辑是如何达到这个状态的。这减少了合法边缘参与过程中至关重要的观察学习机会。
5.1.3 合法性构建
在LPP中,合法性通过互动社会性地构建。当新人的贡献被解读为善意努力时,他们赢得信任,即使这些贡献不完整或不完美的。在维基百科中,经验丰富的社区成员区分学习性错误和破坏性破坏。我们的结果表明,LLMs的引入使这一过程复杂化,因为它模糊了支持合法性构建的社会信号。
具体而言,LLM的使用扰乱了社区成员如何解读错误和评估贡献者意图的方式。传统上,低质量内容通过两种框架之一进行评估:新人的善意学习性错误,可以通过建设性反馈解决,或者需要删除的破坏性破坏。然而,我们的发现表明,怀疑涉及LLMs的编辑引入了第三种模糊的解读类别。社区成员不仅基于内容质量评估此类编辑,还基于他们感知到的来源进行评估——明显的LLM使用成为不合法性的信号,降低了对编辑和编辑者的信任。
我们推测这种模糊性产生的原因是LLMs将努力和意图纠缠在一起:AI辅助的编辑模糊了编辑者投入了多少工作、理解或判断,使得社区成员难以推断错误反映的是善意的学习尝试还是更严重的问题。因此,当新人使用LLMs时,他们的意图变得难以解读,削弱了在早期参与中支持合法性构建的一个关键社会信号。
5.1.4 总结
通过合法边缘参与的视角来看待我们的结果,揭示了维基百科中使用LLMs如何影响维基百科中的参与和学习。新人可能面临减少建设性反馈和通过观察专家学习的机会,他们对LLMs的使用可能将其努力标记为不合法,而不是善意的学习尝试。
5.2 设计启示
我们结果的关键洞察是LLMs赋予编辑能力,但破坏了学习和合法性。这种紧张关系可能会持续存在,即使LLMs的能力迅速提高。因此,我们认为LLMs应该被明确设计为支持人类维基百科编辑,而不是自动化编辑任务。人类编辑必须保留判断和验证的责任;他们必须能够"完成工作"以确保编辑符合维基百科的政策和规范,以便他们能够"展示工作"。在本节中,我们概述了三种设计启示,以平衡LLMs在在线知识社区中的采用潜力和挑战。
5.2.1 恢复和加强指导
LLMs可以作为过程中的促进者来支持指导,在编辑过程中引导新人并在内容提交到维基百科之前提示反思。LLMs不是立即生成文章文本,而是通过将复杂任务分解为逐步的步骤来搭建参与支架,并提示编辑者积极参与关键知识实践。例如,当新人要求LLM生成维基百科文章时,系统可以转而引导编辑者识别相关来源,总结来自这些来源的主张,并通过提问如"对于这个主题,你会考虑哪些来源?"来结构化文章。这将LLM从作者转变为促进者,保留了通过实践学习的机会。
同时,LLMs可以整合基于社区规范的反思性反馈。通过从经验丰富编辑的角度提出问题(例如,"这个主张满足可验证性要求吗?"),LLM可以鼓励新人在发布前暂停并反思政策一致性。这两种方法都将依赖于基于维基百科政策和反思性问题的提示工程和检索增强生成,这在技术上是可行的,并且与现有的社区规范一致,无需更改维基百科或LLM基础设施。
5.2.2 支持透明的知识传递
我们建议为经验丰富的编辑提供一种"展示我的工作"模式。基于LLM的系统可以记录编辑者在内容创建过程中做出的提示、修改和编辑后决定。编辑者可以选择在讨论页发布这些文档,使其他编辑——尤其是新人——能够观察来源、政策和判断是如何整合到最终输出中的。虽然这个功能需要围绕隐私和同意进行精心设计,但它在技术上是可行的,特别是考虑到代理型LLMs能够利用丰富的交互历史来支持复杂的多步骤推理和文档记录。
5.2.3 重建合法性路径
支持新人的另一个步骤是使其善意努力,包括合理LLMs的使用,更加可见。例如,编辑者可以为其LLM辅助的草稿添加特定意图标签(例如,"搜索来源"、"编辑润色")。这些标签基于我们研究中的实证用例(见表2),可以指示编辑状态和编辑者意图,帮助维基百科社区识别善意努力。
除了披露外,社区可以逐渐将评估转向内容质量和政策遵守,而不是内容来源。审核工具可以显示如引用完整性、中立性和来源质量等指标,与披露标签并列。作为补充,社区可以策划结构化反馈模板,使经验丰富的编辑能够提供一致、基于政策的指导,同时减少认知负担。这两种设计都不需要LLMs本身,而是模板支持和社区共识,使它们在现有的维基百科治理结构内可实现。
5.2.4 总结
我们提出了未来知识生产社区中基于LLM的助手的三种设计启示。这些启示与维基媒体基金会关于编辑AI工具的策略一致,特别是在帮助新人理解政策和为其编辑提供反馈方面。我们的启示尊重和基于合法边缘参与(LPP)描述的传统学习路径。因此,我们建议设计助手来指导新人通过指导、知识传递和合法性构建。然而,我们的结果暗示了一种现实,即新人继续使用现成LLMs绕过边缘任务并立即开始尝试重要编辑。这提出了一个问题:如果这种情况发生,社区和研究人员应该如何应对?需要未来研究来探索这个问题。
5.3 局限性与未来工作
我们的研究提供了对维基百科编辑如何与LLMs互动的深入、理论指导的理解。我们呈现了关于互动模式、紧张关系和社区动态的实证发现。然而,我们承认有几个局限性。
首先,虽然我们的定性方法使我们能够理解细微的编辑体验和感知,但它没有量化观察到的现象的普遍性或估计LLM相关影响的大小。我们的分析并不旨在进行统计概括;相反,它识别了反复出现的用例、互动模式和参与机制,可以为后续定量研究提供参考。例如,未来研究可以基于我们的用例(见表2的LLM用例)设计调查或大规模数据分析,以评估LLM使用的普遍性和分布情况,并使用我们的实证发现和解释视角(例如,参与悖论)来指导系统设计并解释定量结果。
第二,我们的招募方法反映了我们关注在编辑过程中使用LLMs的编辑,这符合我们调查用户实际体验的目标。
然而,由于我们的参与者是自愿报名的,这可能导致了选择偏差,偏向那些贡献动机更强、对技术采用好奇心和信心水平更高的编辑。最重要的是,研究可能遗漏了那些有意选择不参与大语言模型的编辑。未来的研究应纳入持抵制态度和脱离参与的编辑,尤其是那些最初选择使用大语言模型但后来停止使用的编辑。第三,我们的研究聚焦于英文维基百科,所有参与者主要贡献的是英文条目。我们选择这一范围,部分原因在于在我们研究进行期间,大语言模型的应用在英文领域最为普遍。因此,我们的研究结果可能无法直接适用于非英文维基百科社区,在这些社区中,大语言模型的可用性、能力、参与规范和动态可能有所不同。此外,我们关于大语言模型在翻译中使用的研究结果可能启发未来从多语言视角考察大语言模型辅助编辑的工作。另外,虽然我们报告了标准的人口统计信息(例如种族),但我们没有系统地收集参与者的母语或地理区域信息。这限制了我们考察语言能力或文化如何影响编辑使用大语言模型体验的能力。未来的研究应明确考虑这些维度。
## 6 结论
为弥合对生成式AI采用如何影响知识贡献者在实践社区中参与行为的理解缺口,我们招募了16位在其编辑过程中使用过大语言模型的维基百科编辑。通过半结构化访谈,我们考察了编辑如何感知、采用并与大语言模型互动。我们的研究结果揭示,大语言模型的采用在新手编辑与资深编辑之间造成了参与鸿沟,表现为在知识获取与贡献、规范认同以及最重要的是来自更广泛社区的社会回应方面的差异。对于新手编辑,我们识别出一个"参与悖论":大语言模型在降低参与门槛的同时,却削弱了学习轨迹。相比之下,资深编辑具备利用大语言模型获益并增强自身参与的知识能力,他们通过探索新主题、理解多元视角以及在陌生领域建立信心来实现这一目标。这些不对称的结果表明,大语言模型可能加剧已有的参与不平等,呼应了先前研究中观察到的"强者愈强"动态[29]。除参与动态之外,我们的研究结果也引发了对维基百科上使用大语言模型生成内容的更广泛担忧。例如,编辑们由于大语言模型的幻觉问题、验证困难以及多样性丧失,对大语言模型生成的内容表达了怀疑态度。综合而言,我们的结果表明,评估维基百科上适当使用大语言模型的标准不应仅限于效率或数量。相反,设计者和社区必须考虑如何通过恢复脚手架式的导师辅导、支持透明的知识传递以及重建合法的参与路径,来促进学习、信任和参与。我们的研究证明了用户体验研究对于塑造实践社区中公平的人工智能整合的重要性,并突出了未来设计AI工具的机会——这些工具不仅支持内容生产,还能促进社区参与和协作。