迭代式网络民族志与事件研究方法在快速研究中的应用——以TikTok为例
《Proceedings of the ACM on Human-Computer Interaction》:Iterative Netnography and Occurrence for Rapid Research: A Case Study of TikTok
【字体:
大
中
小
】
时间:2026年10月24日
来源:Proceedings of the ACM on Human-Computer Interaction
编辑推荐:
摘要AI总结:要查看此AI生成的摘要,您必须具有高级访问权限。了解更多信息并登录。
随着社交媒体变得越来越可视化、个性化以及通过算法进行 curating(精选内容),我们需要新的方法来理解内容如何在不同社区中出现。现有的基于API和以文本为中心的方法忽略了用户的实际体验和情境
摘要AI总结:要查看此AI生成的摘要,您必须具有高级访问权限。了解更多信息并登录。
随着社交媒体变得越来越可视化、个性化以及通过算法进行 curating(精选内容),我们需要新的方法来理解内容如何在不同社区中出现。现有的基于API和以文本为中心的方法忽略了用户的实际体验和情境——特别是在诸如短视频流这样的环境中。本文介绍了“迭代网络民族志”(iterative netnography),这是一种沉浸式的、基于团队的方法论,该方法论是在2024年美国总统选举前夕针对选举谣言的快速响应研究项目中开发的。在Kozinets的网络民族志基础上,该方法引入了系统化的、迭代的工作流程,以实时研究各种社区原型中的算法推荐内容。本文详细介绍了这种原型协议的开发过程,讨论了其最佳实践所提供的见解类型,并将其与使用社会技术堆栈框架的基于API的方法进行了对比。它引入了“发生”(occurrence)这一概念:这是一个用于定性社交媒体研究的敏感化概念,强调研究内容在用户实时、动态和高风险情境中的出现方式。最后,本文提倡建立协作式、可持续的、由社区驱动的网络基础设施,以支持此类工作——确保社交媒体研究能够在平台限制和社会政治压力不断增加的情况下保持灵活性。
AI生成摘要(实验性):该摘要是使用自动化工具生成的,并非由文章作者撰写或审核的。它旨在帮助发现、帮助读者评估相关性,并协助来自相关研究领域的读者理解该工作。它旨在补充作者提供的摘要,后者仍然是文章的主要总结。完整文章才是权威版本。点击此处了解有关此摘要的准确性、清晰度和有用性的意见。这样做将有助于改进和未来重新生成的版本。要查看此AI生成的简洁语言摘要,您必须具有高级访问权限。
介绍:在2024年具有历史意义的美国总统选举期间,我们和其他全国各地的研究团队继续了多年来的工作,研究关于选举诚信的在线谣言或未经验证的声明。在唐纳德·特朗普2020年输给乔·拜登之后,特朗普及其盟友 influencer 以及自称关注选举诚信的组织宣扬选举被窃取的说法[130]。在随后的几年里,这些参与者投资于政治、法律和社交媒体基础设施,以放大这一说法,鼓励公众对此进行讨论,并挑战未来的选举结果[163, 168]。与此同时,社交媒体格局发生了变化。埃隆·马斯克在2022年收购了Twitter(现称X),削减了信任与安全运营,并利用该平台推进他的政治议程,包括公开支持特朗普[77, 107]。与此同时,TikTok(一款由中国公司拥有的短视频应用程序)迅速增长,在用户数量和参与度上超过了X[125]。政治团体越来越多地在TikTok上开展活动,通过创作者和扩播账户传播信息[64, 99]。与此同时,美国政府试图禁止或强制出售TikTok,将这一平台视为国家安全威胁或政治激进化的工具,这在创作者中引发了明显的政治化[90, 132]。与以往主要关注基于文本的平台(如X)的选举监控工作不同,TikTok需要一种新的研究方法。我们的2024年研究旨在监测和分析从2020年延续下来的谣言和策略在多个平台上的传播情况[160]。这项研究采用了“快速响应研究”方法,借鉴了危机信息学和谣言的社会研究[48, 120, 122, 151],在近乎实时的情况下收集、分析并公开传播发现结果——通常在一周内完成,远远快于传统的学术出版周期。从2024年7月到12月,我们监测了X、Telegram(另一种技术平台)和TikTok等平台上的选举讨论。我们之前几年选举中使用的基于关键词的监控协议在文本驱动的网站上效果良好,但在TikTok上无效。TikTok上的视频内容是通过高度个性化的算法推荐流(TikTok的“For You”页面[154])呈现的,而不是通过热门标签和话题。政治信息通常以隐秘的方式出现在TikTok的视听内容中([39]),包括美学、幽默和亚文化引用——这使得通过文本查询难以发现这些内容。为了适应这种情况,我们开发了一种迭代的“网络民族志”(受Kozinets[83]启发)协议,让团队能够实时协作监控TikTok。我们没有搜索关键词,而是专注于在可能产生或成为选举谣言内容的社区内发现显著内容。考虑到时间作为一个变量的重要性,我们旨在模拟内容在这些社区中的用户实际出现的时间和方式。这要求我们构建针对我们想要研究的社区的“原型流”,在其中植入从先前研究中识别出的创作者,并与相关内容互动。我们开发了协作式、迭代的工作流程,帮助研究团队每周发现、解释和记录新出现的谣言和叙事。团队每周制作的视频收集和备忘录支持实时分析,有助于将谣言置于更广泛的文化讨论中,并随时间构建代表每个原型流的更大数据集。我们的方法使我们能够发现新兴的选举谣言,监测它们在TikTok和其他平台上的传播情况。这种方法并不试图逆向engineer(重新设计)TikTok的算法,也不声称能够捕捉应用程序内所有体验的多样性。研究对象是谣言本身,而不是社区本身。因此,原型流并不是描述这些社区的完美代理。相反,我们提供了一种实时的、可操作的研究方法——这是对传统网络民族志的创新——旨在研究在具有公共重要性的事件(例如选举、飓风、冲突等)期间算法推荐的内容(不一定是通过关键词查询呈现的)。我们的方法特别适合处理短视频(SFV)和视觉化的、由算法驱动的环境所带来的独特挑战,同时也为研究大规模的算法精选内容提供了重要见解。在整个研究过程中,我们解决了两个关键研究问题:
- 我们如何建立系统化的、迭代的方法论工作流程,以便在实时、协作的研究团队中定性研究视觉化、由算法驱动的流中的话语?
- 这些方法如何支持关于在高不确定性事件(如选举)期间,典型社区中话语、谣言和美学线索的发生时间、方式等的协作式和社区化的数据收集?
在回答这些问题时,我们提供了:
- 一种在算法驱动的环境(特别是SFV)中开展基于团队的网络民族志方法的工作流程和最佳实践,以捕捉新兴的谣言、叙事和主题;
- 一种从实时事件的迭代观察中构建丰富实证数据集、见解和网络基础设施的框架;
- “发生”(occurrence)——这一概念用于理解在算法精选的数字空间中内容是如何被体验的,特别是那些不以文本为中心的空间。
尽管我们的广泛研究目标并不是对特定社区进行民族志研究(通常理解为对文化的沉浸式研究),但我们采用了民族志研究方法来指导我们更广泛的协议,重点关注新兴的谣言。在社交媒体研究面临来自平台、政治和制度压力的日益增加的约束时,我们的方法支持协作式调查和共享数据基础设施[117, 149]。我们希望这篇出版物能为研究SFV和其他算法驱动环境的学术和实践团队提供实用指南。
本文的结构如下:
§2 提供了我们案例研究和更广泛项目的背景。
§3 将我们的工作与研究多媒体数字环境的相关方法联系起来。
§4 介绍并记录了我们的方法论框架,对Kozinets的网络民族志[83]进行了调整。
§5 详细介绍了伦理考虑和研究者的定位。
§6 使用Qiwei等人的社会技术堆栈[134],将我们的方法与基于API的方法进行了比较。
§7 详细介绍了“发生”这一概念在社交媒体研究中的意义,并扩展了Ribes和Lee关于社会技术网络基础设施的工作[93, 139]。
§8 结论部分提出了未来工作的意义、局限性和方向。
案例研究背景、方法概述和团队简介:本文概述了“TikTok网络民族志团队”在2024年美国总统选举前五个月(7月至12月)研究在线跨党派选举话语的方法论工作流程。该团队由八名成员组成:五名本科生研究人员、一名博士生、一名研究科学家和一名研究经理——后两者拥有博士学位。这项工作是华盛顿大学知情公众中心(Center for an Informed Public)更大规模的选举谣言快速响应研究计划的一部分,该计划有全职的沟通支持人员参与,共有21名研究人员参与。本科生研究人员每两小时轮班一次,收集、记录并分析社交媒体平台上的谣言数据。他们的发现随后由研究生领导的“分析”团队审查,这些团队决定哪些谣言应该在快速博客文章中突出展示或与记者和选举官员分享。
参与TikTok网络民族志研究的研究人员根据不同政治和文化光谱的社区创建了原型流,这些社区在之前的选举中被证明与选举谣言有关(见§4.2中的社区选择)。他们使用这些原型流作为切入点,沉浸在内容中,保存相关媒体内容以及虽然超出我们选举诚信谣言研究范围但具有社会重要性的内容,并在每周的备忘录中对其意义和时效性进行阐释。团队每周开会,改进方法并分享在不同原型流中发现的结果,编制内部备忘录和视频集合。备忘录用于为更广泛的研究团队提供信息,以便他们撰写实时分析,同时为相关公共利益相关者和事后学术研究(包括本文)提供依据。研究人员还通过Junkipedia(一个公民社会社交媒体监控工具[2])使用他们的原型流为数据收集做出贡献。在许多方面,这个网络民族志团队充当了第一轮发现和综合层,揭示了可以由其他团队和其他方法进一步分析的新兴叙事、美学和趋势。这篇出版物并没有深入分析收集的数据或整个项目,而是重点介绍了使用的网络民族志方法,但在§4和§6中提供了说明性的实证例子。
相关工作:我们的TikTok网络民族志团队的目标是研究在高风险事件中,相关社区中SFV内容何时、如何以及在哪里出现。为此,我们采用了来自网络民族志和追溯民族志的民族志信息方法。结合从其他研究算法驱动和多模态数字空间的方法中获得的经验,我们将这些民族志方法转化为快速响应框架,以发展“厚重”的[55]定性见解。虽然我们不声称正在进行民族志研究(即对文化的沉浸式研究[86]),但我们在实践中应用了民族志方法。本节的文献回顾反映了我们在构建方法论时的思考演变过程。我们首先回顾了“快速响应”和基于现实的社会媒体研究方法(3.1),以及这些方法中有多少主要是基于文本的——而这些方法在监控SFV时并不适合我们的研究目标。然后,我们研究了研究人员如何研究多媒体数字空间(3.2),包括转向沉浸式方法。接着,我们总结了数字空间中的网络民族志和民族志信息方法,借鉴了追溯民族志和网络民族志在CSCW中的应用(3.3)。从这一点出发,我们阐明了在高风险事件的快速研究项目中研究TikTok等平台时对网络民族志方法的迫切需求,并记录了在社会计算研究中制定和评估此类方法论贡献的文献(3.4)。
3.1 社交媒体的“快速”研究:“快速响应研究”是在事件发生期间进行的实时研究,其根源在于危机信息学、医学研究和社会学[29, 48, 122, 128, 151, 176]。该研究由美国国家科学基金会进行了规范,强调在高风险情况下实时数据收集和分析的紧迫性[113]。危机信息学是由Palen及其同事开创的一个领域,它通过理解人们在危机期间如何集体理解和传播信息(通常是实时或“快速”地)来将快速响应研究引入CSCW,结合计算和定性分析来解释高风险的细微差别[120, 121, 122, 129]。这些方法已被应用于新闻事件的展开过程,例如Starbird等人围绕选举和抗议活动的信息操作——重点关注社区在线上为理解和应对高风险事件所进行的形式和非正式工作[159, 161]。在这一系列研究中,经常使用扎根理论(GT)和协作研究团队的原理[130, 159, 164]。在不预先设定假设的情况下进行数据的迭代采样和解释,尤其是当事件仍在发展时[120],这种方法能够使研究发现从数据中自然产生[30, 61]。我们试图借鉴这种迭代的、“扎根”的实践[30],将持续的、迭代性的记录、数据收集和分析纳入我们的框架中,这一框架是基于一项关于高风险、不断发展的选举的案例研究。
然而,与许多社交媒体研究一样,快速响应研究通常主要关注文本内容[100, 124, 130]。我们的项目试图从TikTok这一视觉平台中获取实时洞察。我们的努力部分源于短视频内容的兴起,以及来自更广泛领域的呼吁,要求优先进行研究视觉内容[70, 124, 184],因为视觉内容在平台上能吸引高参与度[26, 42],并且具有记忆性、可信度和对人类心理的影响[7, 49, 182]。但关于如何严格研究视觉和听觉内容(如“病毒式声音”)以及在事件进行过程中人们是如何体验这些内容的,仍有许多问题。这类内容不容易通过关键词来监控,而且微妙且不断变化的审美可能会掩盖重要的信息[39]。一些研究将视觉数据转化为文本表示,以便于进行大规模分析(例如TikTok的文字记录、从视觉内容管理系统中提取的图像集合摘要)[76],但这可能会丢失塑造实时感知的重要视觉信息[152]。最近关于视觉社交数据的方法学研究表明,这种转化可能会剥夺使视觉内容具有意义的知识属性[98]。这种认识促使我们采用研究人员用于研究算法中介和短暂多媒体空间的沉浸式方法来保持数据的视觉特性。
3.2 研究算法中介和短暂的多媒体空间
研究从算法推送的内容到这些推送中存在的短暂内容的多媒体数字空间,已被证明是社交媒体和其他数字社区(例如游戏)研究中一个困难但重要的挑战。学者们采用了多种方法来应对这一挑战:用户访谈、混合方法研究、实地考察和网络民族志方法[97, 119, 154, 157, 184]。
一种流行的研究算法推送的方法是使用“傀儡账号”审计,其中合成账户会滚动并抓取推荐内容[12, 24, 46]。Ibrahim在2024年美国总统选举期间对TikTok的研究中,部署了323个基于VPN的傀儡账号,并植入党派内容[76]。这产生了数千条带有党派标签的文本记录,这些标签是从推荐给傀儡账号的视频中提取的——量化了推荐的党派分布[76]。这项研究以及其他结合算法审计和基于API的数据收集的方法[46, 127],展示了大规模设计如何能够提供关于平台动态的洞察和数据集。然而,正如boyd和Crawford所指出的[25],这些研究可能会将数据从其社会背景中抽离出来——往往忽略了内容背后的社会过程和纹理。对于多媒体内容来说,由于视觉线索和群体内符号通常蕴含着意义[39, 184],这些方法的文本转换也会去除重要的信息。
为了重新构建数据的背景,研究人员使用了一系列定性和混合方法。这些研究通过访谈直接与用户互动,探索他们对算法的民间认知以及对内容和内容策划的体验和看法[41, 59, 97, 102, 153, 154]。在某些情况下,研究人员使用视觉诱导手段来引发访谈中的反思[59, 97]。尽管这些方法能够重新构建多模态数据的背景,但它们通常是回顾性的,依赖于人们对内容遭遇的记忆。因此,它们可能无法记录用户体验内容时的时间语境。
许多计算方法试图解决数字空间中的时间维度问题,但仍有局限性。“傀儡账号”虽然可扩展且能够捕捉实时数据,但因其缺乏人类浏览的真实感而受到批评[24]。同时,虽然API能够收集比访谈更广泛的数据,但也是回顾性的,会错过实时或已删除的内容,并且依赖于关键词查询。许多研究人员试图通过对小样本进行定性编码来进一步构建数据的背景,以获得更深入的洞察[100, 130, 157, 159, 161]。但这些方法都无法完全捕捉到在不断变化的推送中滚动的实时、个性化体验。
为了更接近这种真实体验,研究人员使用了沉浸式、民族志导向的方法来研究群体内信号和意义的形成,无论是通过短暂的内容(如Instagram故事或Snapchat)[11, 82, 106]还是发布的 content [8, 62]。与我们的快速响应设置相关的是,游戏研究通过实时流媒体的视角,将短暂和实时内容视为社群层面的互动表演[95]。更广泛地说,游戏研究采用了民族志方法来研究玩家共同游戏和构建世界的动态,以及他们与内容和彼此的互动如何形成社群和数字“第三空间”,为通过沉浸式方法长期研究其他数字社区提供了启示[44, 45, 141]。尽管在数字空间中适应了沉浸式民族志方法,但仍存在挑战。例如,目前尚不清楚如何将沉浸式研究应用于快速响应环境,以及这些方法如何支持快速和事后的混合方法分析。我们的工作旨在结合前述文献中的经验,将实时民族志方法应用于快速响应研究。接下来我们将讨论我们的具体灵感来源。
3.3 将协作民族志和网络基础设施引入数字空间
民族志是一种通过观察人类在其自身环境中开展的文化系统研究方法,在CSCW(计算社会文化Watch)领域有着悠久的应用历史,特别是在需要深入数字或物理空间的问题研究中[22, 135, 138]。民族志和方法论为人们如何与技术和彼此互动提供了见解[73, 147],无论是工作场所还是在线社区[108, 178]。随着CSCW的发展,民族志的应用也在扩展,进入了完全数字化的空间,并引发了新的伦理和方法论问题[71],包括观察者效应[144]以及被研究在线社区中的不适感[63, 142]。这些变化引发了关于如何在CSCW中概念化和应用民族志的讨论,从理解协作工作的局限性到将社会科学的理论转化为CSCW受众的语言[150]。尽管如此,该领域仍在继续使用民族志方法,调整框架以解释人类和非人类参与者之间的动态互动、时间以及物理和数字空间[89, 138]。
在我们的案例研究中,我们希望利用民族志方法所提供的沉浸式、“厚描述”分析。为此,我们借鉴了“数字民族志”的更广泛文献:一种专注于将民族志方法应用于数字空间的方法论[62, 174]。研究人员在CSCW和HCI(人机交互[例如[58, 92, 178])、通信(例如[146])、媒体研究(例如[8])等领域的日益使用,“数字民族志”也引发了关于其本质的讨论[38, 53]。我们在本文中并不试图解决这一争论,也不声称自己进行了民族志研究,而是记录我们将民族志方法转化为可操作化的、用于TikTok话语研究的实践。
我们明确基于CSCW中常见的两种民族志方法:Geiger和Ribes定义的“追踪民族志”[58]以及Kozinets定义的“网络民族志”[83]。“追踪民族志”研究通过人类和非人类互动产生的用户生成内容[58]。Geiger和Ribes在2010年对维基百科编辑共同打击页面破坏行为的案例研究中引入了这种方法[57]。这些“痕迹”可以异步观察,在不同的社会世界中通过演员网络理论的视角进行观察[89]。通过跟踪这些痕迹,研究人员可以理解跨时间、在多个社群中的社会技术互动和协作工作,不仅揭示了发生了什么,还揭示了人类和非人类参与者是如何合作的。在此过程中,他们借鉴了Beaulieu的观点,强调通过深入观察痕迹来实现共同存在(而不是实时观察用户)[16, 58]。在我们的研究中,我们优先采用这种方法,侧重于体验内容而非仅仅观察和与用户互动。我们也特别借鉴了“追踪民族志”的“痕迹”方面,尽管我们并不关注演员网络框架,而是从实时观察社会痕迹数据(在我们的案例中是SFV内容)中形成解释。
“网络民族志”是一种定性的、实时的观察方法,它将民族志方法适应于有限的在线环境。该方法归功于市场研究员Robert Kozinets[84]。它起源于20世纪90年代对Usenet等在线论坛的研究,涉及在现场观察数字社区的同时通过访谈和调查进行参与[83]。Kozinets为研究人员提供了明确的步骤,随着时间的推移更新方法以反映新兴平台和在线规范的变化(我们使用的是他的2019年第三版)。这些明确的步骤或“行动”构成了我们方法的基础结构[§4]。与“追踪民族志”不同,“网络民族志”侧重于在线场所的嵌入式和实时观察,我们在方法中重点关注这一方面及其可操作性。
这两种方法经常在CSCW工作中被引用,并且与Lee等人关于网络基础设施的概念相兼容,即科学发现背后的计算基础设施[93]。在我们的案例研究中,人类基础设施是一组观察社交媒体内容发生的时间、方式和内容的 researchers。在2010年的后续研究中,Ribes和Lee呼吁CSCW社区将网络基础设施视为深远的社会技术系统,强调长期、可持续和社交嵌入的基础设施愿景,而不是短期、狭义的技术解决方案[139]。他们在§7.2中提出了七个分析主题,用于理解和参与此类基础设施。我们希望为这些文献做出贡献,迎接方法学创新的挑战,以增强CSCW在数字空间中的研究能力——特别是那些研究重大公共事件的研究。具体来说,我们在一项关于高风险选举期间TikTok的案例研究中,基于Kozinet的网络民族志程序开发了一种方法论,该方法既涉及过程也涉及该方法的产品。我们的目标是将网络民族志方法系统化,用于研究短视频(SFV),在关键事件中进行协作性、沉浸式的迭代研究,并为未来的工作奠定基础。
3.4 社会计算中的方法论创新
在概述HCI(人机交互)中的方法论贡献时,Wobbrock和Kientz强调这类工作应“创造新知识”,并通过“新方法或方法改进的实用性、可重复性、可靠性和有效性”来评估其价值[183]。我们的基于实证的迭代研究方法产生了两种类型的数据——媒体集合和备忘录——来自五种不同的原型推送,以在实证案例研究中生成知识。每种推送本身都可以成为一个独立的案例研究,但我们的方法,特别是生成关注社区间叙事和谣言的研究备忘录,使我们能够跨推送创建比较性见解,从而证明其可重复性和可转移性。
在我们的评估中,我们借鉴了定性研究的有效性标准。如前所述,可转移性和可重复性是定性研究的关键评估标准,与定量研究的一般化和代表性主张相对[35, 54, 66, 155]。我们方法的可转移性通过其可操作性得以实现,允许其在不同的背景和平台上应用。我们记录的、可操作化的协议和备忘录通过记录我们的数据和收集过程提供了透明度,这在验证民族志方法时很常见[9, 140, 172]。备忘录作为一种核心的定性研究活动,用于随时间综合和记录发现结果,并为研究人员提供了实践反思的空间[21, 81, 136]。我们在第5节详细讨论了我们的反思性实践,但记录笔记的方法帮助我们应对了“人类研究工具”[56]这一挑战,这是严格定性研究[35, 66, 81]的要求。记录笔记还有助于数据三角验证,通过跨多个来源、时间和信息流检查数据以提高研究的有效性[68, 166]。这种三角验证也适用于笔记本身,提供了另一种形式的数据来分析内容在特定时间点如何呈现给研究者,从而提高研究的可重复性、实用性和可靠性,因为研究者可以比较不同时间和信息流中相同典型内容的表现。我们的方法可以扩展到同一研究中包含其他平台,并将笔记作为可复制的文档进行分析。此外,我们的记录笔记工作是团队协作完成的,每周进行审查以协调和标准化笔记内容,使其易于其他研究者理解和使用。这扩展了CSCW研究中关于网络和人类基础设施的概念[93, 139],我们将在第7节进一步阐述这一点。最后,我们强调了我们方法的基础性。记录笔记和迭代是我们方法论与扎根理论[30, 61]的基石,我们将两者结合在实证洞察和理论贡献中[30],提供了对内容的“丰富”描述[55],以及内容在特定情境下如何呈现给研究者的过程。我们在第7节提出这一概念作为“敏感化概念”,借鉴了Blumer提出的敏感化概念作为理论工具和指导方向[23],自扎根理论概念提出以来一直被用来指导研究者进行理论饱和度和分析[30, 61]。
我们通过文献对方法进行了评估:可重复性、重复使用和生成新知识([183]),这些都是定性研究验证的属性(即可转移性、反思性、透明度和三角验证[35, 66, 68, 81, 166, 172]),以及它提供的丰富描述[55]和敏感化概念[23],以指导并评估未来的工作。通过这种方式,我们为不断增长的定性CSCSW方法论文献做出了贡献。重要的是,我们并非试图贡献一种新的民族志方法,而是提供一种新颖的工作流程,将民族志和沉浸式方法应用于不同数字、多模态在线空间中多媒体内容的实时和协作分析。
4 方法论开发与部署
图1 显示了我们的工作流程(右侧)与Kozinets的六步网络民族志方法(左侧)的对应关系。右侧使用绿色箭头和浅蓝框表示我们偏离Kozinets的地方。我们展示了迭代性的、基于实地的方法,以及我们的数据收集和扩展项目,旨在推广这种方法以支持其他研究。
一个两部分流程图对比了“Kozinets的六步”和“迭代TikTok网络民族志”。左侧,Kozinets的六步以灰色框垂直排列:1. 启动,2. 调查,3. 沉浸,4. 互动,5. 整合,6. 具现。右侧,迭代TikTok网络民族志以彩色编码的顺序显示,包含迭代循环:1. 动机和研究问题(黄色,一次性操作),2. 种子列表,创建原型(黄色,一次性操作),3. 沉浸式滚动和关注(粉色,每周操作),4. 作为观众互动(粉色,每周操作),5. 团队记录和反思(粉色,每周操作),6. 与更大团队分享(粉色,每周操作)。绿色虚线箭头表示步骤3、4和5之间的迭代循环。旁边的一个框列出了“网络民族志文物”:Junkipedia数据收集、视频集合、笔记、关注列表。图例显示了一次性操作、每周操作和迭代操作的编码。
为了捕捉TikTok算法推送的短视频(SFV)内容的短暂和变化特性,我们采用了一种迭代性的、基于实地的视角,并通过一个操作的、团队协作的流程来开展网络民族志研究。我们基于Kozinets的定义和六个程序性“步骤”[83],并在每个阶段加入了迭代反馈循环,创建新的解释性网络民族志文物(见图1)。
我们的方法从Kozinets的前三个网络民族志步骤开始:启动研究(4.1),确定观察的切入点(我们称之为“典型信息流”)(4.2),并沉浸在平台上收集数据(4.3)。这导致我们开发和迭代互动规则(4.4),并通过个人和团队记录笔记来进行反思(4.5)。我们的方法在第六步“体现”上有所创新,即与更广泛的研究社区分享发现,并为未来的工作构建更大的社区数据集(4.6)。
尽管我们的方法是在TikTok的背景下开发的,但它也可以应用于其他短视频平台,更广泛地说,其他具有无限滚动功能的、算法策划的平台。
4.1 启动:研究的动机和调查
Kozinets将“启动”定义为确定项目方向并开始项目的步骤。在此过程中,研究会通过明确的纳入和排除标准来“界定”要调查的互联网现象或社区。随后,研究需要有一个适合沉浸式定性研究的研究问题。最后,研究还必须考虑机构要求、伦理和规划。
与Kozinets的“启动”步骤一致,我们的研究以2024年选举的时间线为界限。我们的研究问题是:在TikTok上,不同兴趣社区可能会看到哪些选举谣言?因此,我们试图沉浸在政治和社会相关的内容中,通过这些社区来调查谣言。这使我们能够观察实时叙述,而不是进行主题查询。
在这个阶段,我们的机构规划包括建立一个研究团队和获取硬件(一套iPhone),本科研究人员将使用这些设备进行网络民族志研究。我们的规划阶段重点考虑了伦理和安全问题。尽管该项目得到了大学IRB的批准,但仅这一批准并未涵盖我们所有的伦理和安全顾虑[43, 50, 74, 177];在第5节中,我们描述了为解决这些问题而采取的额外措施。
4.2 调查:设置时间线和社区原型
Kozinets网络民族志的“调查”阶段被定义为项目的“定位”[83],即确定研究人员在网络民族志过程中将(和不会)观察的数字空间的确切范围和边界。我们的调查阶段重点是界定内容的范围和时间线,识别与选举相关的社会和政治社区的原型,并设计典型信息流。这些典型信息流是为视听话语设计的观察工具,而不是作为社区的代理。
我们在2024年7月的政党大会后开始网络民族志研究,并在2024年12月选举认证结束时结束[5]。通过沉浸式滚动,我们观察了典型信息流中出现的选举谣言内容。这种沉浸式滚动取代了关键词监控和搜索方法,后者无法提供真实的用户体验,也没有考虑到美学线索。认识到在线空间的半透明和算法特性,我们知道大多数创作者并不总是具有明确的政治倾向,而是嵌入在更广泛的文化和社会背景中。这意味着我们的研究对象——选举内容——会与非政治内容交织在一起,出现在党派和非党派社区中。因此,我们避免依赖直接搜索选举关键词,因为这可能会使算法偏离显著的典型信息流内容。然而,信息流确实偏向于选举内容。为了了解不同社区如何体验选举言论,我们在定义了五个典型社区后,设置了五个信息流:RedTok、BlueTok、SpanishTok、NewsTok和ManTok。
鉴于我们的选举重点,我们从美国党派的“RedTok”和“BlueTok”开始。这些原型基于现有文献[79],并影响了其他三个原型的发展。在这些后续原型中,我们特别关注那些之前因社会和政治相关性而成为选举谣言目标或发起者的非明确政治社区:西班牙语使用者、新闻爱好者以及观看“manosphere”内容的个人。
SpanishTok作为原型是为了深入了解西班牙语社区和言论而设立的,因为它们是一个越来越重要的投票群体[112],也是网络虚假信息的目标[33, 175]。西班牙语社区也被认为占TikTok用户的一个非常大的比例[10],他们在该应用程序上花费的时间超过平均水平,并且经常使用社交媒体(包括TikTok)作为新闻来源[65, 94]。但许多美国人通过社交媒体(特别是TikTok)获取新闻,并将新闻消费视为娱乐[94, 114]。为了捕捉这一线上新闻搜索群体,我们创建了NewsTok,包括传统的新闻媒体、新的媒体品牌和新闻影响者[75],以确定新闻爱好者在选举期间可能消费的内容。
最后,考虑到男性保守派影响者在政治和选举中的重要性[88],特别是在manosphere中[14],我们创建了“ManTok”来监控这一言论。创建这一原型的另一个动机是理解如何针对年轻男性这一关键TikTok受众群体[20]和投票群体[111]的内容。
原型作为研究账户设置,不与真实姓名或面孔相关联。用户名反映了原型特征,头像来自公共互联网资源(例如相关梗图),尽管不直接与社区成员互动(见第4.4节)。我们在第5.4.2.1节详细讨论了披露和账户管理的伦理和安全考虑。
4.2.1 种子列表的创建
我们过程中的一个关键步骤是为每个原型创建一个初始账户种子列表,以确保实时数据收集和更广泛的曝光。这种种子设置针对这些沉浸式调查,而不是模拟用户的关注信息流。
我们使用了来自一项关于X平台上选举虚假信息传播者的研究的同行评审党派对齐列表[79]来初始化BlueTok和RedTok账户。此外,我们还关注了参与拜登2024年创作者峰会[6](BlueTok)和特朗普2019年白宫社交媒体峰会[143]的创作者(BlueTok)。这为BlueTok总共种子了25个账户,而RedTok的种子账户较少。为了进一步补充RedTok,我们添加了CredoIQ的趋势创作者排名[1]中的账户和Turning Point USA推荐的保守派TikTok账户列表[3]。这样,RedTok总共种子了26个账户。由于无法获得统一的manosphere创作者种子列表,我们通过文献回顾和新闻作品,从10篇出版物中识别出39位影响者[28, 32, 36, 40, 47, 72, 101, 118, 123, 156],共种子了28个TikTok账户。我们专注于英语使用的美国manosphere影响者,尽管我们也认识到这是一个跨国和多语言的数字现象。
NewsTok基于两个账户种子列表开发:用于RedTok和BlueTok的新闻和新闻媒体账户列表[79]以及Allsides媒体偏见列表。Allsides是一个媒体素养非营利组织,涵盖了美国政治光谱中的主要新闻频道[4]。这个列表上的所有拥有TikTok账户的媒体都被NewsTok关注。这共种子了69个账户。值得注意的是,我们观察到左倾新闻组织(例如The Atlantic)的账户更有可能拥有TikTok账户,而右倾组织(例如One America News Network)则较少。因此,初始NewsTok信息流可能略偏左。
关于相关的西班牙语种子列表,关于美国政治话语的同行评审工作较少。因此,我们创建了一个有目的的政治相关标签列表,并收集了使用这些标签的前150个美国注册的西班牙语账户。我们手动筛选了这些账户,确认它们是西班牙语内容并且包含政治内容,从而获得了18个SpanishTok的种子账户。
4.3 沉浸:迭代观察会话
沉浸是网络民族志的核心,Kozinets将其定义为“体验、观察、反思和记录”的过程[83]。对我们来说,沉浸过程发生在实验室拥有的iPhone上(4.3.1),并通过每周的滚动观察来完成(4.3.2)。通过审查每位研究人员的每周沉浸式体验并在需要时进行调整,我们收集了最相关的内容及其创作者,将这些内容存储在每周的“集合”中,并记录下为更广泛的研究社区所关注的账户列表,形成一个集体数据库(4.3.3)。Kozinets没有讨论是否应该迭代协议,但我们有意根据原型信息流偏离显著内容的情况调整了我们的观察协议。尽管我们的方法呈现是线性的,但这些迭代实际上贯穿了整个研究过程。
4.3.1 用于滚动的观察设备。每个原型都存储在由同一研究助理管理的专用研究手机上。这些“干净”的手机上没有个人数据,确保算法推荐不会受到研究人员数字足迹的影响,这些数字足迹不一定代表原型特征。此外,我们发现禁用定位服务有助于使内容与对原型的预期更加一致。
4.3.2 滚动和观察协议。对于每个原型,研究人员每周大约滚动4小时。这个时间安排是根据工作时间表制定的,学生们与其他研究团队成员一起工作。我们特别关注根据其受欢迎程度来滚动“For You Page”[154]。
在滚动观看内容的过程中,研究人员会“喜欢”与选举相关的有趣内容以及边缘文化内容(例如笑话、时事、来自热门影响者的内容)。除了“喜欢”内容外,沉浸式的目标还包括不断添加新的关注账户,从而扩大我们的样本量并增加对相关内容的接触。我们还关注那些真实(非明显垃圾信息)、公开的、与我们相关的账户。这些观察协议适用于所有原型,但在滚雪球抽样和算法推荐不符合我们的范围时,某些原型需要特定的调整。这些调整行为,如查找关键词或使用平台功能,受到了之前关于“驯服”算法的CSCW研究的启发[154]。实际上,这种“驯服”并不是为了模拟用户或社区,而是为了引导我们的观察探针(原型信息流)接触到用户可能在相关原型社区中看到的各种内容。
我们发现BlueTok和ManTok算法不需要大量的调整行为,它们自然就能提供相关的内容推荐。值得注意的是,即使关闭了定位服务,TikTok仍然会在所有设备上推荐与我们所在城市和大学相关的高度本地化内容,这在我们所处的位置下显得非常偏激。对于RedTok和ManTok,学生们使用“不感兴趣”的功能来尽量减少这些推荐,以便观察更广泛的选举讨论。此外,在RedTok上,我们每周还会迭代添加CredoIQ上的热门保守派账户,以持续调整以获得显著的推荐内容。
SpanishTok的算法自然提供了许多新闻账户用于滚雪球抽样,但同样我们也对其进行了微调,增加了摇摆州内的西班牙语新闻频道。当内容偏向垃圾信息或更本地化的推荐时,研究助理会每周查询一次关键词标签,如“elecciones2024”,以保持对政治兴趣的原型特征,同时关注其他文化趋势。SpanishTok在整个研究过程中既提供了支持特朗普的内容,也提供了支持哈里斯的内容,这与我们监测跨党派内容的范围一致。
我们在保持NewsTok的跨党派和全国性关注方面遇到了困难,注意到它可能从最初的种子列表中偏向了左翼。因此,我们每周从CredoIQ的热门创作者列表中添加新的新闻账户,包括C-Span和newsfluencers[75]。十月初,为了进一步纠正本地化推荐的问题,我们跟踪了每个摇摆州的三家当地新闻媒体。这些主要是一些网络附属的账户,如Fox 2 Detroit或ABC 15 Arizona。此外,为了模拟新闻搜索行为,研究NewsTok的研究人员在TikTok中搜索了Google News的头条新闻,并与之互动并记录相关内容,同时关注相关的账户。
4.3.3 记录视频集合和关注的账户。鉴于我们研究的中心对象是显著的选举和文化内容,我们的方法非常注重系统地收集和记录这些内容以供分析。我们创建了每周的视频“集合”,这是TikTok应用程序中的一个功能,允许用户将保存的视频组合起来并通过链接与他人分享。每周,与选举诚信相关的谣言视频会被“保存”到TikTok应用程序的每周“集合”中(例如“RedTok - 10/31”,见图2)。与选举过程和程序无关但非常显著、病毒式传播或在该原型中流行的视频(例如BlueTok上嘲弄保守派歌手的病毒式模因)则被保存到另一个名为“Out of Scope”的集合中,以便调整推荐系统。所有集合都保持私人状态,以免泄露这些可能是研究账户的信息,这是一个我们在§5中进一步讨论的保密决定。
图2. RedTok的每周集合示例。为了出版目的,非公众人物的姓名和面孔已模糊处理。这是一张名为“RedTok 10/31”的TikTok播放列表的截图,其中包含38个视频。这些视频展示了各种人士讨论美国政治的情况,重点是2024年选举和对卡玛拉·哈里斯的报道。一些缩略图包含文本叠加层,例如“ABC不小心播出了哈里斯以95%的得票率赢得宾夕法尼亚州选举的结果”、“Superbowl America开始了”和“卡玛拉刚刚被揭露”。一些视频反映了人们对选举报道的反应、呼吁提前投票以及对特朗普和经济的评论。视频以缩略图网格的形式排列,每个缩略图中的面孔都被模糊处理,背景各不相同。
我们每周在Google Sheets中记录关注的账户,跟踪账户名称、个人资料链接和关注日期。这些信息被复制到Junkipedia[2]中,以进行更广泛的抽样,详见§4.6。此外,我们还在一个可搜索的wiki风格数据库中记录内容,供更广泛的研究团队使用,其中包含截图、链接、主题标签和视频描述。
4.4 互动:与算法设定界限。Kozinets将网络民族志的下一步“行动”定义为“互动”,区分了它与沉浸式的区别,后者通过消息、调查、采访和其他方法来引出参与者生成的数据[83]。这一步允许被观察的社区成员澄清和指导研究人员的观察。
在最近的工作[85]中,Kozinets建议并非每个网络民族志项目都需要这一步,特别是因为在线空间已经从每个用户都创建内容的点对点网络演变为大多数内容由少数账户生成、大多数用户作为受众消费的平台,使得直接互动对某些研究来说不太相关。
在我们的网络民族志研究中,研究人员扮演了观众的角色,模仿选择观看、点赞和保存某些相关创作者制作的内容的常见行为。我们利用这些行为推荐的内容来了解这些内容如何在原型信息流中的选举讨论中发生。由于我们的研究重点在于分析这些内容本身,而不是用户之间的关系,因此没有进行采访、调查或其他直接与用户的互动。安全考虑也影响了这一决定,详见§5。
4.5 解释:集体记录。为了“解释”收集的数据——Kozinets的下一步“行动”——研究人员每周编写要点备忘录,总结他们视频集合中的关键主题、流行叙事、重复出现的创作者和美学线索(例如病毒式声音或模因)。集体记录是定性研究中的常见方法[136],它帮助我们随着时间的推移逐步发展出“深入”的描述[55],并反思我们自己的偏见[15, 21, 81]。研究人员每周开会讨论这些备忘录,以促进反思、批判性和合作。研究负责人(一名博士生和研究经理)主持这些会议,帮助完善和澄清TikTok备忘录并引导讨论。观察跨平台团队的研究科学家也会参加这些会议,以整理出供公众阅读的更大范围的每周备忘录。
鉴于我们工作的快速响应性质,我们专注于通过每周备忘录来记录内容,并通过将显著内容的背景信息——其讨论策略、创作者以及出现的时间——进行简要分析,将其置于更广泛的选举谣言生态系统中。我们没有系统地对内容进行编码,因为我们的工作重点是每周的发现和初步综合(见§2)。未来,备忘录和数据集可以进一步通过其他定性分析方法进行研究,例如定性编码或对选定内容应用批判性话语分析。
4.6 体现:与研究社区和公众分享。网络民族志的“体现”侧重于传达研究结果,Kozinets提供了从外部学术报告到与利益相关者的口头演示等多种示例[83]。我们的网络民族志通过三种方式体现:1)每周为内部研究团队整理的TikTok备忘录;2)与更广泛的研究社区共享的数据集;3)向公众快速发布的研究成果以及与记者和选举官员的数据共享。读者可以在§2中了解我们的体现如何适应更大的快速响应研究项目。
我们的团队还将“体现”扩展到为更广泛的研究社区创建数据集。每周,我们将每个原型新关注的账户记录到Junkipedia中,这是一个供研究人员和从业者(如记者和民权组织)使用的数据收集平台。这一过程存档并使得Junkipedia能够继续收集这些账户的内容,使我们和其他人能够分析大量内容,模拟我们原型的“关注信息流”。虽然这些数据没有捕捉到未来的算法推荐,但它支持更大规模的研究,并为未来的网络民族志研究提供了新的种子列表。
5 反思性、定位性和伦理考量。在我们研究一个国家的选举的同时生活,我们无法脱离研究的背景。我们也没有寻求这样做,而是选择将这种生活体验视为实践中的专业知识。为了帮助解释我们的偏见,我们通过记录、小组会议和反思性自民族志提示[15, 21, 81, 96]来融入反思性实践,同时承认我们的个人信念影响了数据收集和解释。我们团队的多样化生活经验和个人政治观点并不总是反映在所有研究原型中,特别是ManTok和RedTok账户,这些账户在政治立场上前沿性与我们研究团队的多数观点不符。
ManTok由一名Z世代男性本科生研究助理运营,他对这些内容的文化理解比他的同龄人更为深刻。类似地,HispanicTok由一名有西班牙裔背景的研究助理运营。RedTok的备忘录编写通常由具备该主题专业知识的 research manager 审核。这些措施并不全面,但展示了在定性方法中使用背景知识和生活经验的方法。这些实践使我们能够考虑我们的定位和偏见以及它们如何影响我们的工作——从而得出严谨的发现[68, 166]。
我们大学的IRB批准了这项研究,尽管我们认识到这种设计方法忽视了一些伦理复杂性[43, 51, 74, 109, 177]。我们没有采用传统的“背景完整性”指南来排除边缘内容[51, 87, 115, 126],而是有意设计了沉浸式参与方式来捕捉实时的选举体验(包括新发布的、观看次数不高的公开内容),尽管我们避免过度关注阴谋论内容。我们通过安全存储数据(使用备忘录总结趋势而非突出个人)、通过模糊和裁剪来匿名化截图[145]、仅通过Junkipedia的限制研究社区分享账户列表来降低对创作者的隐私风险。我们通过避免直接互动(例如发送消息)、不公开我们的账户、限制内容复制以及保持视频集合的私密性来保持伦理距离。这些决定平衡了对网民隐私和保护我们自己的需要,尤其是考虑到有记录表明选举研究人员受到骚扰的情况[116]。
这种伦理距离影响了我们的网络民族志研究。Kozinets和其他学者观察到,许多数字空间已经不再是点对点的,而是由少数账户生成的算法推荐内容供大多数人观看(或“潜伏”[85, 92],我们在使用网络民族志方法的研究中采用了这种方法。我们采取了这种方法,但它也有其权衡。与用户互动有可能大大丰富数据(尽管带来了新的研究伦理复杂性)。然而,这些好处并没有超过风险。更重要的是,互动并没有服务于我们的核心研究问题或快速响应的要求,因为实时数据收集和分析不太适合人类受试者的研究。我们的研究重点是发现、观察和理解选举谣言内容和讨论在感兴趣的原型社区中的表现。我们并没有试图直接研究这些社区本身。最后,这项工作在心理上具有较大的负担,因为它同时包含了选举焦虑[110]和接触可能令人困扰的内容(例如反跨性别者、厌恶女性和反移民的言论),因此需要开发出嵌入式关怀实践[18, 170]。研究人员接受了培训,由一位心理健康专业人士负责识别职业倦怠和迷失方向的情况,并在整个研究过程中提供支持。其他安全措施包括允许更换账户、在需要时由研究负责人进行页面滚动、将滚动操作分散在多天内完成、在监督者的监督下进行面对面工作,以及安排在白天而不是晚上进行内容浏览[137]。每周会议中都会进行心理健康检查,博士生负责人会为个别学生提供单独的会议,特别是对于那些管理ManTok的学生,因为他们面临着来自男性准则内容的风险,如迷失方向和心理困扰[13]。
我们在社会技术栈(sociotechnical stack)上进行了迭代网络民族志(iterative netnography)研究。任何方法论的贡献都必须考虑和评估它能够进行什么样的研究、其认识论承诺,以及它与其他方法的区别[17]。我们使用社会技术栈这一分析框架来评估技术组成部分是如何与社会世界相互作用的[134],以展示我们的方法在各个层面所提供的不同数据和洞察力。虽然这项分析基于我们的案例研究,但这些方法可以应用于其他平台。
我们比较了我们的方法与基于API的社交媒体研究在向研究者呈现的内容(可见或不可见)方面的差异。我们提出这种比较并不是为了表明我们的方法“更好”,而是为了展示每种方法最适合解决哪些类型的研究问题,以及它们可以在哪里结合使用以互补彼此。我们在表1中总结了这种比较,在下文中概述了每个层级的研究考虑因素。
表1. 社会技术栈层次
- 迭代网络民族志
- 基于API的社交媒体研究
| 层级 | 迭代网络民族志 | 基于API的社交媒体研究 |
|----------------|-------------------------------------------------|---------------------------------------------|
| 用户界面 | 研究人员通过典型信息流直接与界面交互。数据受到界面交互和算法个性化的影响。 | 研究人员不与界面交互;工作在服务器端完成。没有个性化设置或平台暴露。 |
| 应用程序 | 应用程序决定了研究人员看到和收集的内容。反过来,研究人员的行为为平台提供了数据。 | 数据收集受到API限制(如发送次数限制、数据字段、历史可用性)的影响。 |
| 算法 | 算法策划是该方法的核心。研究人员研究和操作算法的展示和交互。 | 算法是隐藏的,被视为黑箱。影响只能在事后通过趋势或元数据推断出来。 |
| 网络 | 网络被体验为随时间叠加的内容。网络可以在事后被重新拼凑起来。 | 可以通过API数据建立网络,但这些网络是基于不同的事后数据抽取的,而不是通过个性化算法构建的 |
| 存储与操作系统 | 视频数据通过备忘录手动收集和存储。Junkipedia通过关注列表和内容转发收集扩展存储空间。 | 大量结构化数据(如JSON)存储在数据库或云服务器中。存储优化的是规模,而非可解释性。 |
| 硬件 | 研究人员仔细设置和使用研究手机;硬件(及其设置和位置)成为实地考察的一部分。 | 没有与硬件的直接交互。工具如服务器或抓取机器虽然重要,但不是实地考察的一部分。 |
### 迭代网络民族志与基于API的社交媒体研究的比较
6.1 用户界面
- 迭代网络民族志中的研究人员体验界面,为结合引导式方法以理解平台提供了空间(如[184]所示)。
- 而基于API的研究则使界面变得不可见,使用“应用程序编程接口”代替用户界面。
- 在迭代网络民族志中,界面塑造并促进了数据收集,成为观察探查的一部分。借鉴媒体研究,界面中介了内容,影响了内容的解释和观察者的体验[103, 105]。
- 未来的信息流内容受到研究人员在观察和数据收集过程中与界面交互的影响。研究人员可以根据推荐内容的变化(或不变)实时观察和理论化这种影响。通过迭代,研究人员可以利用界面调整数据收集,例如使用TikTok的“显示更少类似内容”功能,以及通过“点赞”显性的内容来影响算法推荐。
- 这些交互协议可以在研究团队中应用,使研究人员能够尝试不同的交互方式,进行自动民族志研究、日记研究和其他涉及界面的反思性数据收集。
6.2 应用程序与研究人员之间有一种双向关系
- 在应用程序层面,迭代网络民族志使研究人员能够观察平台设计和治理如何实时影响用户看到的内容,而基于API的研究则是在事后收集由这些因素塑造的数据,而没有对其进行背景化或记录。
- 例如,在我们的案例研究中,TikTok在其选举诚信措施中将某些内容标记为潜在的错误信息[167]。许多平台在对高风险事件(如[104]和如果是AI生成的内容[31])也有类似的警告。
- 应用程序和网络民族志研究人员之间建立了深度交织的双向关系。应用程序通过研究人员与显性内容的互动接收数据。例如,在TikTok等具有类似内容保存功能的平台上,研究人员向算法发出信号,表示他们对某些内容感兴趣,然后平台提供相应的内容。这种双向信息流使得平台动态的变化能够通过研究人员的互动得以显现。
- 基于API的研究无法实现这种互惠的平台关系。由于其本质,基于API的研究不直接与应用程序交互,只与数据端点交互。然而,这使得基于API的研究能够通过测量和映射平台活动的广度和历史回顾来获得对平台的更全面理解,而网络民族志则无法做到这一点。
6.3 算法既是策展者也是对抗者
- 迭代网络民族志使算法变得具体和可见——将其同时视为策展者和偶尔的对抗者。
- 基于API的研究则没有体验到算法的策划过程,而是通过标签、关键词或时间来查询数据。
6.3.1 算法的时间控制
- TikTok及其他平台上的算法并不会完全按时间顺序推荐内容。这为用户体验内容的时间点提供了独特的感受,而不仅仅是内容发布的时间。
- 虽然像傀儡账户这样的方法可以探索这种时间现象,但基于API的研究无法捕捉到这样的时间线或用户的实际时间体验;只有实时研究才能产生我们在图3中观察到的真实时间分布。
6.3.2 算法的“驯服”
- 在某些典型信息流中,当算法偏离研究范围时,我们尝试“驯服”算法[153]。
- 这仍然是网络民族志研究的一个挑战——而基于API的研究则不需要这样做。但算法的影响(无论是否被驯服)也是宏观层面的。基于API的方法可以通过大量数据提供关于算法宏观效应的洞察,这是沉浸式方法无法提供的。例如,在审计算法策划中的偏见时(如[157]),这些洞察可能是必要的。
图3. 数据可视化显示了每个集合中的内容。垂直线表示每周的收集窗口结束时间。对角线线代表内容,从收集结束时间开始,触及x轴上的内容发布时间,展示了异步查看体验。对角线线可能代表多个视频。
- 五组折线图展示了2024年几个月内不同TikTok账号的时间分布。每张图都根据账号类型命名:BlueTok时间分布、RedTok时间分布、SpanishTok时间分布、NewsTok时间分布和ManTok时间分布。每张图显示多条彩色线条代表不同的账号,x轴显示从2024年中期到2024年末的时间,y轴显示随时间累积的视频或互动次数。线条开始的时间不同,斜率向上,表明账号活动的不同模式。大多数线条在2024年底显示出增长趋势。
- 这些图表突出了不同账号之间的不同发布行为和时间模式。
6.4 网络在迭代网络民族志中具有细微差别但缺乏规模性
- 基于API的研究可以从大量数据中揭示分层的网络结构——量化信息在用户之间以及用户之间的关系如何流动。
- 迭代网络民族志则揭示了内容在不同用户信息流中出现的半透明性。它还可以通过利用Junkipedia的数据来小规模量化网络重叠情况。
- 在我们的案例研究中,我们制作的典型信息流所跟随的创作者之间没有重叠。表2显示了信息流之间的很少重叠,而表3显示了这些典型信息流所跟随的账号数量以及这些账号的相对关注规模。
表2. 不同原型账号之间的关注重叠情况
| Tok1 | Tok2 | 重叠数量 |
|---------|---------|-------------|
| Red | News | 13 |
| Blue | News | 10 |
| Red | Man | 5 |
| Blue | Blue | 5 |
| Spanish | Red | 5 |
| Spanish | Spanish | 3 |
| Red | News | 1 |
| Blue | Man | 0 |
| Spanish | Spanish | 0 |
| News | 0 |
表3. 我们原型账号所跟随的账号的描述性统计
| 平均值 | 最小值 | 最大值 |
| 跟随者数量 | 298,229 | 478,036 |
| 2017 | 149,928 | 24,427 |
| 中位数 | 31,150 | 40,180 |
| 最小-最大范围 | 2 - 20,977 | 130 - 12,453 |
| 2 - 17,739 | 4 - 12,291 |
然而,相同的内容确实会在不同的典型账号中被呈现。我们在研究中系统地记录了内容和符号的重叠现象,例如在RedTok、ManTok、NewsTok和SpanishTok中出现了完全相同的摔角比赛片段和广告;但这些内容是由不同的创作者发布的。因此,迭代网络民族志揭示了通过网络边界连接的内容的体验,这些体验通过重叠的符号、美学和话语体现出来。
Junkipedia的数据可以从我们的关注列表中进一步量化网络。值得注意的是,Junkipedia的数据收集依赖于社区性的滚雪球抽样,因此这些量化结果可能并不完全代表整个网络,也不适合回答所有研究问题。寻求量化并理解更大规模、定量和具有代表性的网络问题的研究人员更适合使用基于API的方法,而我们的方法则提供了对网络内容体验的细微差别。
6.5 存储与操作系统在迭代网络民族志中是手动的且社区化的
- 在存储和操作系统方面,迭代网络民族志和基于API的方法因设备(手机与云计算)而有所不同,迭代网络民族志为数据存储增加了额外的人工工作。
- 在我们的案例研究中,手动收集的视频也被上传到安全的Google Drive中。关注列表(4.3.3)每周手动更新并添加到Junkipedia中,从而将收集到的内容从列出的账号转发到Junkipedia数据库,并维护每个原型的关注列表。
- 涉及选举谣言的内容被记录在一个类似wiki的可搜索数据库中,整个研究团队可以使用它来监控和分析新兴谣言。在记录这些内容时,研究人员可以对内容进行标记、截图、描述和分类,具有很高的细致度。
- 这使得这项工作的存储比基于API的研究更具可解释性,因为在我们的数据库(Google Drive)和Junkipedia中手动维护了内容和账号之间的关系。这种存储本质上是社区化的:我们的团队共享了对Junkipedia的访问权限,使得其他研究人员也可以进行查询。基于API的研究也提供了这种社区化的优势,因为一些基于API的研究发布了标记和策划好的数据集——我们在案例研究中使用了其中的一个[79]。
- 此外,基于API的研究可能在可扩展性和存储方面优于我们的方法。但在迭代网络民族志中,这种社区化的人为数据策划是方法论的一部分。
6.6 硬件在网络民族志中是不可或缺且个人化的
- 在迭代网络民族志中,硬件(在我们的案例中是指研究手机)成为实地考察的一部分,既是数据收集的工具,也是体现浏览体验的手段。
- 它包含了研究人员用来观察和记录显性研究内容的典型信息流。这与基于API的方法完全不同,后者 bypass 了硬件,直接从服务器收集数据。这种紧密的、物理化的设备使用不仅提供了网络民族志的洞察(例如,尽管定位服务关闭,我们仍然能够观察到超本地化的推荐),还提供了关于人类研究人员如何体验算法的(自动)现象学洞察[69, 78, 133]。在网络民族志的情况下,这为研究人员多样化的浏览体验提供了潜在的见解和反思,无论是两位研究人员在同一房间并肩工作,还是在家中异步浏览。6.7 方法论创新和评估的需要:这项练习展示了我们的迭代网络民族志“小数据”方法与基于API的“大数据”研究方法[25, 120, 177]相比所能够实现的探究类型。通过使用社会技术堆栈,我们展示了迭代网络民族志如何能够实时可视化内容在典型信息流中的出现方式,而基于API的研究则无法做到这一点。然而,迭代网络民族志也无法提供基于API的研究所具有的宏观层面观察能力,也无法像传统民族志那样深入理解数字化文化的长期生活体验。我们希望这次评估能够帮助研究人员选择适合他们研究的方法,并激发CSCW研究人员在推动新方法论方面的创新灵感。7 讨论:内容的发生与社会技术基础设施:在本节中,我们探讨了我们的方法论如何能够帮助我们了解内容在不同社区中如何、何时以及以何种方式发生,以及这对研究基础设施的影响。在§7.1中,我们提出了“发生”这一概念,它建立在现有文献的基础上,并通过沉浸式社交媒体研究提供了深度情境化的知识。但是,研究“发生”需要一个人类基础设施(根据Lee等人的定义[93]),即研究人员需要亲自体验内容的发生并基于具体探究进行收集。在§7.2中,我们描述了迭代网络民族志如何为Ribes和Lee关于人类与网络基础设施的社会技术理解做出贡献,从而在不断变化的研究和社会政治环境中生成科学知识[139]。7.1 内容的发生:我们将“发生”定义为特定内容如何、何时以及在什么背景下对人类用户来说变得可读和可见。这是一种高度情境化且主动的内容体验方式(类似于Berger[19]的观点)。我们将“发生”作为一个敏感化概念提出,用于定性社交媒体研究,特别是在视觉中介的空间中。我们借鉴了Blumer对敏感化概念的定义[23],作为一种指导研究的理论工具,但它并不一定是一个完全规范或可量化的指标。7.1.1 内容的发生是情境化的:内容的发生为算法定时和排序所中介的“无限滚动”消费模式中的偶然性提供了空间[27, 60, 173]。通过这种方式,用户不仅会遇到“病毒式”内容,还会遇到较少被观看的、“新鲜”的材料,这些材料具有高度的变异性且有时是不可预测的。例如,我们并没有预料到同一个摔跤比赛的内容会在多个典型信息流中大致同时出现。同样地,我们也注意到大量的占星术、神秘学、宗教和阴谋论内容在没有相关主题引导的情况下被呈现出来,以及这些内容是如何跨越所有信息流的。在不确定性和事件发展的时期,这种偶然性赋予了算法一种几乎神圣的力量,一些研究者将其比作“占卜”[37, 91]。内容在危机或不确定的新闻事件中如何以及何时“发生”,为我们提供了对试图理解当前情况的各种力量的洞察。基于Klein等人提出的数据框架理论[80]的模糊时期意义构建框架,已经被应用于研究,这些研究利用跟踪数据展示了在线受众如何通过发布和参与在线内容来参与“集体意义构建”,以记录和叙述不确定事件的发展[131, 162]。因此,“发生”是一个有用的概念,用于理解在用户信息需求较高且更容易受到不同认识论框架和现实解释影响的时刻,内容如何、何时以及以何种方式呈现给他们[130, 131, 158]。TikTok等平台上的算法偶然性使得很难追踪特定内容是否、如何以及何时被展示给某个用户,以及它可能对该用户对正在发生的事件的理解产生什么影响。这一点很重要,因为即使某些内容是通过API查询得到的,也不意味着它一定已经被呈现给了用户。同样,它也没有解释关于重要事件(如选举)的政治或显著内容是如何与看似不相关的 lifestyle 内容、笑话和流行文化引用交织在一起的,所有这些都是由平台的不同效果、声音、过滤器和趋势所中介的。迭代网络民族志旨在探索这种具有深度纹理的内容组合(在我们的案例中是政治评论),在更广泛的文化背景下进行。这种风格、技术和政治代码在内容中的多层次整合类似于Fiske的符号学中介概念,其中意识形态代码从更微妙的社会和技术代码中浮现[52]。我们全面接受了这种体验短视频的组合——既展示了整体,又关注了我们研究范围内的最显著内容。这种情境化在用户接触媒体时非常重要,因为它为研究人员提供了深刻的见解和具体的体验。此外,由于“发生”是在这种音视频环境中发展的,我们基于Lutz等人提出的“视觉完整性”概念[98]进一步进行了构建,该概念源自静态图像分析,侧重于保持视觉社会数据的视觉模式和更广泛的背景,而不是依赖于文本翻译。视觉完整性关注视觉社会数据的属性,而“发生”则记录了内容的遭遇,两者都侧重于观看的具体情境。7.1.2 内容的发生是主动且情境化的:内容的发生是对研究者而言的,而不仅仅是想象中的用户。研究人员看到并体验内容的发生并不是一种中立或超然的观察。正如Berger所说:“我们从来不是只看一个事物;我们总是在看事物与我们自己之间的关系。”[19]。这种对内容的“观看”深深植根于它呈现的背景(信息流、算法、时间等)中,并且受到研究者在哪里、如何以及何时遇到它的直接影响。在迭代网络民族志中,滚动、点赞和保存显著内容的物理行为是研究者对媒体的一种具体、主动的消费实践,从而为分析提供了更多内容[34]。这种发生的情境性和观看内容的行动与Suchman的情境行动模型一致,该模型认为人类行为并不是完全计划好的,而是在发生的情境中不断即兴发挥的[165]。在迭代网络民族志中,研究者并不是执行一个简单的、预先固定的任务,而是根据他们在动态社会技术堆栈中的位置来选择关注的内容。这种即兴创作是研究者对内容及其观察工作流程的主动、情境化的意义构建的一部分[80, 179, 180, 181]。从这些行动和意义构建中产生的知识和见解也是情境化的。根据Haraway的情境知识理论:所有知识,包括对发生内容的解释,都是由研究者在系统中的位置产生的[67],以及系统如何以及何时感知他们的情境因素,正如Berger的主动观看概念[19]所描述的。发生的情境性和背景性使得可以在不同的话语空间中获得深入的实时见解。这在视觉中介环境中处理不断发展的事件时非常重要,但基于API的研究并不容易实现这一点。7.1.3 基于API的研究去除了背景和情境性:基于API的研究及其类似方法不允许内容的发生。通过使用关键词或时间限制的搜索,API研究将内容去情境化,使典型用户在信息流中消费算法推荐的媒体。此外,许多基于API的方法和数据集将视觉内容转换为文本表示,或者研究用户或互动之间的连接,而不是内容本身。这去除了对多层次、多模态内容的情境化观看和理解。或者,正如boyd和Crawford所说,这样的“大数据”方法通过去情境化去除了社会数据中的社会性[25]。我们在§6中展示了这种去情境化。但我们 also 承认,基于API的研究方法对于研究宏观层面的效果和动态是必要的。因此,我们鼓励采用混合方法,以突出“发生”概念,帮助对大规模的定量发现进行情境化并增添细微差别。我们认为,“发生”这一敏感化概念可以加强社交媒体研究。我们希望它能够为实时事件的用户体验提供有价值的见解,尊重我们方法起源于快速响应和危机信息学研究,同时与基于API的方法互补。随着互联网变得越来越多模态,像VLM这样的工具尚未成为人类视觉研究的完整和适当的替代品[98, 152],如何系统地研究内容在人类身上发生的问题将变得更加紧迫。因此,重视“发生”并通过合作和可操作性加强的方法,如迭代网络民族志,在社交媒体研究的未来将发挥重要作用。7.2 合作网络基础设施研究走向弹性互联网研究:CSCW的支柱是“计算机支持的协作工作”。这包括科学努力的协作工作,也包括在CSCW中的工作。表4. 主题Ribes和Lee的定义我们的实现1. 关联性:CI由关系塑造——人际关系、系统、组织和实践之间的关系。研究团队、典型人物和算法共同组成信息流;强调关系性工作(记录、反思、手动数据收集)。研究人员可以与原型和内容建立个人化的反思关系。2. 多样性:CI系统由多样化的元素组成:人、平台、工具、数据类型和实践。结合设备、研究人员行为和协议、视频制品、备忘录和关注列表。具有高度的多模态性和解释性。3. 可持续性:CI必须能够随着时间的推移而维护,通过不断发展的工具、标准和人类实践。每周的协议、团队动态和护理实践以及反思性使得纵向洞察成为可能。在多个地方托管数据,同时关注不断变化的政治和技术现实。4. 标准化:通用格式、协议和类别,以实现互操作性和可扩展性。通过共享协议(例如,种子列表、备忘录结构)松散地构建;允许解释性的细微差别。5. 扩展性/可伸缩性:基础设施必须支持用户、内容、用例或研究问题的增长。通过基于团队的复制、跨原型比较和渐进式内容分层来实现扩展。6. 委派:任务在人和机器之间分配——谁来做什么工作?研究经理和班次负责人实时指导研究。解释工作委托给研究人员;部分自动化收集;平台策划信息流。7. “始终具有社交性”:基础设施从来都不是纯粹的技术性的——它是通过社会过程构建、维护和理解的。深深嵌入在研究人员的行为、反思、平台动态和内容的社会文化框架中。发生的情境知识与人类基础设施的非客观概念相一致。Ribes和Lee与迭代网络民族志之间的CI主题比较:Lee及其同事认为,使科学发现成为可能的网络基础设施——信息技术系统——是由其背后的协作人类基础设施支撑的[93],后来Ribes和Lee将其视为关系系统和构成科学工作的人类劳动的深度社会技术现象[139]。在此基础上,Geiger和Ribes通过他们的追踪民族志方法[58]使行动者的隐秘协调变得可见,展示了民族志方法如何揭示人类和网络基础设施。同样,我们将迭代网络民族志视为人类基础设施的实现[93],以及社会计算研究中的协作工作的创新。迭代网络民族志是Ribes和Lee的社会技术网络基础设施[139]的象征。通过我们不断构建和调整不同的人类(研究人员的观察)和网络基础设施(关注列表、Junkipedia集合),我们体现了网络基础设施(CI)和协作工作的社会技术传统。在上面的表4中,我们概述了迭代网络民族志如何与Ribes和Lee的社会技术网络基础设施的七个主题保持一致。迭代网络民族志体现了所有七个主题,但我们特别强调其协作性质使其具有可扩展性、可持续性和“始终具有社交性”。我们认为这些主题对于构建未来的弹性和社会技术网络及人类基础设施尤为重要。7.2.1 迭代网络民族志是可持续和可扩展的:Ribes和Lee认为,随着人类实践、研究工具和标准的不断发展,网络基础设施必须具有可持续性[139]。在社交媒体研究中,这种演变来自于最近的政治和平台攻击。2025年初,特朗普政府的行为导致了包含“误导信息”一词的NSF拨款的大量取消[148]。这样的攻击不仅限于误导信息研究,威胁到了互联网研究的未来。此外,平台通过限制数据访问权限来排斥许多研究人员使用API,移除了之前可用的工具,使数据访问变得更加困难,并施加了严格的许可条款,这些都压制了独立研究 [117, 149]。由于数据访问条件的变化,研究人员和实践者必须采取更加灵活的方法,采用不依赖平台控制的API来进行数据共享和协作 [149]。我们整合Junkipedia示例就是这一做法的体现。即使面对来自平台和政府的威胁,Junkipedia仍致力于建立一个学术、新闻和倡导社区,专注于社交媒体研究 [2, 149]。我们呼吁CSCW领域的学者和机构认识到并支持这类努力,将其视为合法且必要的网络基础设施形式,并鼓励互联网研究人员充当这种基础设施的支撑力量。这也体现了迭代网志研究的可扩展性。Lee和Ribes将可扩展性定义为能够支持多种用例和研究人员发展的基础设施。迭代网志研究通过合作得到了加强,使其能够在研究项目中自然扩展。该方法具有可操作性和可移植性,我们可以将其应用于不同的团队和背景中,我们希望我们对研究过程的记录(见第4节)能帮助未来的研究人员实现这种可操作性。
7.2.2 迭代网志研究“本质上是社会性的”
许多研究方法都受到了人类所处的社会环境、位置以及研究过程中的社会互动的影响。在迭代网志研究中,合作研究团队的作用至关重要。这促进了反思性、思想的多样性以及关怀实践,为由此产生的情境知识增添了深度。此外,迭代网志研究还揭示了内容在特定环境中如何被观察者所感知。我们认为这体现了Ribes和Lee关于网络基础设施“本质上是社会性”的观点 [139]。通过维护我们研究团队之间的社会联系和流程,我们能够深入融入典型的数据源中,收集到丰富的、有深度的见解,这些见解将为未来的研究和实践提供参考。
8 对研究人员的意义、局限性及未来工作方向
8.1 局限性
尽管我们的方法可以应用于其他案例研究,但它基于其起源具有一定的偏见和局限性。此外,迭代网志研究需要大量人力和多种研究设备,这可能对某些团队来说难以获得。我们的案例研究得益于能够获得资助,聘请了有偿的本科生研究助理来协助进行团队合作的研究。我们希望未来能看到更多机会或部门允许本科生将参与研究作为学位要求的一部分,从而使这类工作无需依赖资助即可持续进行,这与以往的参与式研究课程工作相一致 [171]。此外,在某些环境中进行沉浸式研究还存在安全风险,例如迷失方向和心理压力 [13]。研究人员需要考虑潜在风险,并主动采取诸如自我关怀措施以及制定报告和处理敏感内容(如威胁、暴力等)的规范。
8.2 对研究人员和未来工作的意义
我们支持提高平台数据透明度的呼声,以便研究人员能够更好地研究互联网现象 [149]。随着数据访问权限的日益受限,我们的工作为独立于平台提供的数据开展互联网研究提供了指导。我们的方法支持通过社会技术基础设施对实时现象进行沉浸式、可扩展的定性研究。通过Junkipedia的数据收集,我们提供了独立于社交媒体平台的定量研究所需的社交媒体数据网络基础设施示例。我们还鼓励研究人员在未来工作中将“事件发生”(occurrence)这一概念作为理论基础。虽然我们的方法主要针对多媒介、无限滚动平台(如TikTok、RedNote、Instagram、YouTube)设计,并优先考虑这类体验,但我们希望文本数据的研究人员也能采用这一概念。我们认为“事件发生”为未来的理论研究提供了丰富的领域,尤其是在媒体研究和传播理论方面。我们邀请研究人员在未来工作中对这种方法进行创新,并将其应用于新的案例研究中。这可能意味着将机器分析和技术基础设施进一步整合到这一框架中,利用深入的定性洞察来丰富定量分析。我们的方法旨在支持协作式网络基础设施——能够处理大型数据集,改进诸如“袜子木偶审计”(sock puppet audits)等方法,并促进研究人员的创新。我们希望其他研究人员也能加入我们的努力,为更加协作和具创新性的互联网研究铺平道路。
9 结论
本文提出了1)迭代网志研究方法,这是一种用于研究以视觉为中心、由算法管理的空间的新工作流程;2)“事件发生”作为社交媒体研究的敏感化概念,为CSCW社区带来了新的见解。我们的研究是在2024年美国总统选举期间针对TikTok的五个具有社会和政治重要性的社区数据源展开的案例研究中发展起来的。我们扩展了将民族志方法应用于数字空间研究的文献。我们展示了迭代网志研究相较于基于API的传统研究方法所带来的见解优势,有助于研究人员选择合适的方法论设计。通过这种方式,我们展示了迭代网志研究作为一种可持续的、可扩展的、基于情境的人类和网络基础设施,适用于互联网现象的研究。最后,我们将“事件发生”概念定位为未来互联网研究的一个新敏感化工具。我们希望这项工作能够激励研究人员重视通过沉浸式方法研究用户在互联网上的内容体验。我们认为,通过这种方式,研究人员可以捕捉到内容实时出现时的偶然性和惊喜。我们呼吁研究人员在社区内合作,开发新的方法和数据共享机制,这些机制不应受互联网研究所能(也应该)调查的权力平台和系统的限制。通过这些努力,我们希望迭代网志研究及其相关的方法创新能够推动可持续、可扩展的、本质上具有社会性的互联网研究体系的发展,使其能够在未来的几年里抵御各种攻击和社会政治压力。
致谢
本研究得到了华盛顿大学信息公众中心、John S. 和 James L. Knight Foundation(G-2019-58788)、William 和 Flora Hewlett Foundation(2023–02789-GRA)、国家科学基金会(#2120496)以及Craig Newmark Philanthropies的支持。Nina Lutz获得了国家科学基金会CISE研究生奖学金(项目编号2313998)。本文表达的任何观点、发现、结论或建议仅代表作者本人的观点,并不一定反映国家科学基金会或其他资助方的立场。Nina Lutz感谢David Ribes的指导,他耐心地讨论了这一工作流程的早期版本及其与传统民族志研究方法(Ribes也是该研究的共同作者之一 [58])的差异。所有作者衷心感谢Kate Starbird在更大的选举谣言研究项目中的领导和支持(详见[169])。同时,我们也感谢整个信息公众研究中心的支持。