《Applied Sciences》：Abstract-Level Reporting Practices and Methodological Composition in 245 Studies Using User-Generated Video Game Reviews
编辑推荐：
关于用户生成视频游戏评论的研究在抽样决策上存在限制，这些限制决定了其研究结果的可推广程度。这些决策的报告频率尚未被测量。本摘要层面的系统映射研究筛选了来自Scopus和Web of Science的868条记录，并从标题、摘要和作者关键词中对245项符合条件的
关于用户生成视频游戏评论的研究在抽样决策上存在限制，这些限制决定了其研究结果的可推广程度。这些决策的报告频率尚未被测量。本摘要层面的系统映射研究筛选了来自Scopus和Web of Science的868条记录，并从标题、摘要和作者关键词中对245项符合条件的研究在八个维度上进行了编码。与独立人工编码的一致性中位数每列Cohen's kappa为0.92，筛选kappa为0.93，第二编码者与最终编码的一致性中位数为0.89。语言范围在93.1%的摘要中缺失，语料规模在49.8%中缺失，评论平台在41.2%中缺失；仅4.1%报告了全部三项。平台披露随时间改善；语言披露则未改善。在随机抽取的75项研究的56份可获取全文中，几乎所有缺失的平台和语料规模均在文中有所陈述，但语言范围在36份中仍未陈述。在命名来源的研究中，72.2%使用Steam。基于Transformer的方法呈上升趋势（比值比每年1.56，p < 0.001），而基于词典的情感分析在绝对使用量上并未下降。该领域的综合研究需要全文提取，基于评论的研究发现主要描述单一商店平台，语言范围在摘要和全文中均被低报。
**研究背景与问题**
数字分发平台收集购买和游玩电子游戏的用户撰写的评论，这些评论以实验室研究无法匹配的规模积累。单一商店平台可容纳数百万条附着于可识别产品的评论，每条评论携带评分、时间戳，且在许多情况下记录了评论者在撰写前的游玩时长。游戏评论研究脱胎于应用商店分析这一更长的研究脉络，其中用户反馈被视为需求、缺陷报告和质量信号的 repository，一旦可用评论文本的体量使研究变得有价值，同样的技术便被移植到游戏领域。本文关注的是这一研究体本身，而非评论本身。其分析单元是一项分析游戏评论的已发表研究。其尚未被测量的问题是：这些研究对其所使用的评论数据的描述有多完整。
每项分析此类材料的研究都做出抽样决策：评论来自哪个商店平台、收集了多少条、保留了哪些语言、文本由普通用户还是专业评论家撰写。这些决策决定了结果可推广至何处，也决定了后续研究能否将其结果与先前研究进行比较。语言限制是最清晰的案例。将评论语料过滤为英语在许多目的上是合理的，但这是关于哪些玩家被代表的抉择，且将计算工作集中于少数资源丰富语言的后果已在自然语言处理领域被详细记录。平台选择具有类似的分量，因为各商店平台在评论界面、投票机制、审核方式和用户群体上各不相同。语料规模决定了统计结果能支撑什么，没有它，已报告的效果无法与竞争性效果进行权衡。对于视频游戏评论研究，一个更基本的问题尚未得到回答：这些研究实际上对其分析的数据报告了什么？
**研究方法与技术方法**
本研究为系统映射研究。每条符合条件的记录在固定的一组实质性维度上进行编码，报告的结果为这些编码的分布和趋势。设计遵循系统映射指南所描述的分类程序，其中评审者阅读摘要以构建分类方案并将研究分入其中。该程序增加了两个要素：每个编码维度的信度协议和全文审计。检索于2026年9月1日在Scopus和Web of Science Core Collection两个多学科数据库中进行。两个查询均以AND组合两个块：第一块捕获研究对象，第二块捕获数据类型。在Scopus中，查询使用TITLE-ABS-KEY字段运算符，返回801条记录，经语言、文献类型和学科领域过滤后剩余630条。在Web of Science中，相同块以TS字段标签表达，返回581条记录，经筛选后为428条。最终语料库包含868条记录：441条仅来自Scopus，184条来自两个数据库，243条仅来自Web of Science。编码由大型语言模型（Claude Opus 5）辅助完成，每批25条记录。每个维度均针对独立人工编码进行验证。两个样本被抽取：第一个覆盖编码维度（148条符合条件记录，按出版年份和研究类型分层）；第二个覆盖筛选决策（122条被排除记录，按排除原因分层）。第二编码者独立编码60条记录。Cohen's kappa使用Fleiss、Cohen和Everitt的渐近方差估计量对每个可编码列分别计算。全文审计在75条随机抽取的符合条件记录上进行（占符合条件集的30.6%），记录平台、语料规模及单位、语言范围以及每项陈述所在的章节。
**研究结果**
**语料库构成**：868条筛选记录中，245条符合纳入标准，623条不符合。符合条件记录跨越2006年至2027年。其中141条仅从Scopus检索，86条来自两个数据库，18条仅来自Web of Science。原始研究占165条，方法学贡献占80条。年度产出集中于近年：245条符合条件记录中有201条出现在2019年及以后。
**编码信度**：在37个可编码列中，Cohen's kappa中位数为0.92。十个列显示两编码者完全一致。三个列低于0.70：描述性统计标志（0.432）、残余构念类别（0.475）和无分析程序命名标志（0.655）。对于筛选决策，在合并的270条记录样本上，原始一致性为0.967，Cohen's kappa为0.933（95% CI [0.889, 0.976]）。两个方向性错误率分别为排除样本中5/122即4.1%（95% CI [1.8, 9.2]）和符合条件样本中4/148即2.7%（95% CI [1.1, 6.7]）。按层大小加权后，投影对应约15条记录（7至43）被排除但人工编码会保留，7条记录（4至12）被保留但人工编码会排除，给出估计254条真正符合条件的记录（244至281）。第二编码者在最终方案下与最终数据集的一致性中位数每列kappa为0.885，与第一人工编码者的中位数为0.816。
**抽样属性的报告**：本节所有比例描述的是摘要。语言范围在245条符合条件记录中有228条缺失，即93.1%。语料规模缺失于122条记录，平台缺失于101条，即49.8%和41.2%。仅10条记录（4.1%）报告了全部三项，平均缺失属性数为1.84。分析文本的作者身份在19条记录（7.8%，95% CI [5.0, 11.8]）中无法从摘要确定。在至少有五条符合条件记录的年份中，平均缺失属性数在1.58至2.40之间，无单调变化。在探索性逻辑回归中，摘要未命名平台的几率每年下降约14%（比值比0.856，95% CI [0.801, 0.914]，p < 0.001），而语料规模（0.962，[0.909, 1.018]，p = 0.178）和语言范围（1.000，[0.896, 1.116]，p = 0.997）均未显示趋势。
**方法家族及其随时间的变化**：推断统计建模出现在59条符合条件记录中（24.1%），定性编码在57条中（23.3%）。概率主题模型出现在37条中（15.1%），基于Transformer的模型在34条中（13.9%）。另有33条记录（13.5%）完全未命名任何分析程序。在四个预设趋势检验中，基于Transformer的模型和概率主题模型随出版年份上升（比值比分别为每年1.556和1.358，均p < 0.001），而基于词典的情感分析和无分析程序命名标志未显示显著趋势（p = 0.237和p = 0.417）。无符合条件记录同时使用两个家族。
**构念及其与方法家族的关联**：主题内容是最频繁的构念，出现在123条符合条件记录中（50.2%），其次是情感在118条中（48.2%）和玩家体验在95条中（38.8%）。设计反馈出现在59条记录中（24.1%），购买行为在43条中（17.6%）。在至少有十条记录的方法家族中，最强的条件比例为主题模型与主题内容（37条中33条，89.2%，提升1.78）和基于Transformer的模型与情感（34条中28条，82.4%，提升1.71）。
**平台与语料规模**：在命名来源的144条符合条件记录中，104条使用Steam，即72.2%。无其他平台达到20条记录。无符合条件记录利用主机商店平台。语料规模仅在74条报告数字以评论为单位的记录上可比较。在这些记录中，中位数为45,142条评论，分布范围宽泛。
**数据库选择的敏感性**：将分析限制在Scopus中存在的227条记录，每个主要量均接近全语料库的值。语言范围缺失于92.5%的记录而非93.1%，语料规模缺失于51.1%而非49.8%，平台缺失于41.0%而非41.2%。在命名来源的记录中，75.4%使用Steam而非72.2%。所有四个趋势检验保持相同方向和相同显著性决策。
**全文审计结果**：75条审计记录中，56条（74.7%，95% CI [63.8, 83.1]）对作者可获取，但仅42条（56.0%，[44.7, 66.7]）在出版商处开放获取。在56条可获取记录上，全文几乎提供了摘要遗漏的所有平台和语料规模信息，但语言范围则不然。平台缺失于26条摘要中，在对应的25条全文中有所陈述。语料规模缺失于26条摘要中，在24条全文中有所陈述。语言范围缺失于56条摘要中的54条，在其中18条全文中有所陈述，因此56条全文中有36条（64.3%，95% CI [51.2, 75.5]）未陈述其所分析评论的语言。无审计记录在摘要中陈述了其全文遗漏的属性。
**讨论与结论**
RQ1询问研究在多大程度上报告其分析评论数据的平台、语料规模和语言范围。三个属性的表现不同，这种差异是实质性结果。语言范围在摘要中几乎从未被陈述。它缺失于93.1%的符合条件记录中，而语料规模和平台约半数时间缺失。语料规模和平台是那种能进入摘要的细节，因为它们传达规模和来源，两者都使研究显得充实。语言范围两者都不传达。它是一种限制而非资产，而限制正是摘要所省略的。因此，最直接决定数据中谁被代表的属性，恰恰是读者最不可能在摘要中找到的属性。这很重要，因为语言限制并非中性的技术选择。计算资源集中于少数资源丰富语言的现象已被充分记录，而过滤为英语的评论语料库就是英语玩家的语料库。该过滤是否被应用，更不用说原因，在绝大多数情况下无法从摘要中确定。这一差距也未在缩小。命名平台在覆盖期内变得更常见，而陈述语言范围未显示趋势。描述来源的属性有所改善；描述代表性的属性则没有。全文审计对此进行了限定。摘要省略的平台和语料规模几乎总是在文中更远处有所陈述，因此对于这两个属性，差距主要是位置问题。语言范围在56条可获取全文中有36条未陈述（64.3%），因此对于语言，差距超越了摘要并延伸至研究本身的报告之中。一个相关的差距涉及谁撰写了被分析的文本。在7.8%的记录中，摘要未明确材料是用户生成还是专业评论。该比例虽小，但涉及文献否则视为根本的区分。
RQ2询问分析方法的构成如何变化，特别是基于Transformer的方法是否取代了基于词典的情感分析。答案取决于以什么衡量取代。Transformer使用随出版年份急剧上升，概率主题建模亦然。基于词典的方法在绝对使用量上并未下降：它们出现在2019年前的2条记录中，2019至2022年间的3条中，2023至2026年间的13条中，即这些时期符合条件记录的4.5%、5.1%和9.3%。非显著趋势并非无变化的证据，但词典趋势的区间（比值比每年1.082，95% CI [0.950, 1.232]）排除了使用几率以每年超过约5%的幅度下降。相对于其他计算文本方法，情况不太清晰。在使用任何此类方法的记录中，词典份额近年较低（2019年前6条中2条，2023年起15.3%），估计趋势指向下降（比值比每年0.908，95% CI [0.778, 1.060]），但区间与无变化和大幅相对下降均兼容。无符合条件记录同时使用两个家族，因此两者应用于不同研究而非在同一研究内组合或比较。因此支持的解读是：基于Transformer的方法被添加而未减少基于词典方法的使用，而其对该词典方法相对地位的影响无法从本语料库确定。基于词典的工具仍在使用的因为其透明、廉价和可解释，该领域的综述预期共存而非继替。推断统计建模和定性编码是两个最频繁的家族，领先于所有计算文本方法。这不是一个纯计算文献，将其视为纯计算文献会错误描述它。另一个特征不那么令人安心。在33条记录（13.5%）中，摘要完全未命名任何分析程序，且该份额未显示趋势。方法学报告在摘要中并未随方法学复杂性的提升而改善。
RQ3询问在命名来源的研究中数据来源有多集中。在识别平台的记录中，72.2%使用Steam。无符合条件记录利用主机商店平台。在整个符合条件集中，Steam份额为245条中104条（42.4%），因此主导地位在披露来源的研究中成立，而非在整个文献中。这些数据无法说明它是否供应了全部评论研究的三分之二。即使有此限定，集中仍有后果。Steam的评论系统具有特定可供性：二元推荐而非数字评分、每条评论附有公开游玩时长、有用性投票机制。依赖其中任何一项的发现都是关于Steam的发现。游玩时长字段尤其在其他大多数商店平台上没有对等物，它支撑了大量将评论时间与评论内容关联的研究。主机商店平台的缺失是覆盖缺口而非关于主机玩家的发现，因为主机评论系统在很大程度上无法被自动收集。
RQ4询问哪些构念与哪些方法家族一起被检验。主题内容、情感和玩家体验占编码构念的大部分。突出的方法配对达到约1.5至1.8的提升，这表明一种倾向而非规则。更值得注意的是边缘处的稀缺。毒性是一个活跃的研究领域，拥有大量自身文献，但它在五条符合条件记录中出现。虚假和协调评论亦然，编码为虚假评论检测，出现在七条中。评论语料库显然不是追求这些问题的首要工具，尽管它们是少数以公开存档形式大规模捕获敌意语言的来源之一。
研究结论：分析用户生成视频游戏评论的研究很少在其被发现和筛选的层面陈述其所分析的数据。研究人员从868条筛选记录中编码了245项符合条件研究，采用摘要层面方案，针对独立人工编码验证了每个编码维度和筛选决策，并审计了随机全文样本。四个研究问题有直接答案。RQ1：语言范围缺失于93.1%的摘要中，语料规模缺失于49.8%中，平台缺失于41.2%中，仅4.1%报告全部三项。语言披露在覆盖期内未改善，在随机审计中语言范围在56条可获取全文中有36条仍未陈述，而全文几乎总是陈述平台和语料规模。RQ2：基于Transformer的方法被添加而未减少基于词典方法的使用，尽管基于词典的方法相对于其他计算方法是否失去阵地无法确定，推断统计和定性编码仍是最频繁的方法家族，因此这不是一个纯计算文献。RQ3：在命名来源的研究中，72.2%使用Steam，无一使用主机商店平台，因此该领域关于玩家评论的许多知识是关于一个商店平台的知识。RQ4：方法与构念按倾向而非规则配对，主题模型最常应用于主题内容，基于Transformer的模型最常应用于情感，而毒性和虚假评论检测很少通过评论研究。实际后果直接随之而来。该领域的综合研究需要全文提取抽样属性，并应预期语言范围在许多研究中不可恢复。作者和期刊可通过报告条目清单弥补大部分差距，对于语言范围，第一步是在方法中首先陈述它。基于Steam评论的发现应被解读为关于Steam的发现，直到其他商店平台被以可比深度研究。验证设计可超越本语料库复用：语言模型辅助编码的每维度一致性、从被排除记录中抽取的筛选检查、以及按层加权并投影到语料库的错误率作为244至281项真正符合条件研究的区间。相同方案可应用于应用商店、电子商务和旅行评论研究，以检验这些报告差距是否为游戏研究所特有。该文献中自动分类是否针对人工判断进行验证仍属未决，因为摘要不携带该信息。
