基于大语言模型（LLMs）自动化研究综合中的摘要筛选：教程与概念验证研究

《Advances in Methods and Practices in Psychological Science》：Automating Abstract Screening in Research Synthesis Using Large Language Models: A Tutorial and Proof-of-Concept Study

　　

筛选摘要（abstract screening）是研究综合（research synthesis）项目如系统综述（systematic review）与元分析（meta-analysis）中关键但耗费人力的步骤。大语言模型（LLMs）为简化并自动化该过程提供了可能，然而关于此类自动化工作流如何在研究实践中实施，目前仍缺乏指导与实用见解。本文提出、描述并示例说明一种使用LLMs进行摘要筛选的程序，其中包含对模型输出不确定性的量化。研究人员提供分步教程，涉及如何选择LLM、在R环境中访问LLMs、开发与改进合适的提示词（prompt）、定义结构化输出格式，以及是否及如何设置模型超参数（hyperparameter）。随后，研究人员以近期一项元分析中经人工评级的摘要集合为对照，开展概念验证研究（proof-of-concept study）对该程序加以示例说明。研究显示，LLM辅助筛选可在保持与人工评级者相当准确度的同时，显著降低综述准备的时间与成本。为支持心理学研究者采用基于LLM的工作流开展研究综合，研究人员还在Gitlab上提供R脚本与实施指南。同时，研究人员强调本工作仅为初步尝试，鉴于LLM技术及其应用持续快速演进，持续的改进与验证至关重要。

研究背景方面，研究综合方法如系统综述与元分析在心理学、社会科学与医学中日益重要，其需要识别全部相关研究、筛选大量标题与摘要并从全文提取信息，而该筛选与数据提取过程耗时、费力、易出错且需要评审者具备大量训练与专业知识。早期自动化尝试依赖随机森林、支持向量机或朴素贝叶斯等传统机器学习算法预测文献纳入或排除，主动学习（active learning）方法如ASReview则通过基于研究者反馈迭代改进模型性能提升筛选效率，但机器学习模型往往需要大量标注数据且跨领域泛化能力差，主动学习算法高度依赖持续的人工反馈。随着ChatGPT出现，LLMs得到广泛使用，其灵活性使其可用于广泛的应用场景，因而人们普遍期望AI工具特别是LLMs能够自动化并简化研究综合过程的各步骤。然而现有文献多仅关注ChatGPT、发表于心理学之外、缺乏实践指导，或依赖阻碍自动化的聊天界面。本文针对这些局限，阐释LLMs的重要概念与技术层面，并演示如何在R软件环境中将其用于筛选科学摘要。研究聚焦摘要筛选，因其高度耗时且易出错（源于疲劳、流失、偏差），但结构良好且相对简单，LLM产生合理准确结果的潜力较高；摘要常以结构化文本形式提供并可从数据库以.csv文件下载。部分或完全以LLM替代摘要筛选过程可显著加速综述过程、节省成本，并可能比人工评级者更少出错。研究旨在以真实数据、可复现代码与跨模型比较，展示LLMs如何支持心理学中的摘要筛选，但并非规定性指南，而是支持未来使用与讨论的实用、可复现示范。教程部分提出一种受已确立机器学习工作流启发的LLM摘要筛选程序，区分训练集、测试集与预测（筛选）集：步骤1为创建训练、测试与筛选集；步骤2为人工评级训练与测试摘要，其目的为（a）细化与澄清筛选标准，（b）建立比较标准以评估不同提示词、模型与超参数；步骤3为设计并评估提示词，在训练集上迭代设计、改进与比较提示词策略、输出格式与模型配置，选定后在留出测试集上评估；步骤4为筛选其余摘要。研究人员还提出通过每篇摘要多次运行模型（此处10次）评估输出不确定性，以相同提示词与模型设置下重复运行分类的一致性来操作化不确定性，若模型在不同迭代中对同一摘要的纳入与排除不一致，则该案例被标记为不确定并接受人工审查。在创建训练与测试集方面，实践中所需规模不仅取决于纳入标准的复杂性，还取决于语料中纳入研究的流行率（prevalence），心理学系统综述或元分析中纳入率低于10%很常见，因此仅凭总样本量可能产生误导，应确保训练与测试集除合理数量的排除摘要外还含有足够数量的纳入摘要；纳入标准简单且数据集较平衡时较小样本可能足够（如训练与测试各至少100至200篇摘要），高度不平衡情形则需要大得多的筛选样本以获得稳定性能估计；训练与测试集可通过随机抽样创建，但若人工筛选发现纳入与排除摘要分布高度不平衡，可通过分层抽样（stratified sampling）确保训练集含有足够数量的纳入研究，研究者对明显相关或不相关研究的先验知识可用于补充训练集，但若仅熟悉特定研究集则可能引入偏差。在LLM类型方面，许多LLMs为专有且闭源，如OpenAI的ChatGPT、Google的Gemini或Anthropic的Claude，其结果长期难以复现，例如特定模型版本停用或更新时；替代方案为开放权重（open-weight）LLMs，其训练后参数（权重）公开可得并可在本地运行或调整，如Meta开发的LLaMA与Google开发的Gemma等，可在研究者自有硬件（如性能足够的笔记本电脑）上运行或托管于租用或大学的云基础设施，从而提高透明度、可复现性与长期可及性，尤其适用于敏感数据或无互联网访问的环境，但计算性能可能低于大型专有模型。在模型选择方面，由于可用LLMs数量众多且快速演进，文献中报告的模型比较可能很快过时，且没有单一模型可假定在所有任务类型上表现最优，模型性能强烈依赖具体应用即纳入标准的复杂性或特定提示词，因此建议在训练集上比较多个LLMs，可结合性能指标（如灵敏度、特异度）与模型输出不确定性以及成本或运行时间等实践考量；概念验证研究按关键维度（闭源与开放权重、推理导向、较大与轻量模型）选取代表性示例，主要目的并非确定普遍"最佳"模型，而是（a）选择适合该任务的模型，（b）实证说明性能与不确定性跨模型差异的程度。在通过应用程序编程接口（API）自动化LLM访问方面，聊天界面易于使用且无需编程经验，但限制了工作流自动化以致无法高效处理大量摘要；API工作流允许研究者将LLMs直接整合到R或Python等数据分析环境，可从R或RStudio内发送提示词并将模型输出直接保存为结构化文件（如.csv）以供进一步分析，消除聊天界面与分析软件之间手动复制粘贴的需要，减少人为错误并提高效率；API可作为LLM的访问点，无论其由提供方（如OpenAI）托管还是在本地运行。对于提供方托管的LLMs，提供方通常通过API密钥（API key）将账户与LLM使用关联以实现计费，在OpenAI平台创建账户后可生成并复制API密钥，用于在R中向OpenAI API发出的请求进行身份验证，每次API请求产生少量基于用量的费用；API密钥应安全存储且绝不硬编码到分析脚本中，R中推荐的做法是将其存储在名为.Renviron的环境文件中，该文件在R会话启动时自动读取，配置正确时相应命令返回存储的API密钥。对于本地LLM，可在研究者自有计算机上运行（但通常仅有专用显卡或较新MacBook的计算机能提供有意义的处理速度）或托管于租用服务器（如使用大学基础设施），适用于敏感数据、互联网访问受限或避免API成本的情形，许多情况下无需创建API密钥，但本地运行模型需要足够的计算资源；研究以量化（quantized）的12亿（12B）参数Gemma3模型作为本地运行模型示例，其大小为8.9 GB，可在32 GB工作内存的MacBook Pro M3 Max上运行，此类量化版本通常性能较低但所需计算资源显著更少；运行本地LLMs的工具包括Ollama与LM Studio，研究描述了使用Ollama运行Gemma 3模型的流程，包括从官网安装应用、在终端执行命令下载量化12B参数版本、启动模型并开启交互会话，用于筛选摘要时建议不从终端输入提示词而应从R访问模型，且从R使用本地模型前须在终端调用ollama serve激活。在R中调用模型方面，配置API密钥或启动本地模型后，可通过API直接从R调用LLMs，该过程已在ellmer等专用包中实现自动化，ellmer可视为R与LLM之间的桥梁，简化LLMs与R工作流的整合；为自动化摘要筛选，研究定义了rate_abstract函数，发送摘要与若干附加参数（如提示词与下文讨论的模型超参数）并以适合进一步分析的结构化格式返回LLM响应，依据所用提供方（如OpenAI或Ollama）需要不同版本的函数，因提供方API不同，LLM输出直接存储于数据集中并可用R函数评估与可视化。在模型适配与调优即提示工程方面，LLMs为预训练通用模型，通常开箱即用表现良好但并非专门针对摘要筛选等任务训练，其行为可通过微调（fine-tuning）模型权重或修改提供给模型的输入指令即提示工程两种主要途径加以适配，此外还可通过使用结构化输出格式或调整温度（temperature）等超参数影响模型行为；微调模型权重通常需要大量计算资源与大量任务特定训练数据，在许多应用研究情境中不切实际，而提示工程、结构化输出与超参数调优通常无需高级技术基础设施即可实施，提示工程可类比于为人工评级者开发与改进编码手册，模糊的构念或缺失的示例很可能导致不一致的分类，无论由人类还是LLMs进行。常用的灵活提示方法将系统提示词（system prompt）与零样本（zero-shot）或少样本（few-shot）任务指令相结合，系统提示词在交互开始时提供并界定模型应采取的角色、专长或视角，如声明"你是一名协助系统文献综述的心理学研究者"有助于将所有后续响应置于特定情境，主任务提示词则规定纳入与排除标准及期望的输出格式；零样本提示词描述任务而不提供任何具体示例，少样本（或多样本）提示词则包含一个或多个示例，提供示例有助于明确模型期望的结构、细节程度与解释方式，当纳入标准具体且操作化良好（如发表语言或参与者类型）时零样本提示词往往足够，而当标准在概念上复杂（如界定何为密集纵向数据）时少样本提示词尤为有价值。在开发零样本与少样本提示词方面，零样本提示词通常包含对所有纳入与排除标准的清晰描述及对期望输出格式的明确说明，但不提供摘要示例或示例筛选决策；除零样本提示词内容外，研究者可提供突出摘要中哪些部分对特定纳入或排除标准起决定作用的示例，这些摘录作为少样本提示词中的"shots"，须从基于人工评级而被纳入或排除的其他摘要中提取；选择这些少样本示例时旨在使用既具代表性又对纳入决策有信息量的案例，具体而言示例被选以覆盖原型案例（明确纳入或排除）与说明纳入或排除标准为何适用或不适用（或适用）的边缘案例，这种组合有助于模型捕捉标准背后的核心特征，经验法则是选择也能帮助人工评级者（如学生研究助理）理解标准并做出知情纳入决策的摘录；最终提示词中使用分隔符（即'''或===）突出章节标题并指示提示词的不同部分，清晰的分隔符支持模型的信息处理、引导注意力并减少提示词组件之间的干扰。另一受到相当关注的提示策略是思维链（chain-of-thought）提示，通过产生中间推理步骤鼓励LLMs生成更有推理依据的响应，例如要求"逐步思考"，但较新的LLMs（如o4或推理模式下的GPT-5.2）在内部完成大部分此类推理，对这些模型而言明确提示逐步推理往往不必要。在评估、改进与选择提示词方面，当训练集上性能不理想时，应通过（a）澄清、简化或进一步操作化纳入与排除标准，（b）扩展或替换少样本示例以更好代表模糊案例，（c）评估替代输出格式来改进提示词，每个修订后的提示词随后应在训练集上评估，只有当提示词达到良好性能后才应将其应用于测试集，训练集与测试集之间的这种分离有助于防止对提示词设计决策的过拟合并保持测试集作为使用新一批人工评级摘要的无偏评估；若测试集上性能不理想，进一步的改进应仅在训练集上进行，因为测试集不得重复用于迭代优化；实践中提示词开发可按以下组织：（1）基于纳入与排除标准起草一组初始提示词；（2）在训练集上评估性能；（3）检查误分类摘要以识别系统性或反复出现的错误；（4）相应修订提示词、示例或输出格式；（5）重复该过程直至性能令人满意；（6）最后在留出测试集上评估所选提示词以评估其对新摘要集的泛化。在输出格式方面，为便于自动化，将LLM响应约束为标准化格式是有用的，如"用yes或no回答以下问题"的提示词指示模型在预定义类别内响应；针对摘要筛选提出两种主要输出格式：（a）纳入格式（include format），LLM评估摘要是否满足所有纳入标准，若应纳入则响应TRUE，否则响应FALSE；（b）基于标准的格式（criteria-based format），LLM分别评估每个纳入标准并对每个标准响应TRUE或FALSE。为实现此类输出格式，可使用结构化输出（structured outputs）强制LLM以JSON（Javascript Object Notation）格式响应，JSON为常用于存储与交换数据的机器可读数据格式，在R中可使用ellmer包的type_object与type_boolean函数定义结构化输出，所得定义输出模式的对象（schema_include或schema_criteria）随后作为参数传递给rate_abstract函数。在模型适配与调优即设置超参数方面，温度是最重要的超参数之一，控制模型响应的可预测性与创造性，较低值（0.0–0.5）产生更确定与聚焦的响应（适用于事实性任务如数学问题），较高值（0.7–1.2）产生更多样与创造性的响应（适用于头脑风暴任务），但有时以一致性为代价；即使温度设为零，对OpenAI API的重复运行也可能因固有的非确定性而产生略有不同的输出，如Pugh等（2024）所指出的"将温度设为0将使输出基本确定，但仍会保留少量变异性"。对于许多OpenAI模型，默认温度值为1.0，因该设置被认为适合提供愉快的对话交流，但对摘要筛选而言将温度设为较低值（如0.0或0.2）以最大化可复现性与一致性可能更为合适；当LLMs在推理模式下运行时，往往无法设置温度值，模型会自动调整该设置；建议在训练集上评估不同温度与推理设置，以更好理解模型行为或识别在多次评估提示词时仍模糊的纳入标准。在通过多次模型运行量化不确定性方面，一种方式是多次（如10次）运行摘要筛选过程，跨运行一致纳入或排除的摘要可以高置信度分类，而分类不一致的摘要可标记为不确定并接受人工审查，该方法有助于识别模糊或边缘案例并降低误分类风险；不确定性量化首先应视为相对于产生纳入/排除单一决策的单次筛选的信息增益，它提供跨运行分类不确定性的经验估计，可采用若干策略利用该信息：（a）报告明确分类的数量（即跨运行始终纳入或排除的摘要）与不确定分类的数量，使不确定性程度透明；（b）纳入跨运行至少一次被分类为相关的所有摘要，当首要关切是避免遗漏潜在相关摘要时这是谨慎策略；（c）定义阈值（如纳入90%–100%、排除0%–10%、不确定20%–80%，或纳入70%–100%、排除0%–30%、不确定40%–60%）有助于限制需要人工审查的摘要数量同时控制误分类风险；（d）在基于标准的输出格式中评估每个标准的不确定性，有助于识别模型较模糊或难以评估的特定纳入标准，以改进提示词或少样本提示的示例。在R代码示例与结果数据结构方面，研究以OpenAI GPT-5.2模型为例说明如何从R运行摘要筛选程序，调用rate_abstract_openai函数并传递若干参数，包括待评级摘要、模型名称、温度设置、推理程度、系统提示词与输出模式；该情形下函数返回布尔值（TRUE或FALSE）表示摘要是否应纳入，使用基于标准的输出模式时函数为每个标准返回布尔值；由于模型原则上可能对某些摘要未能返回有效响应（如因超时或其他技术问题），建议将函数调用包裹在tryCatch语句中以捕获潜在错误；当debug = TRUE时函数额外返回系统提示词、输出模式与摘要以便用户检查所提供输入，默认为debug = FALSE仅返回模型输出。实践中应将数据集中的所有摘要一次性传入，此外为量化不确定性整个筛选过程重复多次（如10次）；研究提供了示例R代码，说明如何使用不同系统提示词、输出格式、温度与推理设置及多次迭代为训练数据集中的所有摘要设置并运行摘要筛选程序；rate_abstract_openai函数需根据使用纳入输出格式还是基于标准的输出格式进行不同设置，研究仅展示纳入输出格式的设置；以下R代码代表运行纳入输出格式筛选程序前的准备步骤，加载必要函数与数据、定义所用模型、指定不确定性量化的迭代次数，并将提示词与输出模式组织为列表以便筛选过程中轻松访问；expand.grid函数创建包含摘要、迭代与指定设置所有组合的数据框，允许系统评估不同提示词、输出格式、温度设置与迭代，注意结果网格中include列初始化为NA值，将在运行筛选程序后替换为模型输出；对于基于标准的输出格式，存储结果的数据框设置类似，但为每个标准设置单独列而非单一include列；for循环用于将rate_abstract_openai函数应用于结果网格的每一行，在每种设置组合下筛选每篇摘要，结果存储于结果网格的include列，为访问每行正确的系统提示词与输出模式，使用[[ ]]运算符根据网格中指定的名称从提示词与模式列表中检索相应对象，tryCatch函数用于处理API调用期间的潜在错误，确保即使特定摘要发生错误循环仍继续，若发生错误则在该行的include列存储NA；该调用可能运行一段时间并花费一些费用，因此输出应保存以供进一步分析；对于基于标准的输出格式，过程类似，但模型输出存储于每个标准的单独列（如empirical_article、intensive_longitudinal_data）而非单一include列。在模型性能评估方面，可通过在训练与测试集上比较LLM输出与人工评级来评估模型性能，关键指标为真阳性（true positive，正确纳入）、真阴性（true negative，正确排除）、假阳性（false positive，错误纳入）与假阴性（false negative，错误排除），由这些计数可计算灵敏度（sensitivity，亦称"召回率"recall）、特异度（specificity）、准确率（accuracy）与平衡准确率（balanced accuracy）等标准指标，平衡准确率在考虑类别不平衡（摘要筛选中并不少见，如多数摘要落入某一类别时）的同时反映整体分类性能，其公式为灵敏度与特异度之和的一半。关于何为良好模型性能，以人工评级者之间的一致性为参照，Vembye等（2025）提出LLMs可以灵敏度≥75%与特异度≥80%达到人类水平的筛选性能；与他们的结论一致，研究认为实践中应优先考虑灵敏度，若灵敏度低于75%至80%，研究者应改进提示词或模型或回归人工筛选，相比之下中等特异度可能可接受，因为假阳性可在后续人工审查中剔除；当最小化遗漏研究风险至关重要时，一种策略是用LLM自动纳入摘要并人工筛选其排除的摘要，或者所有摘要均人工筛选并将LLM评级作为决策支持的第二来源；注意训练集上的性能可能过于自信，尤其当评估多个模型、提示词与输出格式时，因此测试集上的性能预计会较低，所以在训练集上设定略高的性能阈值（如灵敏度85%）以确保测试集上令人满意的性能是合理的；此外研究说明置信区间（confidence interval）如何随样本量增加与比例接近1而变窄，表明即使基于相同总样本，灵敏度与特异度的精度也可能不同，例如考虑训练集200篇摘要，按人工判断40篇纳入与160篇排除，若LLM正确纳入40篇相关摘要中的34篇则灵敏度为85%，若正确排除160篇不相关摘要中的120篇则特异度为75%，尽管灵敏度结果可能令人满意，但纳入案例数量相对较少意味着灵敏度估计对小规模分类结果变化仍敏感，随流行率进一步降低该问题更为明显，灵敏度与特异度的有效样本量不同，因其分别取决于基于人工评级的纳入与排除摘要数量。在概念验证研究方面，研究使用近期一项元分析的筛选数据，该元分析基于预定义纳入与排除标准人工编码了1,992篇摘要的子样本：元分析纳入使用密集纵向数据、报告心理构念、包含自我报告测量、涉及人类参与者并以英文撰写的实证文章；原始摘要筛选过程中三名学生助理对该1,992篇摘要子样本评级，每篇摘要由一名学生查看，他们被指示谨慎行事并纳入无明确决策的摘要，学生排除1,108篇并纳入884篇；为模拟真实世界的筛选过程，研究暂时忽略人工标签，仿佛从零开始，但随后使用这些真实基准评级评估LLMs的性能。在准备即数据划分、提示词设计、结构化输出与模型选择方面，研究通过从全部1,992篇摘要中随机抽样将数据集划分为训练、测试与筛选集，训练集与测试集各含100篇摘要，其余1,792篇摘要构成筛选集；本研究中纳入与排除摘要相当平衡，其他研究中可能存在更大的类别不平衡，可能需要在训练与测试集中包含更多摘要，训练与测试集中的摘要现需人工标注以建立性能评估基础；研究使用两种提示词类型（零样本与少样本）与两种输出格式（纳入与基于标准的）完全交叉，零样本提示词由纳入/排除标准构成（如研究团队提供给学生的版本），少样本提示词中添加的shots为从六篇纳入与六篇排除摘要中提取的12个示例，展示标准在实践中如何体现，两种提示词类型均与简短介绍文本及关于是响应单一纳入键还是基于每个标准响应的说明相结合；这些准备步骤记录于Gitlab上的R文件00_preparation.R，该文件还使用文本文件为构建块（介绍、标准、输出格式）组装提示词并为纳入与基于标准的输出模式构建结构化输出对象，当R文件复用于新的摘要筛选项目时需加以调整；对于LLMs，研究纳入OpenAI的GPT-5.2模型作为强大闭源模型的示例，GPT-5.2模型具有可设为"none"的推理超参数以允许用户改变温度，研究使用无推理下温度值0.0与1.0，并将推理设为"medium"以在训练数据上评估模型行为；除GPT-5.2模型外，研究使用Google开放权重Gemma家族的量化Gemma3模型（Gemma3 12B-IT-QAT），这一8.9 GB的轻量模型可在MacBook Pro上本地运行，目标是让读者了解当前LLMs在将相同提示词应用于不同LLMs时在摘要筛选任务上可达到的性能范围。在训练数据筛选即准确度指标与不确定性方面，研究在训练数据上对每篇摘要、每种提示策略及（如适用）温度与推理设置将每个提示词运行10次，并基于人工评级计算评估指标，对每种提示策略、输出格式与温度设置报告真阳性、真阴性、假阳性、假阴性、灵敏度、特异度与平衡准确率数量以及10次运行中至少一次评级不一致的摘要数量；注意真阳性、真阴性、假阳性、假阴性、灵敏度、特异度与平衡准确率仅基于跨运行一致分类的案例计算（即所有运行中获得相同分类），至少一次运行中评级不一致的摘要被排除在评估指标之外。对于GPT-5.2模型，研究观察到基于标准的输出格式的零样本提示词产生最高灵敏度与略低的特异度，因此相比其他提示词与输出格式倾向于产生更宽松的结果，换言之该提示词更具包容性，遗漏的相关摘要更少但错误纳入的不相关摘要更多，不确定性在基于标准的输出中总体更高并随温度值升高略有增加。对于GPT-5.2模型（推理），推理模式下GPT-5.2模型的性能与无推理的GPT-5.2模型相当，但有更多摘要被标记为不确定而需要人工审查，与无推理模式的GPT-5.2模型一样，基于标准的输出格式产生比纳入输出格式更高的灵敏度但也带来更高的不确定性。对于Gemma3 12B-IT-QAT模型（量化且本地运行），本地运行的Gemma3模型相比云托管的OpenAI模型表现较低，零样本提示词在灵敏度上优于少样本提示词，表明少样本设置中更大的输入规模可能使这样的小模型不堪重负，输出格式似乎作用可忽略，且温度越高不确定性越高。在不确定性评估方面，基于标准的输出允许更细致地考察各标准与温度设置下的不确定性；不确定性似乎依赖标准：empirical_article、human_participants与english等标准不确定性低，intensive_longitudinal_data、psychological_construct与self_report_over_time等标准不确定性略高，该模式与研究对标准难度的主观评估一致，表明模型行为合理可靠；总体上不确定性率相对较低，表明模型对大多数摘要与标准在多次运行中产生一致输出，考察不同标准的不确定性后研究判断可信任模型输出并在不针对特定纳入/排除标准改进提示词的情况下继续对测试与未见数据进行测试。在将该程序应用于测试与筛选数据方面，由于灵敏度与特异度表现出高于Vembye等（2025）所提阈值的良好性能，且标准的特定不确定性评估未引起担忧，研究选择GPT-5.2模型、零样本提示词与基于标准的输出格式、温度=1.0用于筛选测试集数据，该提示词的灵敏度（0.93 ± 0.01）与特异度（0.89 ± 0.01）均足够高，11%的不确定性率允许在不对未见数据产生潜在过度人工审查的情况下继续；研究将所选策略应用于100篇测试摘要并重复过程10次以量化不确定性，结果与训练集相当，灵敏度为0.92 ± 0.01、特异度为0.91 ± 0.01，因此继续筛选其余1,792篇摘要，结果再次相当；在1,792篇未见摘要中，154篇在至少一次运行中评级不一致并被标记为不确定，研究认为人工审查154篇摘要是可行的，相比审查全部1,792篇摘要可节省大量时间。在模型与人工评级者分歧的定性比较方面，研究通过定性检查误分类摘要进一步考察GPT-5.2与人工评级者之间的分歧，使用所选提示词（零样本、基于标准的输出、温度=1）时模型误分类8篇训练摘要与8篇测试摘要（假阴性：3+3；假阳性：5+5）；对16篇误分类摘要的事后评估显示所有摘要均涉及与密集纵向数据或自我报告测量相关的主题，多数同时涵盖两者，根据纳入标准，5篇被模型正确纳入、3篇被模型正确排除，而人工评级者做出了相反决策，LLM在其余8例中做出错误决策（5例假阳性与3例假阴性），其中多数为模糊案例（如人工评级者的事后评估决定"保险起见"纳入研究或将"疼痛"归类为心理构念）；这些定性结果表明LLM可能比人工评级者略更具包容性，在大约一半的分歧中是正确的，且模型的误分类常发生在边缘案例中，此时纳入或排除均可提出合理理由。在概念验证研究的关键要点方面，综合而言该概念验证研究表明，只要仔细考虑模型选择、提示策略与不确定性处理，LLMs可在实现与人工评级者相当性能的同时显著降低摘要筛选的时间与成本；性能跨模型差异显著，GPT-5.2等较大专有模型始终优于较小的本地运行模型，切换到推理模式并未带来显著更高的准确度反而产生更大的不确定性，增加了人工审查的需要，这些发现突显更复杂或"推理"模型对于摘要筛选等相对定义明确的任务未必具有优势，较简单的模型可能已足够；提示策略进一步以系统性方式影响模型行为，基于标准的输出以特异度为代价产生更高灵敏度并增加不确定性；最后，筛选近2,000篇摘要仅需数小时且费用极低，筛选时间与成本的大幅降低说明了LLM辅助筛选的实际效益。讨论部分指出，本文提出、描述并示例说明一种使用LLMs进行摘要筛选的程序，并提供关于选择LLM、从R访问LLMs、开发与改进提示词、定义结构化输出格式以及设置超参数的逐步教程，概念验证研究使用近期元分析中经人工评级的摘要表明LLM辅助筛选可在保持与人工评级者相当准确度的同时大幅降低综述准备的时间与成本，研究还在Gitlab上提供R脚本与实施指南以支持心理学研究者采用基于LLM的工作流开展研究综合；同时强调本工作仅为初步尝试，鉴于LLM技术及其应用持续快速演进，持续的改进与验证至关重要。研究结论为：LLM辅助筛选可在保持与人工评级者相当准确度的同时显著降低综述准备的时间与成本，但该工作仅为初步尝试，持续的改进与验证至关重要。