将 AI-augmented transformatizing 转化为可操作实践:Human-AI Augmented Mixed Methods Research 的递归协议、HAAM-QAM 质量准则与报告标准
《Frontiers in Psychology》:On AI-augmented transformatizing in practice: protocols, quality criteria, and reporting standards for Human-AI Augmented Mixed Methods Research
人工智能(Artificial Intelligence, AI)正在日益重塑质性研究、量化研究和混合方法研究,但关于人类—AI分析协作的实施、评价与报告的实际指导仍不充分。基于 AI-augmented transformatizing——一个将 AI 概念化为分析性再表征(analytic re-representation)参与者而非仅是技术工具的表征—递归框架——本文提出面向实践的 Human-AI Augmented Mixed Methods Research 框架。本文提供三项整合性贡献。第一,提出 AI-Augmented Transformatizing Protocol,这是一个递归工作流程,用于准备表征、分配人类与 AI 的分析角色、生成 AI 辅助转换、实施人类批判、精炼发现以及构建元推论(meta-inferences)。第二,提出用于评估人机增强分析中方法学严谨性的质量准则,包括表征保真度(representational fidelity)、提示可追溯性(prompt traceability)、递归透明性(recursive transparency)、人类监督完整性(human oversight integrity)、算法反身性(algorithmic reflexivity)、收敛—发散探查(convergence-divergence interrogation)、元推论稳健性(meta-inferential robustness)和伦理问责(ethical accountability)。第三,提出报告标准,旨在帮助作者披露 AI 系统、模型版本、提示程序、分析迭代、研究人员干预、验证/合法化策略(validation/legitimation strategies)、伦理保障和局限性。这些提出的方法学组成部分是概念性和实践导向的,而非已经实证验证的;因此,工作示例用于说明其操作逻辑,而未来研究需要确立其实证表现,包括 HAAM-QAM(Human-AI Augmented Mixed Methods Quality Assessment Matrix,人机增强混合方法质量评估矩阵)的效度和信度。该框架不是将 AI 使用视为可选的效率提升,而是将人—AI协作定位为一种结构化方法学实践,要求明确设计、文档记录、反身性和问责。通过将 AI-augmented transformatizing 理论转化为协议、质量准则和报告标准,本文为方法学家、研究人员、作者、评审人、编辑、研究生教育者、导师等提供实践指导,以在心理学及相关领域开展透明、严谨且伦理负责的 AI增强混合方法研究。由此,本文通过回应 AI 直接参与分析时引入的独特表征、递归和伦理要求,扩展现行报告指南和质量框架。
研究背景与问题:AI 正嵌入社会、行为与健康科学的设计、分析、解释和传播过程。机器学习与大语言模型(Large Language Models, LLMs)可支持模式检测、分类、文本生成、摘要、编码和解释。混合方法研究的核心关切是整合,即关联、连接、转换和解释质性研究与量化研究成分、阶段或支线,以产生超越单一成分的洞见。然而,许多混合方法框架形成于 AI 成为分析流程主动参与者之前,未充分说明算法生成表征如何进入整合推理。已有报告标准如 PRISMA、COREQ、SRQR 等,以及质量评估工具如 MMAT、混合方法合法化框架等,主要针对传统研究设计;Anguera 等人的系统观察方法 QUAL→QUAN→QUAL 显示了表征转换的整合传统。近期生成式 AI 研究显示,AI 可加速编码和主题生成,但也会产生不一致、去语境化或不够细致的解释,因此需要人类验证与解释判断。本文的问题在于:现有框架缺少 AI 特异性方法指导,如提示工程、提示文档、模型架构与版本披露、迭代人机互动记录、AI 生成表征评价、算法偏见管理、人类监督审计以及 AI 辅助整合结论报告标准。因此,研究人员将 Onwuegbuzie 的 AI-augmented transformatizing 理论转化为实践,提出协议、质量准则和报告标准。研究人员不主张 AI 替代人类解释,也不将 AI 输出视为认识论上优于人类分析,而是将人—AI协作视为结构化、反身且负责任的方法学实践,人类保留框定、解释、伦理判断和最终元推论责任。
关键技术方法(不超过250字):本文为概念性、实践导向的方法学论文。主要方法包括:提出七阶段 AI-Augmented Transformatizing Protocol;构建三域八维 HAAM-QAM;提出六域报告标准;并以工作示例说明其操作逻辑。工作示例材料为作者构建的四个假设性研究生访谈摘录,以及一个假设性量化表示,即研究生对生成式 AI 研究有用性的 10 点评分,示例中 M = 7.4,SD = 1.6。原文明确说明这些材料均为假设性、作者构建,非来自真实人类参与者,无样本队列来源,不涉及人类被试研究、参与者招募或可识别私人信息,因此不需要机构伦理批准或知情同意。本文不涉及试剂、培养或质粒构建等步骤。
研究结果:以下保留原文主体小标题并浓缩其结论。
“Bridging the theory–practice gap in Human-AI Augmented Mixed Methods Research”:通过文献综合与概念论证,指出 AI 已进入研究设计、分析、解释与传播,混合方法整合必须处理算法生成表征;既有框架不足以指导负责任的人机整合。
“From conceptual framework to methodological practice”:总结 AI-augmented transformatizing 的核心构造,包括表征、再表征、递归、AI 作为分析参与者、元推论与人类解释权威,并指出伴随文章提供概念起点,本文负责操作化。
“Conceptualizing Human-AI Augmented Mixed Methods Research”:提出五项方法学原则,即 AI 作为分析参与者、人类与 AI 的互补表征角色、分布式分析能动性、人类解释权威、递归人机协作;通过概念架构区分人类与 AI 的责任。
“The AI-Augmented Transformatizing Protocol”:提出七阶段递归协议,用于从表征准备到元推论构建与验证的工作流。协议虽按顺序呈现,但本质上迭代,可回溯前阶段。
“Overview of the AI-Augmented Transformatizing Protocol”:说明七阶段包括表征准备、人类分析定向、AI 辅助转换、人类批判与语境化、递归再提示与再表征、元推论构建、反身审计与验证。
“Phase 1: representational preparation”:研究人员识别质性材料、量化数据集、整合展示、文献证据与语境信息,记录来源、验证完整性、必要时去身份化并保留解释语境,形成初步分析备忘录;结论是建立有来源记录和语境信息的分析语料。
“Phase 2: human analytic orientation”:研究人员明确研究目的、理论视角、方法路径、混合方法设计及 AI 角色,制定 AI 互动计划、文档程序和质量保障,并记录于 Recursive Analytic Charter;结论是建立后续人机互动的概念与方法基础。
“Phase 3: AI-assisted transformation”:研究人员开发并记录提示,AI 生成编码结构、主题组织、概念摘要、统计解释或叙事等表征,并尽量请求多个替代表征;结论是形成可追溯的 AI 生成表征语料。
“Phase 4: human critique and contextualization”:研究人员评估 AI 表征的表征保真度、语境适当性、理论一致性、方法一致性和伦理可接受性,决定接受、修改、整合或拒绝,并保留批判备忘录;结论是形成经批判评价的表征。
“Phase 5: recursive re-prompting and re-representation”:根据前一轮批判修订提示,生成精炼表征,直到迭代不再产生实质分析精炼;结论是形成有完整迭代记录的细化表征。
“Phase 6: meta-inference construction”:比较质性、量化、整合、AI 生成和递归精炼表征,识别收敛、发散、理论含义与解释关系,最终解释判断仍由人类负责;结论是形成有表征证据和方法文档支持的元推论。
“Phase 7: reflexive audit and validation”:审计提示历史、AI 互动、表征来源与发展、批判备忘录、迭代修改、反身文档和最终结论理由;结论是形成 Recursive Methodological Audit Report,支持可信度、可重复性和可信赖性。
“Quality criteria for human-AI augmented mixed methods analysis”:提出需要新质量准则,因为传统质量框架假定分析推理几乎完全由人类研究者承担,而 AI 参与引入提示文档、表征来源、迭代互动、算法影响和人类解释权威等新问题。
“Why new quality criteria are needed”:通过方法学论证指出,评价 AI 增强研究不仅看结果,还要看人机生成表征被发展、批判、精炼和整合的递归过程。
“Foundational principles of quality evaluation”:提出五项评价承诺:表征完整性、递归透明性、人类解释权威、方法透明性和认识论问责。
“The human-AI augmented mixed methods quality assessment matrix”:提出 HAAM-QAM,包含三个质量域和八个质量维度;它不是数值评分工具,而是促进方法反思、同行评审、编辑评价和研究者自评的框架。
“Domain I: representational quality”:通过表征质量域评价表征系统完整性,包括表征保真度、提示可追溯性和递归透明性。
“Domain II: analytic quality”:通过分析质量域评价递归人机协作完整性,包括人类监督完整性、算法反身性和收敛—发散探查。
“Domain III: meta-inferential Quality”:通过元推论质量域评价知识主张质量,包括元推论稳健性和伦理问责。
“Interpreting the HAAM-QAM”:强调应整体解释,不应机械计分;四个表现水平为 Emerging、Developing、Proficient 和 Exemplary,用于激发方法反思而非数值打分。
“Reporting standards for AI-augmented transformatizing in Human-AI Augmented Mixed Methods Research”:提出 AI 增强转换化需要新的报告标准,以补充而非替代 PRISMA、CONSORT、COREQ、SRQR 等既有指南。
“Why Human-AI Augmented Mixed Methods Research requires new reporting standards”:通过论证指出,若递归人机过程未透明报告,读者、评审人和编辑无法评价 AI 如何参与及人类如何保持解释权威。
“Principles underlying reporting transparency”:提出六项原则:透明性、可重复性、可追溯性、反身性、问责和可审计性。
“Reporting standards”:提出六个报告域:AI System Disclosure、Prompting Procedures、Human-AI Interaction、Validation and Audit Trail、Ethical Safeguards、Limitations of AI Use。
“AI system disclosure”:应报告 AI 平台、开发者、模型家族、模型版本、访问日期、系统配置和分析角色。
“Prompting procedures”:应记录提示开发、提示演变、递归提示及提供给 AI 的语境信息。
“Human-AI interaction”:应描述递归互动循环、研究人员干预、对 AI 生成表征的接受、拒绝或修改,以及重大递归决策理由。
“Validation and audit trail”:应记录验证/合法化程序、版本历史、递归审计轨迹、方法记录和可支持方法重构的材料。
“Ethical Safeguards”:应报告保护参与者保密、评价和缓解算法偏见、验证 AI 生成表征、确保负责任 AI 使用及维护人类解释权威的程序。
“Limitations of AI use”:应承认模型局限、计算不确定性、认识论约束、提示依赖及人类解释仍必要的情形。
“Using the reporting standards”:强调应前瞻性、整体性使用报告标准,而非仅在稿件准备时作为清单;各报告域相互强化。
“Worked example: applying the AI-augmented transformatizing protocol”:通过工作示例说明协议、HAAM-QAM 和报告标准如何协同运行。该示例为方法演示,不是实证研究。
“Purpose and overview of the worked example”:说明四段研究生访谈摘录均为假设性、作者构建,仅用于方法展示;无人类被试研究、无招募、无伦理批准或知情同意需求。
“Illustrative dataset”:使用四个假设性访谈摘录,先由研究人员独立阅读并建立人类解释基线,再进入 AI 辅助分析。
“Application of the AI-augmented transformatizing protocol”:按七阶段演示。Phase 1 形成经人类审阅的质性语料;Phase 2 形成初始编码与暂定主题;Phase 3 生成 AI 主题表征;Phase 4 人类批判并比较人类与 AI 表征;Phase 5 根据批判修订提示并生成精炼表征;Phase 6 整合为元推论;Phase 7 形成递归方法审计轨迹。结论是稳健元推论来自人机互补表征的递归整合,而非独立人类分析或自主 AI 解释。
“Brief mixed methods extension”:通过假设性量化表示展示混合方法扩展。假设研究生对生成式 AI 有用性评分总体积极,M = 7.4,SD = 1.6,但存在变异。通过联合展示比较量化与质性表征,得出收敛、互补和扩展关系;元推论为:研究生可认为生成式 AI 有用,同时将其方法学价值视为取决于迭代提示、批判验证和人类解释治理。
“Lessons from the worked example”:AI 生成的是替代表征而非权威结论;人类批判增强分析;递归提示比一次性提示更有信息量;协议、HAAM-QAM 和报告框架共同构成整合方法系统。
“Implications for psychological science”:方法学意义是,AI 不应被概念化为自主分析者或单纯工具,而应作为需持续人类评价和方法监督的分析参与者;研究实践、编辑政策、研究生教育和伦理 AI 使用均需关注透明、问责、反身和人类解释权威。
“Discussion”:主要贡献包括:将 AI-augmented transformatizing 操作化;提出方法学治理框架;将整合概念扩展到人机生成表征的递归比较、批判、精炼和综合。局限包括:框架仍依赖研究者专长;工作示例仅说明操作逻辑,非实证效果;LLMs 持续变化,输出可能含幻觉、语境不足和算法偏见;伦理治理是持续专业判断,不能由技术属性替代。未来方向包括:系统验证协议、HAAM-QAM 和报告标准的效度、信度、可用性与价值;跨学科、跨 AI 平台和多媒体系统扩展;研究教育、评审培训与专业发展影响。
研究结论部分翻译:随着 AI 越来越多参与心理学和混合方法研究,核心方法学问题是如何透明、严谨、负责地开展人—AI协作。本文通过三项整合贡献回应这一问题:以 AI-Augmented Transformatizing Protocol 结构化人—AI分析,以 HAAM-QAM 评价方法质量,以报告标准记录 AI 参与。三者共同提供开展、评价和报告 Human-AI Augmented Mixed Methods Research 的实践框架。其中心贡献是方法学而非技术性:AI 生成分析被视为需人类批判评价的暂定贡献,而研究人员保留方法决策、伦理判断、解释和最终整合结论的责任。该框架应被视为演进中的方法学建议,而非已完成或已实证验证的系统。未来研究应在研究设计、学科、数据集和 AI 系统中检验、精炼和调整其组成部分,并评价其质量准则的效度、信度、可用性和实际后果。此类工作将决定该框架能否在研究实践持续演变时支持透明且可信的人—AI协作。