比较人类与机器辅助分析以开发Big Qualitative Data分析的新方法

《PLOS Digital Health》:Comparing human vs. machine-assisted analysis to develop a new approach for Big Qualitative Data Analysis

【字体: 大 中 小 】 时间:2026年02月26日 来源:PLOS Digital Health 7.7

编辑推荐:

  背景 医疗研究中大数据定性(Big Qualitative, Big Qual)数据的指数增长给传统分析方法带来了方法论挑战。本研究以英国皇家麻醉医师学会第七次国家审计项目(NAP7)基线调查为测试案例,评估使用人工智能(AI)工具的机器辅助分析与纯人类分析在

  
背景 医疗研究中大数据定性(Big Qualitative, Big Qual)数据的指数增长给传统分析方法带来了方法论挑战。本研究以英国皇家麻醉医师学会第七次国家审计项目(NAP7)基线调查为测试案例,评估使用人工智能(AI)工具的机器辅助分析与纯人类分析在处理大规模定性数据集时的有效性。方法/主要发现 研究人员开展了一项比较方法学研究,分析了5,196条关于围手术期心脏骤停经历的自由文本回复。三名研究人员遵循SRQR指南建立了人类编码参考标准。随后,研究人员使用Pulsar进行探索性分析,并使用Caplena进行情感和主题分析,应用机器辅助分析,并依据STARD-AI报告标准评估其相对于人类黄金标准的性能。性能指标包括准确率、精确率、召回率、F1分数和Cohen's Kappa,置信区间通过自助法重采样计算。机器辅助分析显著减少了分析时间,在主题识别速度方面尤为突出。与人类参考标准相比,机器辅助方法在主题和情感分类上达到了良好的准确性,但人类分析识别出一个新兴的“模糊”情感类别,当前AI工具无法容纳该类别,这凸显了商业平台在归纳分析灵活性方面的局限性。结论/意义 机器辅助分析在大规模定性数据分析中提供了显著的效率提升,并伴有可接受的准确性权衡。然而,人类专业知识对于捕捉细微含义、识别新兴类别以及提供领域特定解释仍然至关重要。这种混合方法代表了Big Qual研究的一种可行方法论,尽管当前AI工具在容纳新兴分类方案方面的局限性仍然是一个限制。本研究结果为未来开发更适应定性研究范式的灵活AI系统建立了基准。作者总结 近年来,人工智能(AI)在健康研究中的应用有所增长。然而,在公共卫生领域使用AI分析大型定性数据集(即所谓的Big Qualitative Data)是一个相对较新的研究领域。本研究使用被称为“机器辅助”分析的新颖人机学习技术和自然语言处理(计算机学习如何处理和解释人类语言),分析了一项大型全国性调查。英国皇家麻醉医师学会第七次国家审计项目是一项覆盖全英国的大型计划,旨在检查围手术期心脏骤停。研究人员利用该调查的自由文本数据来测试和验证新方法,并比较手动分析(人类)与机器辅助分析。通过使用两种AI工具进行分析,研究人员发现机器辅助分析显著减少了分析数据集的时间。然而,需要额外的人类输入来提供主题专业知识和分析细微差别。AI工具将情感分析简化为积极、消极或中性,但人类输入能够识别出第四种“模糊”类别。从该方法中获得的见解展示了AI如何帮助指导有针对性的干预措施和质量改进计划,以增强患者安全(在此案例中,在围手术期心脏骤停管理方面)。
## 论文解读:机器辅助与人类分析在大数据定性研究中的比较——以NAP7项目为例

### 研究背景与问题

在医疗健康研究中,大数据定性(Big Qualitative, Big Qual)数据的指数增长带来了前所未有的机遇和方法论挑战。传统定性分析方法虽然严谨细致,但面对数千条自由文本回复时,耗时耗力,难以高效处理。自然语言处理(NLP)和机器学习(ML)技术提供了潜在解决方案,但纯自动化方法可能丢失人类定性分析能提供的细微含义和语境理解。因此,开发一种结合AI效率与人类解释专长的混合“机器辅助”方法成为研究热点。本研究旨在填补这一空白,通过系统比较人类与机器辅助分析,评估当前AI工具在大规模定性数据中的性能与局限性,为建立标准化方法提供基准。

### 研究内容与结论

研究人员利用英国皇家麻醉医师学会第七次国家审计项目(NAP7)基线调查数据,该调查收集了全英国麻醉医师关于围手术期心脏骤停经历的自由文本回复。最终选取5,196条回复作为分析样本。研究人员通过比较人类单独编码(三名研究人员,耗时255小时)与机器辅助分析(使用Pulsar和Caplena工具,耗时88小时,含人类验证)的效果,发现机器辅助分析将总分析时间减少64.3%,主题识别时间减少98.6%(从210小时降至3小时)。在分类准确性方面,机器辅助主题分析达到78%的一致性(Cohen's κ=0.72),情感分类准确率为72%(κ=0.65)。然而,人类专家识别出AI工具无法捕捉的“模糊”情感类别(占回复的7%),并发现AI倾向于将复杂情感过度归类为“中性”(36% vs 人类识别的7%)。研究结论强调,机器辅助分析在效率上具有显著优势,但人类专业知识对于解释隐含意义、识别新兴类别和提供临床语境理解仍然不可或缺。该论文发表在《PLOS Digital Health》。

### 关键技术方法

研究人员主要使用了两种商业AI工具:Pulsar(用于探索性分析,包括关键词提取、人口统计学模式识别和初始主题聚类)和Caplena(基于Transformer架构,通过主动学习进行情感和主题分类)。样本来源为英国皇家麻醉医师学会NAP7基线调查,调查对象为英国所有麻醉医师,最终分析5,196条自由文本回复(来自六个关键问题)。人类分析作为参考标准,由三名独立研究人员(包括数字健康研究员、麻醉医师和研究助理)完成,编码一致性达Cohen's κ=0.82。所有性能指标通过分层自助法重采样(1,000次迭代)计算95%置信区间。

### 研究结果

#### 比较发现的概览
人类与机器辅助分析在效率上存在显著差异,同时分类准确性在不同分析维度上呈现变化。

#### 效率提升
机器辅助分析将总时间从255小时减少至88小时(减少64.3%),其中主题识别时间从210小时降至3小时(减少98.6%)。但机器输出的验证和优化仍需约30小时人类投入。

#### 有效性——主题分析
两种方法均识别出核心主题:团队协作、沟通、领导力、指南、汇报和福祉支持。机器辅助主题分类与人类参考标准的一致性为76%(κ=0.72),对明确提及的主题(如“团队协作”)表现良好,但对隐含主题(如“没人知道下一步该做什么”隐含指南缺失)的识别准确率从人类的87%降至52%。

#### 有效性——情感分析
机器辅助情感分类总体准确率为68%(κ=0.65),对积极情感(F1=0.84)和消极情感(F1=0.78)表现较好,但对中性和模糊情感表现较差。AI最初将36%的回复归类为中性,人类验证后发现仅7%为真正中性,另外7%属于模糊情感,其余需重新分类。

#### 代表性引用
在明确主题和清晰情感上,两者识别结果一致。但在隐含含义、混合情感和专业术语方面存在分歧。

#### 性能与效率比较
机器辅助方法将处理能力从约20条回复/小时提升至57条回复/小时(提高185%),同时保持72-78%的分类准确率。

#### 情感分布分析
人类分析引入“模糊”类别后,情感分布从机器的44%积极、20%消极、36%中性变为人类的47%积极、39%消极、7%中性、7%模糊。

#### 详细性能指标
加权平均F1分数:情感分析0.72,主题分析0.78。分类性能在清晰类别上更好。

#### 主题分析
主要主题包括患者结局、领导力与团队协作、管理程序、心脏骤停识别与处理、混乱等。额外主题涵盖指南充分性、特定场景、汇报、支持、信心与心理健康影响、从经验中学习等。

#### 主题模糊性与边界案例
约38%的回复被分配了多个主题。机器辅助在多标签分类中表现合理(F1=0.76),但倾向于遗漏次要主题。领导力与团队协作、沟通与团队协作、汇报与福祉支持等主题之间存在重叠,人类编码员在次要主题上的一致性也较低(κ=0.68)。

#### 隐含与明确主题引用
AI对明确提及的主题准确率85%,但对隐含引用准确率仅52%,而人类达87%。例如,隐含福祉支持的“如果有人问问我怎么样就好了”被AI正确识别率为41%,人类为82%。

#### 编码者间信度与定性编码中的“真理”本质
人类编码员间Cohen's κ为0.79(主要主题),表明存在约21%的合理分歧。机器辅助与人类参考标准的一致性(76%)接近人类自身一致性(79%),但差距在复杂情况下扩大。

### 讨论与结论翻译

本研究作为医疗研究中少数系统性比较人类与机器辅助Big Qual分析的研究之一,建立了效率提升与准确性权衡的基准指标。使用NAP7基线调查作为测试案例,研究人员证明机器辅助分析可将分析时间减少60%以上,同时为许多研究目的保持可接受的准确性水平。

**关键发现**:
- 效率提升:机器辅助分析将总时间减少64.3%(从255小时到88小时),主题识别时间减少98.6%(从210小时到3小时)。
- 准确性权衡:机器辅助方法在主题分析中达到78%的准确性,情感分类中达到72%的准确性,相对于效率提升是可接受的。
- 处理能力:从约20条/小时提升至57条/小时,吞吐量提高185%。
- 情感分布:机器分析最初将36%的回复归类为中性,而人类分析仅7%为真正中性,另有7%为模糊,凸显人类监督的重要性。
- 类别性能:F1分数从0.60(中性情感)到0.84(患者结局主题),表明机器学习在更清晰定义的类别上表现更好。
- 人机一致性:人类编码员间一致性(κ=0.82)超过人机一致性(κ=0.72),表明两者之间良好但不完美的对齐。
- 互补优势:人类专业知识对于识别“模糊”情感类别和完善主题分类至关重要,而机器效率极大减少了初始处理所需时间。

研究结果表明,混合方法(结合AI效率与人类解释专长)是处理Big Qual数据集的可持续方法。当前商业AI平台无法容纳新兴分析类别,限制了其完全归纳性定性研究的应用,突显了专门为定性研究范式设计AI工具的需求。AI能够识别与预定义框架一致的模式,但人类分析师对于识别新颖见解和语境细微差别仍然必不可少,这支持了“增强”而非“自动化”定性分析的观点。本研究为机器辅助定性分析的进一步方法论发展奠定了基础。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号