《PLOS Digital Health》：Assisting patients with reliable information gathering: A guide to building efficient QA systems for medical use
编辑推荐：
问答（question-answering, QA）系统在医疗领域的应用发展迅速，显著改善了患者获取可靠健康相关信息的能力。然而，当前方法面临显著挑战，包括难以获取大规模无偏医疗数据集、严重的隐私问题，以及人工数据集标注的低效性。为解决这些问题，研究人员提出一
问答（question-answering, QA）系统在医疗领域的应用发展迅速，显著改善了患者获取可靠健康相关信息的能力。然而，当前方法面临显著挑战，包括难以获取大规模无偏医疗数据集、严重的隐私问题，以及人工数据集标注的低效性。为解决这些问题，研究人员提出一种新颖的方法，利用可公开访问的在线健康论坛系统性地构建无偏且注重隐私的QA数据集，并采用主题引导语义建模（Topic-guided Semantic Modeling, TGSM）进行自动主题识别，从而实现对相关患者生成内容的高效、有针对性的标注。随后，研究人员提出一种基于检索器-阅读器（Retriever–Reader）架构的两阶段QA流水线，通过在所构建的领域特定QA数据集上微调最先进的基于变换器（transformer）的模型，进一步增强该流水线。实验结果表明，研究人员微调后的BioBERT显著优于现有基准，提供了准确的患者衍生见解，并为构建高效的医疗QA系统提供了可复制的框架。
**研究背景与问题**
随着互联网的普及，在线健康社区蓬勃发展，其中面向慢性或污名化疾病的论坛为患者提供了交流症状、分享经历和获取情感支持的重要空间。精神分裂症作为一种复杂的精神疾病，其患者经常在论坛中表达与症状、药物副作用、社会功能、工作教育及人际关系相关的真实体验。这些由患者自发产生的文本构成了丰富的一手叙述，为计算健康研究提供了宝贵的数据源。尽管自然语言处理（natural language processing, NLP）研究已对精神病相关在线文本进行了语言学分析，但这些数据在开发基于患者体验的领域特定问答资源方面仍利用不足。问答系统（QA）作为NLP的重要范式，能够帮助用户从大规模文本中获取相关答案，在医疗健康信息访问中具有广阔前景。然而，现有医疗QA研究面临多重挑战：临床数据因隐私限制难以获取；大规模无偏数据集的构建十分困难；人工标注过程劳动密集且效率低下；此外，现有数据集多来源于结构化临床记录或考试题目，缺乏患者真实世界的声音。对于精神分裂症这类主观性强、情境依赖、可能有多重有效答案的心理健康领域，缺乏基于真实患者话语构建的疾病专用QA资源。因此，本研究旨在利用公开的患者论坛数据，开发一个精神分裂症特异的QA框架，以弥补这一空白。
**研究内容与意义**
研究人员提出了一种系统构建无偏、隐私友好QA数据集的新方法。研究从“心理健康论坛”（The Mental Health Forum）的精神分裂症子论坛爬取了415,602篇帖子，经过去标识化预处理后，采用TGSM自动识别出35个主题和300个相关方面，并据此高效地人工标注了1,050个问答对。随后，研究构建了一个基于Retriever-Reader架构的两阶段QA流水线，并在自建数据集上微调BioBERT、RoBERTa和DistilBERT三个预训练模型。实验结果表明，微调后的BioBERT在精神分裂症QA数据集上大幅超越其他基线模型，并在MHQA和PubMedQA基准上也取得最优性能，达到了心理健康领域QA模型的最先进水平。该方法提供了一个可复制的框架，有助于高效构建更多疾病的医疗QA系统，从而帮助全球患者获取可靠的疾病信息。
**关键技术方法**
研究的数据来源为“心理健康论坛”（https://www.mentalhealthforum.net/）的精神分裂症子论坛，共获取415,602篇用户帖子，并删除了用户名等标识信息。文本预处理包括去除停用词（但保留否定词以维持语义）、标点、数字，以及词干提取。核心方法为TGSM（一种基于潜在狄利克雷分配的无监督主题建模策略），通过困惑度评估确定35个主题及300个方面词，并将语料按主题组织为段落簇。人工标注者根据主题-方面关联生成自然语言问题并从对应段落中标注答案，每主题构建30对，共1,050对。QA管道采用Retriever（top-k=35）筛选相关文档，Reader（Haystack FARMReader，top-k=10）提取答案。模型微调使用Hugging Face Transformers库，分别对BioBERT、RoBERTa、DistilBERT在900个问对上训练（占QA数据集的70%）。
**研究结果**
**实验设置（Experimental setup）**
研究选用三个预训练模型：DistilBERT（较小的Transformer模型）、RoBERTa（大规模英文语料预训练模型）和BioBERT（在生物医学语料上预训练，作为医学QA基准）。所有模型均在自建精神分裂症QA数据集上微调，并与各自基线版本比较。
**评估指标（Evaluation metrics）**
使用精确率（Precision）、召回率（Recall）、F1分数（F1-score）和精确匹配（Exact Match, EM）四个指标。精确率衡量预测答案中正确部分的比例；召回率评估检索器找出包含正确答案文档的能力；F1分数为精确率与召回率的调和平均；EM要求预测答案与标准答案完全一致。
**评估数据集（Evaluation datasets）**
采用三个数据集：1）自建精神分裂症QA数据集，包含415,602篇帖子经TGSM处理后形成的1,050个问答对；2）MHQA基准，包含约58,600个心理健康多项选择题，实验使用专家标注子集MHQA-Gold（2,475个问题）；3）PubMedQA生物医学基准，实验使用专家注释子集PQA-L（1,000个问答对）。
**实验结果（Experimental results）**
在三个数据集上的评估显示，微调后的BioBERT在所有数据集和指标上均取得最佳性能。在MHQA上，微调BioBERT的精确率达到0.781，F1分数为0.772，显著优于基础BioBERT。在PubMedQA上，微调BioBERT取得最高精确率0.816。在精神分裂症QA数据集上性能提升最为明显：与基础BioBERT相比，微调后精确率提升14.30%，EM值从0.427提升至0.617，增幅达34.4%；与最轻量级模型DistilBERT相比，微调BioBERT的精确率提升32.59%。示例问答显示，微调BioBERT能够给出相关、合理且多重的答案，表明基于患者论坛数据的微调对于心理健康QA任务具有决定性作用。
**讨论与结论**
讨论部分指出，获取高质量、符合隐私要求的数据是医疗QA系统发展的关键瓶颈。本研究采用网络爬取的患者论坛文本，直接反映患者真实关注、症状体验和应对策略，显著提高了QA数据集的真实性与适用性。TGSM有效界定了大规模非结构化文本中的核心主题，简化了标注流程并提高了语义连贯性，同时允许同一问题保留多个有效答案，克服了先前研究中间题清晰度不足和标注质量参差的挑战。集成的Retriever-Reader管道验证了Transformer模型在心理健康领域的适用性。然而，论坛内容的临床可靠性仍需进一步验证，未来研究可扩展到更多心理健康状况，并探索自动问题生成以加速数据构建。
结论部分翻译如下：总的来说，这项工作引入了一种构建相关医学文本数据集的新方法，并利用该数据集构建高效QA模型，以分析特定疾病对患者日常生活方式的影响。通过识别针对特定疾病的合适网络论坛，例如面向精神分裂症和其他心理健康障碍患者的“心理健康论坛”，研究人员展示了如何以优化和加速的方式构建低偏倚、隐私担忧最小的QA数据集。此外，实证结果表明，通过在所收集的QA数据集上微调BioBERT模型，所提出的方法能够超越心理健康障碍领域的最先进模型。研究人员高效地为更多疾病创建QA数据集的方法，加上努力识别各种疾病的合适低噪声数据源，可以显著帮助全球患者获取有关其疾病的可靠信息。
