基于结构化问卷的大学生抑郁筛查阳性预测：大语言模型提示策略的比较评估

《Frontiers in Psychiatry》：SDS screen-positive prediction from structured questionnaires in university students: a comparative evaluation of large language model prompting strategies

　　

摘要专业翻译 引言： 大语言模型（Large Language Models, LLMs）能够将结构化问卷变量转化为自然语言画像，但其在心理健康筛查中的价值不能仅凭单一固定阈值评分来评判。研究人员在一个跨问卷基准测试中评估了LLM提示条件，用于预测大学生中Zung抑郁自评量表（Self-Rating Depression Scale, SDS）筛查阳性状态。预期应用场景是基于先前收集的问卷数据进行离线方法学基准测试，而非直接施测SDS的简化替代方案。 方法： 去标识化记录被划分为发展集（Development, n=1,951）、测试集（Test, n=2,186）和留出集（Holdout, n=2,258）三个年级队列。研究人员在固定0.5阈值以及仅在发展集-验证集中选择的阈值下，评估了逻辑回归、XGBoost及12种模型-提示条件。此外还检验了配对自助法差异、排名稳定性、量表相关性、分组消融、队列偏移、校准截距与斜率、替代期望校准误差（Expected Calibration Error, ECE）规格、温度为0和0.1时的代表性重复调用、分性别表现及每千人筛查场景。 结果： 在测试集固定0.5阈值下，GPT E1、Gemini E2和XGBoost的宏F1值分别为0.732、0.730和0.674。在源自发展集的阈值0.38、0.50和0.174下，相应宏F1值分别为0.702、0.730和0.660。在发展集选择的特异度目标下，XGBoost在测试集取得0.738的宏F1。配对区间显示，排名前三的LLM条件在固定0.5阈值宏F1上无明确差异。XGBoost取得最低Brier分数。合并样本中SDS与焦虑自评量表（Self-Rating Anxiety Scale, SAS）的Spearman相关系数为0.60。结合消融结果，该相关性表明预测信息分布于重叠的问卷组中，而非依赖于单一测量组。在完整留出队列的重复调用中，GPT E1的不一致率为23.6%，Gemini E2为1.5%。在代表性400例子集中，温度为0并未明显消除GPT E1的不稳定性。 讨论： 模型结论同时取决于阈值和评价指标。某些LLM提示条件在特定操作点上具有竞争力，但证据并未确立其对结构化数据模型的稳定或总体优势，也未确立外部效度、临床诊断效用或问卷负担的减少。因此，阈值选择、校准、输出有效性和重复调用稳定性在前瞻性使用前需要分别评估。

论文解读文章

一、研究背景与问题

大学阶段是学生经历学业、人际和发展转型的关键时期，心理困扰在这一阶段可能更加凸显。国际调查与综述研究记录了大学生群体中可观的的心理健康需求，多国项目也支持开展系统监测。在黄山大学的数据中，达到预设SDS筛查阳性阈值的比例在不同年级队列间介于16.3%至27.9%之间，反映了本地筛查问题的规模与异质性。筛查阳性结果可识别需要进一步评估的学生，但并不能确立精神科诊断。

20项Zung抑郁自评量表（SDS）提供了标准化的抑郁症状负担自评工具。本研究将筛查阳性定义为SDS标准分≥53，该阈值用于中国SDS应用场景。预测变量包括性别、年龄、焦虑自评量表（SAS）、认知融合问卷（CFQ）、接纳与行动问卷第二版（AAQ-II）以及SCL-90中符合条件且非抑郁维度的条目。研究排除了SDS、SCL-90抑郁分量表及高度聚合的SCL-90汇总指标。然而，焦虑、一般性困扰与抑郁症状之间的概念重叠仍是效度隐忧，需要直接分析。

结构化问卷变量可直接通过逻辑回归和XGBoost建模。但在筛查应用中，使用统一截断值可能产生误导，因为不同模型的分数未必具有相同的概率含义。判别力、校准及临床相关操作点应分别评估，阈值选择也不应使用评估集结果。这些要求在对模型分数用于病例优先排序时尤为重要。

将结构化变量转化为自然语言画像引入了超越直接矩阵建模的表示与提示选择。既往LLM心理健康研究涉及本质上不同的数据与任务，如社交媒体语言检测自杀风险或临床访谈转录估计PHQ-8条目分数，其性能估计与本研究不可直接比较。本研究使用固定问卷变量清单渲染为文本，比较提示策略，并检验比较结论在更广泛稳健性分析下是否仍然可信。

需要指出，构建预测画像需要多个心理问卷，因此该方法并未相对直接施测20项SDS减少问卷负担，也不作为SDS的替代方案提出。研究检验的是先前收集的非SDS问卷数据能否支持可审计的离线阈值预测基准，并识别前瞻性工作流研究前必须解决的失效模式。

二、研究设计与主要方法

研究人员使用来自黄山大学一至三年级本科生的去标识化结构化心理健康问卷数据，调查于2024年9月至10月通过学校机构心理评估系统开展。全部6,596名符合条件的学生被邀请，6,395人在截止日期前提交并进入分析数据集，提交率为96.95%。问卷共146个条目：20项SDS、20项SAS、9项CFQ、7项AAQ-II和90项SCL-90。排除用于定义结局的20个SDS条目后，126个非SDS条目构成预测量表。一年级、二年级和三年级队列分别被指定为发展集、测试集和留出集。

研究评估了逻辑回归（LR）、XGBoost及三个商用LLM家族（openai/gpt-5.4-mini、anthropic/claude-haiku-4.5、google/gemini-3-flash-preview）在四种提示条件下的表现，共形成12种LLM条件。四种提示条件包括：A为直接基线，B为规则告知基线，E1在B基础上增加每类一个中位数示例，E2增加每类两个冻结示例。核心LLM调用使用温度0.1、top_p=1.0、max_tokens=200，并要求返回结构化JSON。主要评价指标包括宏F1、AUROC、AUPRC、Brier分数、校准截距与斜率、ECE、结构化输出有效率及重复调用稳定性。补充分析涵盖发展集阈值选择、配对自助法差异、量表相关性、分组消融、队列偏移、增强校准、温度0与0.1下的稳定性、分性别表现及每千人筛查场景。

三、主要研究结果

3.1 样本描述与预测变量清单

固定队列包含1,951名发展集、2,186名测试集和2,258名留出集学生，SDS≥53率分别为16.3%、24.4%和27.9%。按SDS≥53标签分层后，发展集-训练子集含1,560条记录（254例阳性，16.3%），发展集-验证子集含391条记录（64例阳性，16.4%）。主要预测变量清单在ML和LLM分支完全一致，无分裂存在缺失。

3.2 队列分布偏移与构念重叠

年龄呈现最大队列偏移，发展集-测试集绝对标准化均数差（SMD）为0.96，发展集-留出集为1.93，测试集-留出集为1.11。SDS筛查阳性率差异分别为8.1、11.6和3.5个百分点。心理预测变量方面，发展集-留出集SMD对SAS为0.25，其余报告变量不超过0.19。合并样本中，SDS与SAS的Spearman相关系数为0.60（95% CI 0.58-0.61），与SCL-90焦虑为0.52，与躯体化为0.51，与AAQ-II为0.47，与CFQ为0.43。SAS在每个队列中均为SDS最强相关变量。对LR和XGBoost，剔除SAS使AUROC降低约0.025-0.029，Brier分数恶化0.008-0.013。剔除SCL-90组使XGBoost AUROC在测试集降低0.019、留出集降低0.018。仅含人口统计学变量的模型判别力很低，LR仅人口学模型AUROC为0.531（测试集）和0.538（留出集），对比完整模型0.844和0.832。所有配对置信区间均排除零，表明性别和年龄单独不能解释基准性能。

3.3 传统机器学习基线表现

在预设0.5阈值下，LR产生更均衡的敏感度-特异度画像，而等渗校准的XGBoost阳性标记保守。在测试集0.5阈值下，LR敏感度0.785、特异度0.737、宏F1 0.710、AUROC 0.844、AUPRC 0.701、Brier分数0.174。留出集对应值为0.784、0.720、0.712、0.832、0.710和0.179。XGBoost在测试集敏感度0.316、特异度0.979、宏F1 0.674、AUROC 0.846、AUPRC 0.639、Brier分数0.129；留出集敏感度0.266、特异度0.976、宏F1 0.632、AUROC 0.835、AUPRC 0.636、Brier分数0.147。XGBoost在0.5决策规则下遗漏大量阳性病例，但排序与平方概率误差保持竞争力。XGBoost最终参数为n_estimators=500、max_depth=2、learning_rate=0.05、subsample=0.8、min_child_weight=3、reg_lambda=1.0，并选择等渗校准。

3.4 测试集12种LLM条件主要比较

GPT E1、Gemini E2和GPT E2在测试集固定0.5阈值下宏F1点估计最高，分别为0.732、0.730和0.729，对应AUROC为0.818、0.834和0.826，Brier分数为0.157、0.167和0.153。A、B、E1、E2四类提示条件的平均宏F1分别约为0.622、0.639、0.708和0.724，示例增强条件呈现更有利的固定0.5模式。模型家族模式因指标和提示条件而异。GPT条件在四种提示下宏F1相对较高；Gemini E2结合高宏F1与强AUROC，但部分Gemini条件的Brier分数、ECE或结构化输出有效性欠佳；Claude B、E1和E2在固定0.5宏F1上相似但稳定性不同。

3.5 独立机构内留出集验证

留出集仅评估GPT E1、Gemini E2、LR和XGBoost。GPT E1在留出集宏F1为0.729（95% CI 0.711-0.749），敏感度0.655、特异度0.821、AUROC 0.808（0.788-0.830）、Brier分数0.160、ECE 0.113、无效输出率0.00%。Gemini E2宏F1为0.739（0.720-0.758），敏感度0.723、特异度0.796、AUROC 0.820（0.801-0.839）、Brier分数0.167、ECE 0.151、无效输出率0.09%。两个LLM最终入选条件在留出集保持了与测试集相近的性能水平。

3.6 阈值敏感性与配对比较

在测试集0.5阈值下，GPT E1、Gemini E2和XGBoost宏F1为0.732、0.730和0.674。使用发展集推导阈值0.38、0.50和0.174时，相应宏F1为0.702、0.730和0.660。在发展集选择的特异度目标下，XGBoost测试集宏F1为0.738。配对区间显示三个排名最高的LLM条件在固定0.5宏F1上无明确差异。XGBoost在所有条件中取得最低Brier分数。模型结论同时取决于阈值和评价指标。

3.7 校准与重复调用稳定性

增强校准分析对LR、XGBoost、GPT E1和Gemini E2在测试集和留出集进行了评估。XGBoost在测试集ECE为0.045、留出集为0.062，表现最佳。GPT E1在测试集ECE为0.113（留出集），Gemini E2为0.151。在完整留出队列的10次重复调用中，GPT E1不一致率为23.6%，Gemini E2为1.5%。在代表性400例子集中，温度为0并未明显消除GPT E1的不稳定性。概率边界审查和多数投票可作为缓解策略，但本研究未建立其充分性。

3.8 分性别表现与筛查后果

LR、XGBoost、GPT E1和Gemini E2在测试集和留出集中分别对男女学生评估。各亚组报告包括n、阳性例数、敏感度、特异度、Brier分数、校准截距与斜率、LLM有效输出率及自助法区间。将观测患病率标准化为每千人后，在0.5和发展集推导阈值下报告了真阳性、假阳性、漏检阳性、真阴性及需进一步审查人数。这些场景为透明示例，并非经验验证的临床成本或决策曲线分析。

四、讨论与结论

研究结论取决于阈值和评价指标。某些LLM提示条件在特定操作点上具有竞争力，但证据并未确立其对结构化数据模型的稳定或总体优势，也未确立外部效度、临床诊断效用或问卷负担减少。阈值选择、校准、输出有效性和重复调用稳定性在考虑前瞻性使用前需要分别评估。研究定位为离线方法学基准，而非SDS直接施测的替代方案。LLM用于结构化输入任务增加了传统表格模型不需要的表示与生成步骤。前瞻性应用的理由在于同一语言界面未来可结合问卷摘要与对话或其他非结构化信息，但本研究仅评估了结构化问卷组件。