四维框架下大型语言模型在儿童精神科ADHD评估中的分类准确性、解释可追溯性与灰色地带表现分析

《BMC Psychiatry》：Large language models for ADHD clinical label prediction via parent questionnaires: diagnostic performance, explanation groundedness, and failure modes a temporal validation study

　　# 摘要## 背景大型语言模型（LLMs）可以处理家长填写的问卷描述，生成风险估计和可审核的推理过程。目前精神科的LLM评估仅关注准确率，很少考察解释是否有输入数据支撑，或语言行为是否随错误而变化。我们在分类、解释的可追溯性、错误时的语言行为以及灰色地带边界四个维度上评估了四个LLM。## 方法我们在时间验证设计下分析了来自单中心儿童精神科诊所的2,264例去标识化病例（训练集 n=1,268，测试集 n=996），以主治医师基于DSM-5的注意缺陷/多动障碍（ADHD）诊断为参考标准；对照组无其他主要精神科诊断。四个LLM接收了Conners家长评定量表和Weiss功能损害评定量表的描述。LASSO和XGBoost作为有监督基线模型。对推理过程进行基于规则的可追溯性标注，并在80例病例上进行专家验证；灰色地带分层使用LASSO综合评分结合主成分分析（PCA）。## 结果在高危条目条件下，四个LLM的受试者工作特征曲线下面积（AUC）为0.803–0.823，Cohen's κ为0.470–0.492；Claude Opus 4.7与条目级LASSO基线（κ=0.488）相差仅0.004。基于规则的标注发现36.2%–41.7%的声明未被输入数据直接支撑；在子集上的专家评估结果为约38%（κ=0.699），与自动化方法一致。在灰色地带（约38%的病例），所有方法表现均不佳（LLM κ 0.105–0.140；LASSO κ 0.228），PCA敏感性分析有所改善但未能消除不确定性。推理结构无法可靠地区分正确预测与错误预测。## 结论LLMs能够提取与有监督机器学习相当的信号，同时生成可审核的推理过程。然而，其超过三分之一的临床声明未被输入数据直接支撑（基于规则的标注结果为各模型36.2%–41.7%，子集专家评估结果约为38%，两者高度吻合），语言行为未能可靠地提示分类错误，且所有方法在灰色地带（超过三分之一的病例）表现均不佳，其中更简单、更透明的LASSO基线模型至少与LLM一样准确。由于流畅的叙述可能将有限的证据呈现为连贯的判断，LLM的解释应被视为可审核的草稿，而非诊断结论。本文提出的四维框架为精神科AI评估提供了可复用的模板；目前尚不支持临床部署。