《Bioengineering》:A Verifiable Agentic Framework for Sequential Multimodal Prediction of Mild Cognitive Impairment Progression
编辑推荐:
多模态模型可预测从轻度认知障碍(MCI)向阿尔茨海默病(AD)的进展,但多数评估假设每种模态均即时可用。研究人员开发了一个仅使用阿尔茨海默病神经影像学倡议(ADNI)的回顾性框架,将统计风险估计、序列证据获取、语言模型解释与确定性验证相分离。基线MCI参与者依
多模态模型可预测从轻度认知障碍(MCI)向阿尔茨海默病(AD)的进展,但多数评估假设每种模态均即时可用。研究人员开发了一个仅使用阿尔茨海默病神经影像学倡议(ADNI)的回顾性框架,将统计风险估计、序列证据获取、语言模型解释与确定性验证相分离。基线MCI参与者依据在+/?90天窗口内可见的信息被分配状态特异性界标。主要模拟队列纳入425名具有临床/认知、磁共振成像(MRI)衍生及脑脊液(CSF)证据的参与者;其中153名在界标后36个月内转化为AD。校准弹性网(elastic-net)模型采用10次重复嵌套五折交叉验证进行评估。在共同界标队列中,加入MRI衍生和CSF特征将Brier评分从0.158(95%置信区间(CI)0.141–0.175)改善至0.138(0.122–0.155),将受试者工作特征曲线下面积(AUROC)从0.837(0.802–0.871)改善至0.878(0.847–0.908)。序列策略使用个体Brier评分增益的交叉拟合估计来决定是否请求MRI或CSF。固定阈值探索性分析较全检测策略减少40.6%的模拟检测请求,同时满足预设的Brier和AUROC非劣效性界值。在完全嵌套阈值选择下,该策略减少46.9%的检测请求并满足AUROC标准,但Brier标准略微未达标(差值0.00546,95%CI 0.00090–0.01003;界值+0.01)。在每模型40张卡片的工程审计中,本地Qwen3-4B和Qwen3-8B模型在40/40张卡片中正确复制概率并引用所提供证据,但分别仅在16/40和15/40张卡片中与确定性动作匹配。因此执行权限仍归于确定性策略。此处,智能体(agentic)指模块化证据状态、策略检查、验证与解释的编排;其并不意味自主语言模型控制。作为回顾性模拟,该框架不能确立前瞻性临床效用、真实世界成本节约或外部计算可重复性。
**研究背景与问题**
轻度认知障碍(MCI)是临床异质性状态,部分个体进展为阿尔茨海默病(AD),而其他人保持稳定或遵循不同病程。预测进展对于咨询、观察性与干预性研究的富集以及日益多样的临床、影像和液体生物标志物证据的合理使用具有重要意义。ADNI的建立旨在研究临床、认知、影像和生物标志物测量在AD连续谱中的纵向贡献。近期多模态研究显示认知测量、MRI衍生标志物、液体生物标志物和遗传信息可为预测MCI向痴呆转化提供互补信息。然而,多数此类研究将任务框定为静态融合:假设所有模态同时可用,主要终点为判别力。这种抽象忽略了一个实际决策问题——在真实评估路径中,MRI和CSF可能不可用、延迟、负担重或在当前可见证据已支持足够确定的风险估计时并不必要。因此,不仅需要评估模型预测效果,还需评估其请求哪些额外证据以及在何种保障下请求。该问题与主动特征获取和成本敏感序列分类交叉,后者平衡预测价值与获取额外信息的负担。
**研究方法与结论**
研究人员开发了一个仅使用ADNI的回顾性框架,包含四个分离层:(i) 用于36个月MCI向AD进展风险的校准统计模型;(ii) 交叉拟合价值门控(Value Gate),估计获取MRI或CSF证据带来的预期个体Brier损失改善;(iii) 确定性序列策略,选择STOP、REQUEST_MRI、REQUEST_CSF或ABSTAIN;(iv) 本地语言模型层,限于模式绑定的候选解释,并对照所提供的证据卡进行验证。研究人员询问MRI衍生和CSF特征是否在共同队列中改善预测、受限序列策略能否在保持预设性能的同时减少模拟检测请求、以及本地语言模型是否具有足够的动作对齐性以执行策略。结论显示:MRI衍生和CSF证据改善了校准的MCI向AD进展预测;序列策略减少了模拟检测请求,但操作点决定校准代价;完全嵌套分析满足AUROC界值但Brier界值略微未达标;价值门控留出排名较弱且未超越最佳固定顺序策略的预测表现;本地语言模型可靠复制概率和证据标识符但动作对齐性低。这些发现支持"证据优先于自主性"的架构,其中"智能体"表示可审计的编排而非自主临床决策。
**关键技术方法**
研究使用ADNI participant-level数据(仅下载的ADNI数据,本地运行),纳入基线MCI参与者,依据+/?90天窗口内可见证据分配状态特异性界标。主要序列策略队列要求界标窗口内具有临床/认知、MRI衍生和CSF证据(425名参与者,153名转化)。风险模型为预指定弹性网逻辑回归,采用10次重复分层五折外层交叉验证,内层三折交叉验证选择正则化参数并以负Brier评分选优,随后进行Platt校准。序列策略使用交叉拟合的四个岭回归价值门控预测Brier损失增益,确定性验证器检查动作许可与模态集归属。语言模型审计使用Qwen3-4B和Qwen3-8B GGUF Q4_K_M模型通过llama.cpp本地运行,每模型40张合成去标识证据卡,温度0、top-k 1、top-p 1。敏感性分析包括冲突阈值0.10–0.40变化、内层Brier容差0至+0.01变化、四种确定性模态可用性屏蔽及200次随机分配。
**研究结果**
**界标队列与主要策略队列**:1199名基线MCI参与者中,425名具有预设MRI和CSF特征且在界标窗口内符合36个月终点条件,其中153名(36.0%)在状态特异性界标后转化为AD。界标偏移中位数为6天,第95百分位为47天。核心状态、MRI状态、CSF状态和MRI+CSF状态分别包含765/254、697/240、452/158和425/153名合格参与者/转化者。完整策略队列较核心合格但未纳入者更年轻(72.3 vs 73.7岁),ADNI阶段构成不同(ADNI2占48.5% vs 10.9%),所有119名ADNI3参与者均在排除组。核心合格参与者中观察到的模态可用性模式为MRI+CSF(n=442)、仅MRI(n=260)、仅CSF(n=24)和两者均无(n=39),对应转化比例分别为33.7%、35.0%、16.7%和25.6%。
**增量多模态预测性能**:在共同MRI+CSF策略队列的重复嵌套交叉验证中,仅使用核心临床和认知证据的校准弹性网模型Brier评分为0.158(95%CI 0.141–0.175),AUROC为0.837(0.802–0.871)。加入MRI衍生特征将Brier评分改善至0.154(0.137–0.171),AUROC改善至0.847(0.811–0.882)。CSF状态Brier评分为0.143(0.127–0.160),AUROC为0.868(0.835–0.898),MRI+CSF达到最佳总体性能(Brier 0.138,95%CI 0.122–0.155;AUROC 0.878,0.847–0.908)。非线性XGBoost比较器在每个可见证据状态的Brier评分和AUROC均差于弹性网。
**序列策略评估**:固定阈值探索性分析中,S7平均每人请求1.187次模拟检测,较S1(2.000次)减少40.6%。其Brier评分为0.142(95%CI 0.126–0.159),AUROC为0.871(0.838–0.901)。相对S1的配对Brier差值为+0.0046(95%CI +0.0005至+0.0087),AUROC差值为?0.0076(?0.0158至+0.0001),均在预设界值内。完全嵌套敏感性分析在50个外层折中平均选择阈值0.147,29折使用最低Brier回退。S7请求1.062次检测,较S1减少46.9%,Brier评分0.143(0.127–0.161),AUROC 0.870(0.836–0.900)。S7减S1的Brier差值为+0.00546(95%CI +0.00090至+0.01003),置信上限超过预设+0.01界值,Brier非劣效性未达标;AUROC差值?0.00855(?0.01796至+0.00023),满足AUROC标准。组件消融显示冲突约束相对S6改变Brier评分+0.00017(95%CI ?0.00059至+0.00114),AUROC ?0.00029(?0.00221至+0.00114),平均模拟检测+0.015,表明该约束作为治理规则发挥作用但无可测量预测增益。价值门控留出审计发现对增量价值的患者水平排名较弱,识别阳性实际Brier增益的AUROC分别为0.520、0.398、0.461和0.467,因此将价值门控视为探索性获取启发式而非经验证的患者特异性检测效用估计器。操作策略敏感性分析显示连续的效率–校准权衡而非特权阈值。模态屏蔽下,S7在双模态可用时AUROC/Brier为0.870/0.143,仅MRI时0.851/0.152,仅CSF时0.862/0.147,两者均无时0.837/0.158。
**本地协调器审计**:两个本地Qwen模型在全部40张证据卡上精确复制风险概率、从许可列表选择动作并引用所提供证据标识符。Qwen3-4B在16/40张卡片(40.0%)与确定性动作匹配,Qwen3-8B在15/40张(37.5%)匹配。Qwen3-8B在标准卡中2/8对齐、缺失证据2/8、冲突证据0/8、模糊证据3/8、仅允许ABSTAIN时8/8。Qwen3-8B在强制弃权层之外的32张卡片上均提议REQUEST_MRI。模型在测试的复制、模式和接地检查上可靠,但在策略推理上不可靠,因此确定性策略保留执行权限。
**探索性亚组与临床效用分析**:亚组分析使用S7平均重复折外概率,70–79岁或≥80岁参与者判别力较低、Brier评分较高;教育年限<16年者亦然。基线记忆复合三分位显示事件患病率和模型性能显著差异,AUROC在下、中、上三分位分别为0.734、0.755和0.953。决策曲线分析显示S7与全检测策略在所检查阈值范围内净获益相似,S7无一致优势。
**讨论与结论**
本研究展示了如何在不赋予语言模型预测或动作权限的情况下评估智能体临床AI工作流。在共同界标队列中,MRI衍生和CSF证据改善了校准的36个月进展预测。序列策略减少了模拟检测请求,但操作点决定校准代价。固定阈值分析满足两个预设界值且保持探索性;完全嵌套分析满足AUROC界值但Brier界值略微未达标。核心结果是内部可追溯的效率–校准权衡,而非真实世界性能保持或外部可重复性的声明。多模态发现与近期研究一致,即认知评估、结构MRI、液体生物标志物和遗传测量具有互补预后信息。价值门控估计揭示额外ADNI模态带来的Brier损失改善,但其留出AUROC范围0.398–0.520,表明当前门控最好理解为探索性获取启发式而非经验证的个体检测效用估计器。语言模型审计验证了框架的权限分离:两个模型可靠复制所提供概率、保持在许可动作词汇内并引用所提供证据,但这些检查未转化为策略推理。研究局限性包括:终点为ADNI临床转化而非生物标志物确认的神经病理学,分析为回顾性;完整病例选择将1199名基线MCI参与者缩减至425名策略参与者,纳入与排除者在年龄、ADNI阶段构成、诊断随访和转化率方面存在差异;检测请求计数假设观察到的ADNI测量可在无负担、成本或延迟情况下揭示;PET定量特征和APOE在下载的分析表中不可用,血浆数据过于稀疏;固定阈值分析为探索性且嵌套分析未满足Brier标准。结论部分翻译:本仅使用ADNI的研究显示了分离多模态预测、证据获取、确定性验证和语言生成的价值。MRI衍生和CSF证据改善了校准的MCI向AD进展预测,序列策略减少了模拟检测请求。完全嵌套分析满足AUROC界值但Brier界值略微未达标;价值门控显示弱留出排名且未在预测上超越最佳固定顺序策略。本地语言模型可靠复制所提供概率和证据标识符但动作对齐性低。总之,这些发现支持证据优先于自主性的架构,其中"智能体"表示可审计的编排而非自主临床决策,每个组件独立审计且执行保持确定性。