《Frontiers in Artificial Intelligence》：Evaluating Chain-of-Thought reasoning in large language models for thyroid ultrasound interpretation: a dual-information approach
编辑推荐：
目的：评估具备推理能力的大语言模型（large language models, LLMs）能否在ACR-TIRADS（美国放射学会甲状腺影像报告和数据系统）框架内准确解读甲状腺结节的定性和定量编码超声特征，并提高诊断可靠性。方法：这项回顾性研究分析了带有放射
目的：评估具备推理能力的大语言模型（large language models, LLMs）能否在ACR-TIRADS（美国放射学会甲状腺影像报告和数据系统）框架内准确解读甲状腺结节的定性和定量编码超声特征，并提高诊断可靠性。方法：这项回顾性研究分析了带有放射科医师标注的定性超声特征以及通过标准化数值建模生成的定量编码描述符的甲状腺结节。两种格式均被转换为结构化提示词，并分别输入四个启用思维链（Chain-of-Thought, CoT）的LLMs（ChatGPT-O3、Grok-3、DeepSeek-R1、Gemini-2.5 Pro），每个模型对每项任务执行三轮推理。诊断性能通过准确性和可重复性评估，并量化了两种不一致性——跨阈值冲突和跨模态冲突。推理的真实性和简洁性由不同经验的放射科医师独立评估。使用Sankey图总结ACR-TIRADS类别转移。结果：ChatGPT-O3、Gemini-2.5 Pro和Grok-3在ACR-TIRADS分类准确性上表现强劲（分别为91%、96%、96%），优于DeepSeek-R1（79%）。Grok-3在基于评分的准确性上最高（96%）；DeepSeek-R1最低（52%）。分类可重复性：Grok-3为93%，Gemini-2.5 Pro为90%，ChatGPT-O3为88%，而DeepSeek-R1为67%。评分可重复性：Grok-3（93%）、ChatGPT-O3（90%）、Gemini-2.5 Pro（79%）均优于DeepSeek-R1（18%）。医师对Grok-3和Gemini-2.5 Pro的推理真实性评分最高，ChatGPT-O3最简洁（平均144词）。定量任务中，Gemini-2.5 Pro（78%）和DeepSeek-R1（74%）准确性最高；Grok-3最低（64%）。可重复性最高的是Gemini-2.5 Pro（84%）和DeepSeek-R1（86%）。各模型中，显示出跨阈值差异的结节比例范围为3%–17%，Grok-3最低，DeepSeek-R1最高。跨模态冲突更为频繁，在四个LLMs中范围为27%–36%。结论：Grok-3在定性任务中表现优异，而Gemini-2.5 Pro和DeepSeek-R1在定量分析中展现优势。启用CoT的LLMs提供了可解释的推理，在临床决策支持方面具有潜力。
**研究背景**
甲状腺结节的超声评估是临床诊断的重要环节，美国放射学会甲状腺影像报告和数据系统（ACR-TIRADS）通过标准化定性特征（如回声、边缘、钙化）对结节进行风险分层。然而，早期大语言模型（large language models, LLMs）在处理结构化成像数据时存在推理能力不足、结论幻觉化及沟通质量差等问题。新一代思维链（Chain-of-Thought, CoT）提示技术的出现，使LLMs能够更准确地解读ACR-TIRADS描述符，并整合结构化临床信息与影像特征，模拟经验丰富的临床医师的认知过程。但目前缺乏对多种CoT增强型LLMs在定性和定量两种模式下的系统比较。该研究首次对四个具备推理能力的下一代LLMs——ChatGPT-O3、Grok-3、DeepSeek-R1和Gemini-2.5 Pro——在基于文本的定性和定量编码超声特征解读中的表现进行了全面对比，旨在揭示这些模型在特征描述层面的优势、局限及其在甲状腺结节诊断准确性中的潜在作用。研究发表于《Frontiers in Artificial Intelligence》。
**研究方法与技术**
该研究采用回顾性设计，经机构审查委员会批准，纳入100例经超声诊断为单发甲状腺结节的患者（男26例，女74例，平均年龄46.68±12.57岁），其中51例良性、49例恶性，结节恶性性质由组织病理学（n=73）或至少2年临床随访（n=27）确定。样本队列均衡覆盖了良恶性结节多样声像图表现和病变大小（中位最大直径12 mm）。关键技术方法包括：（1）定性特征提取：由两位经验丰富的超声医师（15年和17年经验）按ACR-TIRADS指南独立评估结节的灰阶超声特征，不一致时由第三位资深医师（26年经验）裁定，所有发现转化为结构化文本描述（如“结节大小7*8 mm，纵横比>1，形态不规则，边缘模糊，几乎完全实性，低回声，无点状强回声”）。（2）定量特征生成：基于先前开发的机器学习（ML）框架，通过自动结节分割和不确定性建模，对六项核心声像维度（形状、边缘、组成、回声、钙化、纵横比）进行数值编码。采用主成分分析（PCA）降维后，通过逻辑回归模型生成每项声像维度的量化分数，并将其映射为语义描述符（如“强正相关”“正相关”“负相关”“强负相关”），以匹配LLM推理。（3）模型交互设计：采用统一的零样本提示策略，将定性和定量描述分别输入四个CoT模型（ChatGPT-O3、Grok-3、DeepSeek-R1、Gemini-2.5 Pro），每个提示在全新对话会话中重复三次（共产生2400个响应）。所有模型在2025年2月至5月间评估，使用默认参数（DeepSeek-R1通过API调用，温度1.0，top-p 0.95，最大生成长度64,000 tokens；其余模型通过官方网页界面访问）。（4）评估指标：诊断准确性（定性任务以放射科医师判断为金标准，定量任务以病理结果为金标准）；可重复性（三次输出完全一致为高、两次一致为中等、无或一次一致为低）；推理真实性（由1、5、10年经验的放射科医师各用5点Likert量表评分）；推理简洁性（以输出词数量化）；跨阈值冲突（ALM输出的ACR-TIRADS类别跨过临床决策边界，如TR3?TR4、TR4?TR5）和跨模态冲突（定性推理与定量预测结论不一致）。统计采用Friedman检验、Wilcoxon符号秩检验、Kruskal-Wallis H检验及Dunn事后检验，以Benjamini–Hochberg（BH）校正控制多重比较。
**研究结果**
**CoT增强LLMs在定性和定量特征上的准确性**
定性任务：Grok-3在ACR-TIRADS评分准确性（96%）和分类准确性（96%）上均最高，ChatGPT-O3（评分92%，分类91%）与Gemini-2.5 Pro（评分90%，分类96%）构成第二梯队，DeepSeek-R1表现最差（评分52%，分类79%）。Friedman检验显示模型间差异显著（p<0.001），BH校正后配对比较表明Grok-3显著优于Gemini-2.5 Pro（p=0.005）和ChatGPT-O3（p=0.034）；Gemini-2.5 Pro和ChatGPT-O3间无显著差异；三者均显著优于DeepSeek-R1（校正后p<0.001）。
定量任务：整体准确性低于定性任务。Gemini-2.5 Pro最高（78%），其次为DeepSeek-R1（74%）、ChatGPT-O3（70%）和Grok-3（64%）。Friedman检验显著（p<0.001），配对比较显示Gemini-2.5 Pro显著优于Grok-3（p<0.001）和ChatGPT-O3（p=0.016）；DeepSeek-R1显著优于Grok-3（p=0.008）。性能分布呈互补趋势。
**CoT增强LLMs在定性和定量特征上的可重复性**
定性分类：Grok-3高可重复率93%，DeepSeek-R1最低（高67%，中等30%，低3%）。Friedman检验显著（p<0.001），BH校正后Grok-3、Gemini-2.5 Pro和ChatGPT-O3构成高稳定性组，DeepSeek-R1显著更低。
定性评分：ChatGPT-O3（高90%）、Grok-3（高93%）、Gemini-2.5 Pro（高79%）组显著高于DeepSeek-R1（高18%，中等64%，低18%）。Grok-3与ChatGPT-O3无显著差异（p=0.439），但Grok-3显著高于Gemini-2.5 Pro（校正后p=0.012）。
定量预测：DeepSeek-R1高可重复率86%，Gemini-2.5 Pro高84%，ChatGPT-O3高77%，Grok-3高73%。Friedman检验显著（p=0.041），但事后检验经BH校正后无显著组间差异，表明整体效应由多个适度差异累积引起。
**CoT响应的推理真实性**
Kruskal-Wallis检验显示医师评分在模型间差异显著（p<0.001）。Dunn事后检验（BH校正）揭示两个性能梯队：Grok-3和Gemini-2.5 Pro获更高真实性评分（两者间p=0.284），ChatGPT-O3和DeepSeek-R1处于较低梯队（两者间p=0.26），且高梯队显著优于低梯队（校正后p<0.001）。经验水平仅对Grok-3有影响：初级医师对其评分显著高于中级（校正后p<0.001）和高级放射科医师（校正后p=0.006）。评分者间组内相关系数（ICC）整体为0.634（95% CI: 0.330–0.810, p<0.001），呈良好一致性；DeepSeek-R1的专家共识最高（ICC=0.787），ChatGPT-O3最低（评估者间解释分歧较大）。
**CoT响应的推理简洁性**
定性任务：ChatGPT-O3最简洁（中位数144.0词），显著短于Gemini-2.5 Pro（336.0词，p=0.0096）、DeepSeek-R1（314.5词，p=0.0127）和Grok-3（3376.0词，p<0.001）。Grok-3显著长于所有模型（校正后p<0.001）。
定量任务：ChatGPT-O3仍最简洁（中位数157.0词），显著短于其他模型（校正后p<0.001）。Gemini-2.5 Pro（766.5词）和DeepSeek-R1（824.5词）间无显著差异（p=0.727），Grok-3最长（4751.0词，vs所有模型p<0.001）。
**基于LLM的甲状腺结节诊断中的跨阈值和跨模态冲突**
跨阈值冲突：DeepSeek-R1冲突率最高（17%），显著高于其他模型（p<0.05）；Grok-3（3%）、Gemini-2.5 Pro（4%）和ChatGPT-O3（6%）间无显著差异。冲突主要集中于TR3–TR4边界。
跨模态冲突：各模型冲突率范围为27%–36%（DeepSeek-R1 35%，ChatGPT-O3 35%，Grok-3 27%，Gemini-2.5 Pro 36%），组间差异无统计学意义（p>0.05）。Sankey图展示了定性-定量诊断流向及不一致程度。
**讨论与结论**
该研究系统比较了四种CoT增强LLMs在ACR-TIRADS框架下对定性和定量超声特征解读的表现。Grok-3在定性任务中准确性最高，得益于其强大的语言推理架构；但其推理链冗长（中位3376词），在低危结节（TIRADS 2级）评估中偶现犹豫，影响临床实用性。定量任务中，DeepSeek-R1和Gemini-2.5 Pro表现出色，表明数值推理更依赖数学符号计算能力，而非长文本逻辑推理。跨模态冲突频发（27%–36%），反映通用LLMs在预训练中对结构化数值超声描述符的接触有限，未来需通过任务特定微调提升一致性。跨阈值冲突中，DeepSeek-R1比例最高（17%），可能因其对轻微微征（如边缘轻度不规则）的权重差异。研究局限性包括单中心、样本量有限、仅评估四种模型、依赖结构化文本而非原始图像。结论：具备推理能力的LLMs在辅助甲状腺结节评估方面展现潜力，Grok-3定性最优，Gemini-2.5 Pro和DeepSeek-R1在定量分析中占优，但需在大规模多中心队列及基于图像的模态输入中进一步验证以增强临床可靠性。
