《Frontiers in Immunology》：Language-dependent variation in observed mechanistic performance of web-enabled large language models across myeloid–mucosal immune contexts: a blinded expert evaluation
编辑推荐：
## 摘要专业翻译
**目的：** 确定在部署的网络条件下，支持网络功能的大型语言模型（large language model, LLM）应答的观察到的机制性表现是否因应答语言不同而存在差异，并将这种与语言相关的相对模型表现变化与稳定的模型间差异区分开来。
## 摘要专业翻译
**目的：** 确定在部署的网络条件下，支持网络功能的大型语言模型（large language model, LLM）应答的观察到的机制性表现是否因应答语言不同而存在差异，并将这种与语言相关的相对模型表现变化与稳定的模型间差异区分开来。
**方法：** 研究人员将涵盖肠道、气道和泌尿生殖道黏膜及四个机制复杂性层级的24个标准化问题，以英语、简体中文、繁体中文和日语四种语言呈现给五个支持网络功能的LLM，共获得480条应答。20位资深临床专家被分配至各语言专属评审组，并在对模型身份设盲的情况下，使用包含六个维度的机制保真度评分（Mechanistic Fidelity Score, MFS；0–24分）独立评估每条应答，每条应答获得两次评分。采用区组校正回归及问题聚类推断检验总体模型效应。由于专家评审组嵌套于语言之内，跨语言原始均值仅作描述性处理，而语言依赖的相对表现则在评审者内标准化后进行评估。每个标准化值代表相对于单个评审者自身评分分布的表现，而非绝对的跨语言MFS差异。
**结果：** 全部480条应答均获得两次评分（共960项评估）。评估者间一致性为中等至良好（Krippendorff α=0.709；Lin CCC=0.709）。总体模型表现存在显著差异（F(4,23)=95.80, P<.001）。Kimi K3（平均MFS 20.65）和ChatGPT 5.6 Sol（20.43）经Holm校正后显著优于DeepSeek V4 Flash 0731、ChatGPT 5.6 Luna和Xiaomi V2.5 Pro Ultra（均P<.001），而二者之间差异无统计学显著性（P=.182）。评审者标准化评分显示，观察到的相对表现在模型与语言之间存在强烈的交互效应（F(12,191)=44.21, P<.001），而在当前问题集中未检测到显著的模型与复杂性交互效应（P=.328）。
**结论：** 在所评估的支持网络功能的系统中，机制保真度高度依赖于模型，而观察到的相对表现在不同语言评审组间存在差异。由于应答语言无法与评审组成员构成相分离，且可能影响翻译和网络检索，这些发现并不能确立语言对底层模型推理存在内在因果效应。因此，多语言生物医学评估应直接在预期使用场景的语言和部署条件下测试长格式机制性解释，而非仅依据英语表现推断等价性。
## 论文解读文章
### 一、研究背景与目的
黏膜免疫的组织方式依赖于多种髓系细胞在时间维度上的协同作用，而非单一白细胞群体的孤立活动。在肠道中，巨噬细胞对凋亡中性粒细胞的胞葬作用可将炎症消退与上皮修复相偶联；常驻嗜酸性粒细胞参与组织稳态并影响树突状细胞行为。在气道中，胞外DNA和中性粒细胞胞外陷阱可能与重症哮喘中的炎症小体激活及上皮损伤相关联。泌尿道的免疫记忆与肿瘤微环境重塑进一步体现了组织特异性。克罗恩病则以巨噬细胞为中心的IL-23/IFN-γ环路阐明慢性肠道炎症的维持机制。这些观察揭示了一个基本难题：同一髓系谱系在不同阶段可能发挥保护或损伤作用，并在不同黏膜部位呈现功能差异。
这种条件依赖的生物学结构对大型语言模型构成了严峻考验。模型可能检索到细胞因子、受体或细胞类型的名称，却未必能表征这些元素之间的因果连接方式、相互作用方向何时发生转变，以及哪些结论是确证性的、哪些是依赖语境的。多语言医学LLM的开发虽已开始通过专用语料库和基准测试（benchmark）、多语言生物医学预训练和翻译评估集以及基于中国临床执照考试的评估来扩展语言覆盖，但既有工作提示，非英语环境中的表现不能仅凭面向英语的开发工作加以推定。
医学LLM评估领域的第二个转变涉及任务形式。早期基准多强调选择题准确率，而新近资源日益采用真实临床场景、专家制定检查清单、错误分类体系和长格式推理。这一转变对机制性生物医学尤为重要，因为一个生物学上看似合理的应答可能在表达上流畅，却遗漏关键的细胞间反馈环路、抹平保护–致病双重性，或过度外推某一狭窄实验背景下的证据强度——这类缺陷难以仅靠答案键准确率捕获。
为此，研究人员设计了以髓系细胞在肠道、气道和泌尿生殖道黏膜免疫中的调控为核心领域的盲法专家仲裁基准。五个支持网络功能的LLM以四种语言回答了24个平行问题，每个模型–语言–问题组合均在独立会话中生成。主要目标是比较各模型的机制保真度，同时检验相对模型表现是否随语言而变化；次要目标包括表征区分模型的机制推理成分、检验机制复杂性是否改变模型排序，以及量化独立专家评分者之间的一致性。该研究明确界定为对生成机制性解释的评估，而非对临床决策或患者结局的检验。
### 二、研究设计与关键方法
本研究采用析因、跨语言评估设计，将24个标准化机制问题与四种语言和五个LLM交叉组合，生成480个应答单元。应答生成于2026年8月1日，所有模型均通过网页界面操作并启用网络搜索，评价的是部署条件下的网络增强模型行为，而非封闭式参数知识。每个问题均在新开启的会话中独立生成；同一模型的四种语言应答互不依赖，且同一问题的其他语言版本不出现在当前对话上下文中。
问题集的构建旨在采样生物学上不同形式的髓系推理。24个问题均匀分布于四个预设复杂性层级：层级1聚焦基础髓系网络和稳态屏障防御；层级2要求明确的细胞间串扰及从炎性募集向消退的转换；层级3整合疾病特异性机制；层级4要求关于选择性干预、治疗权衡或髓系状态重编程的转化推理。黏膜设计亦保持平衡：肠道、气道和泌尿生殖道各8个问题。
语言版本在任务内容层面保证等价性：各版本须保留预设的细胞群体、组织或疾病状态、因果关系要求、转化约束和复杂性类别，同时允许使用目标语言中的惯例科学表达。四个语言集在生成阶段前冻结，任何语言中的应答均不用于创建或修改另一语言的应答。
评分方面，20位资深临床专家参与盲法评估。每位评估者均持有临床医师执照、副高级以上专业职称、至少10年临床经验、h-index大于10，并在近三年内于相关领域发表过第一作者或通讯作者论文。专家按语言组成评审组：英语组4人、简体中文组8人、繁体中文组6人、日语组2人。每位专家仅评阅分配给该语言组的特定问题，每条应答由两位专家独立评分，共产生960项评分者水平评分。
主要结局指标为研究特异性机制保真度评分（MFS），专为长格式免疫学解释设计，包含六个维度：事实准确性、机制完整性、串扰整合、组织/疾病特异性、保护–致病双重性和证据保真度。每个维度按0–4分计分，总分0–24分。评分锚定阶梯在各维度内统一：0分表示缺失、无关或主要错误；1分表示存在重大错误或遗漏的有限表现；2分表示部分正确但存在重要机制或语境缺口；3分表示大体正确且符合语境，仅有轻微遗漏或过度表述；4分表示准确、全面、整合且适当限定。评审者还以“是/否/不确定”记录应答是否含有严重机制性错误，并以五级量表评估自身评分置信度。
统计分析围绕四个预设问题组织：模型间总体机制保真度差异、相对表现是否随语言变化、模型间对比是否随四个复杂性类别变化、以及独立专家间一致性是否足以支持应答级比较。总体模型比较中，两条独立评分先对各应答取均值，然后在同一问题–语言区组内拟合固定效应回归，标准误按问题聚类。语言相关分析采用评审者内标准化z分数，以消除不同评审组评分严格度和量表使用的差异。检验模型–语言交互效应，而非语言主效应，作为相对模型表现是否随语言评审组变化的主要推断检验。模型–复杂性交互同样以区组校正交互模型检验。评分者间一致性以区间尺度Krippendorff α、Lin一致性相关系数（CCC）、Spearman相关及绝对差异均值/中位数共同描述。
### 三、主要研究结果
**数据集完整性与评分行为：** 完整数据集包含480条模型应答和来自20位评估者的960项专家评分，每条应答均有两次评分。全部评分者级观察中，平均MFS为16.98（SD 5.68），平均评分置信度为3.83（SD 1.17）。960项评分中，906项（94.4%）标记为无严重机制性错误，54项（5.6%）标记为不确定，无“是”的确定严重错误评分。研究人员指出，这一结果不应被解读为各模型同样不存在严重后果性缺陷，分级缺陷已由六个MFS维度和54项不确定评分捕获。
**总体模型表现：** 五个模型的总体MFS差异显著（F(4,23)=95.80, P<.001）。Kimi K3（模型D）的平均应答级MFS最高，为20.65（95% CI 20.18–21.12）；ChatGPT 5.6 Sol（模型C）紧随其后，为20.43（19.96–20.89）；ChatGPT 5.6 Luna（模型B）、Xiaomi V2.5 Pro Ultra（模型E）和DeepSeek V4 Flash 0731（模型A）的均值分别为14.94、14.60和14.27。模型C和D经Holm校正后各自显著超过A、B和E（校正后均P<.001），而C与D之间0.22分的差异校正后不显著（P=.182）。A、B、E三者之间的差异在总体分析中亦不显著。
**机制域分布：** 两个领先模型与其余三个模型之间的总体分离并非由单一评分维度驱动。模型C和D的事实准确性均值高于3.8/4，且完整性、串扰整合和组织/疾病特异性显著高于A、B和E。最具区分度的差异出现在要求关系性而非仅术语性知识的维度：串扰整合在C和D分别为3.06和3.00，而A、B和E均低于2.0。证据保真度是大多数模型中得分最低的维度，即使领先模型也未超过3.2。两个领先模型亦呈现不同优势：C在事实准确性、机制完整性、串扰整合和组织/疾病特异性上略高于D，而D在保护–致病双重性和证据保真度上更高，这解释了二者总分接近却具有不同维度模式的原因。
**语言依赖的相对模型表现变化：** 原始语言特定MFS均值存在较大差异，但由于各语言由不同专家评审组评分，这些绝对均值不能解释为纯粹的语言效应，仅作描述性报告。评审者标准化分析显示模型–语言交互效应强烈（F(12,191)=44.21, P<.001）。模型C和D在每个语言评审组中均保持最高相对表现的两个位置，但较低排名模型未保持稳定排序：英语中描述性排序为D>C>A>B>E；简体中文为D>C>B>E>A；繁体中文为D>C>E>B>A；日语中C和D并列首位，其后依次为E、B、A。这表明语言依赖性结果并非所有模型共享的简单均一增益或损失，而是相对模型差异的幅度和方向随语言发生变化。在描述性留一语言检验中，剔除任一单一评审组均未消除其余三个评审组间A、B、E的跨语言排名反转，而C和D始终保持上层梯队，说明观察到的排序不稳定性不能归因于单一评审组。
**问题复杂性与黏膜语境：** 四个预设复杂性层级的平均MFS相近（层级1为16.71，层级2为17.22，层级3为16.81，层级4为17.17）。当前问题集中未检测到显著的模型–复杂性交互（F(12,191)=1.14, P=.328）。C和D的轨迹在基础性、串扰、疾病整合和转化性问题中始终与A、B、E清晰分离。评审者标准化的语言–复杂性交互虽统计学上可检出（F(12,191)=10.32, P<.001），但各语言内跨层级的标准化变化幅度较小，且未形成一致的单调复杂性梯度。黏膜部位方面，肠道、气道和泌尿生殖道问题的平均MFS分别为16.92、17.00和17.02，未见有意义的部位级描述性梯度，提示在该问题集中模型身份比广泛的黏膜位置更能解释评分结构。
**评分者间一致性：** 总体MFS的区间Krippendorff α为0.709，Lin CCC为0.709，Spearman ρ为0.807，配对评分中位绝对差异为1分。各评审组间一致性存在差异：英语和繁体中文的系数一致性最强；简体中文的一致性明显较低（Krippendorff α=0.305）；日语评审组的一致性系数较低（α=0.487）但中位绝对差异为0分，反映该组评分范围高度收缩且接近上限。
### 四、讨论要点
研究讨论指出，核心发现具有双重性：模型身份始终是机制保真度的强决定因素，而在部署的网络条件下，模型优势的观察表达随语言评审组而变化。事实能力与整合性机制推理并非等价：即使在最佳模型中，串扰整合和证据保真度也低于事实准确性；在低分模型中，事实准确性保持在3/4附近而串扰整合低于2/4，说明识别介质或细胞功能比将多个正确元素组织为时间、组织和疾病特异性的因果叙述更为容易。
关于语言结果，研究人员强调需要审慎的狭义解读：由于不同语言由不同专家评审组评分，原始语言均值混合了模型行为与评审组特异性评分严格度和量表使用。评审者标准化仅为评审者内重新缩放，不能消除评审组间概念校准差异，也无法排除问题呈现和网络检索引入的语言特异性差异。模型–语言交互应被解释为研究日期所部署的模型–检索–界面组合系统在观察表现上的语言相关变异，而非底层模型权重的孤立属性。日语双评审者及范围受限结构、简体中文较低的一致性系数尤其需要在解读交互时保持谨慎。
髓系–黏膜生物学适合揭示事实回忆与网络推理之间的差异。六域MFS旨在使这些区分可见：串扰和双重性维度专门惩罚将复杂髓系程序简化为静态“促炎”或“抗炎”标签的解释。模型C和D总体均强但路径不同，说明两个系统可以以不同种类的科学解释达到相似的总分。模型–复杂性交互不显著应解读为在当前问题集中未检测到统计学交互，而非模型表现对复杂性不变的证据。黏膜部位未见大梯度也不应解读为组织间生物学等价，而是均衡问题集未产生某一黏膜区室的系统性优势。
实际意义并非某种语言应被优先用于生物医学推理，而是面向多语言科学或临床支持环境的LLM应在推理实际被使用的语言中进行评估。高分英语成绩不能确立同一模型在中文或日文中对竞争者保持相同排序，尤其在输出为结合多种细胞类型、不确定证据和宿主防御与组织损伤之间权衡的解释时。评估还应超越机制保真度本身：MFS未评分可读性、简洁性、共情或受众可及性，因此高保真输出应被视为AI生成草稿，配合来源溯源和明确的不确定性，并在用于高风险决策前经过语言匹配的领域专家审查。
### 五、研究结论
在该评估条件下，机制保真度强烈依赖于模型，观察到的相对表现随语言评审组而变化。由于应答语言无法与评审组成员构成相分离，且可能改变检索和语言实现，本研究无法分离语言对底层模型推理的内在因果效应。ChatGPT 5.6 Sol和Kimi K3始终构成最高表现梯队，但二者的优势在完整性、串扰、功能双重性和证据保真度上分布不同。较低排名模型在英语、简体中文、繁体中文和日语间未保持稳定排序。这些发现支持对长格式生物医学解释进行语言特异性和部署特异性的评估，并支持测试细胞、组织、疾病状态和证据之间关系的评分框架，同时将推断限制于所评估的系统和基准，而非推广至所有LLM或所有生物医学推理任务。
