通过多模态大型语言模型，利用人工智能技术对荧光显微镜图像进行细胞病理学解读

《Quantitative Biology》：Artificial intelligence-enabled cytopathological interpretation of fluorescence microscopy images via a multimodal large language model

　　摘要

荧光显微镜图像的定量分析在细胞病理学评估中仍然是一个重大挑战，因为主观解释和观察者间的差异性阻碍了分类的可重复性和标准化。在这项研究中，采用了基于人工智能的分析框架，该框架利用多模态大型语言模型（MLLM）来分类经过多柔比星处理24小时的吖啶橙/碘化丙啶染色的MCF-7细胞的细胞毒性反应。共分析了500张荧光图像，这些图像来自五个实验组，包括一个对照组和四个剂量依赖性处理条件，以识别存活、坏死和凋亡的独特形态学指标。使用由领域专家制定的标准15参数细胞病理学评估清单建立地面真实标注。随后，MLLM被赋予解释同一数据集并生成与专家定义的标准一致的结构化细胞病理学输出的任务。接收者操作特征分析显示，对于存活细胞具有中等区分性能（曲线下面积[AUC] = 0.68），对于坏死细胞具有强烈区分性能（AUC = 0.84），反映了坏死形态的可靠识别。然而，早期和晚期凋亡状态的分离性较差（AUC = 0.52–0.55），并且区分不一致，这可以归因于模型内部的空间-上下文推理不足。整个数据集的处理时间在2小时内完成，与手动评估相比，分析吞吐量显著提高。这些发现表明，基于MLLM的细胞病理学分析可以作为传统显微镜评估和完全自主的深度学习基础图像处理系统之间的中间自动化层，促进荧光成像数据的可扩展、标准化和半自主解释。

1 引言

基于显微镜的细胞成像在理解细胞对生理和病理刺激的结构和功能反应方面发挥着关键作用[1]。在生理条件下，细胞显示出与其谱系和功能状态相一致的形态；然而，在应激、损伤或癌变作用下，它们的核和细胞质结构会发生变化，这些变化可以通过显微镜检测到，并作为关键的诊断指标[2]。识别这些形态学变化对于阐明细胞死亡机制尤为重要，细胞死亡是许多病理过程（包括癌症、神经退行性疾病、缺血性损伤、自身免疫疾病和传染性疾病）的特征[3]。在各种类型的细胞死亡中，凋亡和坏死是两种基本且特征明确的机制，它们的区分对于基础研究和诊断应用都具有重要意义[4]。为此，吖啶橙（AO）和碘化丙啶（PI）的双重染色与荧光显微镜结合已被广泛采用，因为它对膜通透性和核形态敏感[5]。AO与存活和死亡细胞中的核酸结合，发出绿色荧光，而PI选择性地穿透膜受损的细胞，产生红色荧光[6]。这种双重染色方法使得可以可视化细胞死亡的不同阶段；然而，其解释传统上依赖于手动检查，这既耗时又主观，并且依赖于专家判断[7]。在过去的20年里，人工智能（AI）越来越多地集成到生物医学图像分析中，以应对手动细胞病理学评估的固有挑战，包括图像筛选的耗时性、观察者差异性、有限的可重复性以及依赖于专家级训练[8]。传统的机器学习以及最近的卷积神经网络（CNN）已在明场或相位对比显微镜中的细胞分割、计数和表型分类等任务中表现出有效性[9-13]。尽管如此，这些系统通常需要大量的标注数据集，通常是特定于任务的，并且提供有限的灵活性或解释性[14]。此外，与明场应用相比，基于荧光显微镜的细胞识别和分类研究相对较少[15]。多模态大型语言模型（MLLMs）的出现，包括Claude Sonnet、ChatGPT（OpenAI）、DeepSeek和Gemini（Google DeepMind），在AI领域引入了一种革命性的范式，使得能够在统一的框架内同时解释文本和视觉数据[16, 17]。与传统的深度学习架构（如CNN）不同，MLLMs能够进行灵活的基于指令的推理，并生成与领域特定标准一致的结构化输出[18]。这些模型成功地将图像识别与自然语言生成集成起来，使它们能够通过交互式提示以可复制和可识别的形式模拟专家决策[19]。MLLMs最初是为一般任务（如视觉问答和多模态文档理解）开发的，现在由于它们的多功能性和易用性，正迅速应用于生物医学领域[20]。例如，GPT-4V已被应用于胸部X光片的诊断目的，而DeepSeek-R1在包括手术工作流程解释和医学教育模拟在内的多模态临床推理任务中显示出希望[21, 22]。比较分析还评估了GPT-4o、Claude 3.5 Sonnet和Gemini 1.5 Pro等模型在皮肤科诊断中的表现，显示出与经过认证的皮肤科医生相当甚至在某些复杂情况下超过他们的诊断性能，从而突显了它们作为临床皮肤科辅助工具的潜力[23]。同样，Claude 3.5 Sonnet被评估用于根据CT发现为胰腺癌分配TNM分类，显示出比GPT-4 Turbo更高的T因子准确性，但由于持续的错误分类和模型特定限制，仍然需要专家监督[24]。在眼科领域，GPT-4o已被用于使用视网膜眼底青光眼挑战（REFUGE）数据集从彩色眼底照片中检测青光眼，未经预先微调即可达到90%的诊断准确性，表明大型语言模型即使在数据稀缺的环境中也支持眼科诊断[25]。此外，GPT-4o还被应用于根据美国血液学会提供的显微镜图像分类血细胞形态，对正常细胞的准确率为88%，对异常细胞的准确率为54%，表明其作为血液学诊断辅助工具的潜力[26]。尽管MLMMs在放射学、皮肤病学、肿瘤学和眼科等领域中的使用正在扩展，但它们在基于荧光的细胞病理学分析中的应用仍然有限——尤其是在分析AO/PI染色的细胞图像方面。然而，最近的进展表明它们在复杂的生物医学成像任务中的能力正在增强，包括基于显微镜的细胞形态分析。在目前可用的MLMMs中，Claude 3.7 Sonnet被选为主要实验对象，因为它在结构化指令遵循、稳定的多模态推理以及在低温设置下相对可重复的格式化输出方面表现出优势。与主要优化用于对话式或开放式视觉问答（例如GPT-4o）或长上下文文档理解（例如Gemini 1.5 Pro）的模型相比，Claude Sonnet在需要严格遵守预定义评估标准和输出格式的提示控制分析任务中显示出更高的稳健性。这些特性对于本研究尤为重要，因为本研究依赖于固定的15参数细胞病理学评估清单，并要求可重复的、按参数的解释，而不是自由形式的描述性回应。基于这一趋势，本研究评估了最先进的MLLM Claude Sonnet在解释经多柔比星处理的MCF-7细胞的AO/PI染色荧光显微镜图像方面的性能。使用标准的15参数细胞病理学评估清单，将模型输出与专家评估进行了比较，比较的参数包括总细胞计数、存活率、凋亡和坏死指数以及核/细胞质形态。定量验证包括精确度、召回率、F1分数和曲线下面积（AUC），重点关注凋亡和坏死的检测。还评估了模型内的重复性。この全面的评估旨在展示MLMMs在基于荧光的细胞病理学筛查中的可行性、可重复性和诊断潜力，作为AI辅助生物医学成像工作流的可靠工具。

2 结果

对用逐渐增加浓度的多柔比星（0–4.0 μmol/L）处理的AO/PI染色MCF-7细胞的细胞病理学评估显示了细胞反应的明显剂量依赖性模式。在所有治疗组中，荧光显微镜图像揭示了细胞形态和染色特征的逐渐变化，反映了从主要为存活细胞向凋亡和坏死表型的逐渐转变。绿色荧光表示存活的细胞，而橙色到红色荧光表示正在经历凋亡或坏死的细胞。这些变化在较高药物浓度下变得更加明显，如图1中的代表性图像所示。随着多柔比剂浓度的增加，观察到了明显的形态学特征的出现和增强，包括染色质凝聚、核碎片化（NF）、膜起泡（MB）和核肿胀（NS），这与凋亡和坏死的形态学模式一致。图1（在图形查看器中打开）

代表性荧光显微镜图像显示了暴露于逐渐增加的多柔比星浓度（0–4.0 μmol/L）的吖啶橙/PI染色MCF-7细胞，展示了人类专家识别的剂量依赖性细胞病理学变化。绿色荧光表示存活的细胞，而红色荧光标记凋亡或坏死的细胞。注释的形态学特征包括染色质凝聚（CC+）、细胞质颗粒化（CG）、酸性囊泡器（AVO）、膜起泡（MB）、核碎片化（NF）、核肿胀（NS）、起泡（BB）、形态学转变（MS）、早期凋亡（EA）、晚期凋亡（LA）、坏死（N）以及核与细胞质比例的变化（N/C）。从1.0 μmol/L开始，观察到核和膜异常的普遍性增加。比例尺：100 μm。值得注意的是，即使在0.5 μmol/L和1.0 μmol/L这样的低浓度下，也可以容易地检测到明显的细胞病理学特征。尽管还有大量存活细胞存在，但早期凋亡的形态学特征——包括染色质凝聚、膜起泡和细胞质颗粒化（CG）——仍然很明显。在这些剂量下，即使在没有广泛坏死的情况下，也能观察到凋亡特征，从而可视化过渡性形态状态。然而，当多柔比剂浓度增加到2.0 μmol/L和4.0 μmol/L时，存活细胞的比例急剧下降。在这些较高剂量下，荧光显微镜视野主要由碎片化、解体或完全坏死的细胞占据，总细胞数量明显减少。完整细胞结构的稀缺和扩散的红色染色碎片的普遍限制了离散的细胞病理学标志物的识别。因此，在较高浓度下，细胞的整体完整性和可计数细胞的可用性大大降低。除了这些定性的形态学观察外，还进行了专家评估和MLMM输出之间的结构化比较，如材料和方法部分（第5节）所述。这种比较分析被定量总结，以突出不同治疗组在检测关键细胞病理学参数方面的趋同和差异，提供了更全面的解释一致性图景。这些结果的图形表示在下列图中展示。为了图形清晰性，图2显示了从每组100张图像中随机选择的10张代表性图像的数据，这些图像用于整体分析。图2（在图形查看器中打开）

人类专家和MLLM在暴露于逐渐增加的多柔比星浓度（0–4.0 μmol/L）的吖啶橙/PI染色MCF-7细胞中评估的六个关键细胞病理学参数的比较分析。(A) 总可计数细胞数。(B) 总存活细胞数。(C) 早期凋亡指数。(D) 晚期凋亡指数。(E) 总凋亡指数，以及(F) 坏死指数。专家（人类）和AI（MLLM）的评估显示为平均值±标准差（每组n = 10）。尽管MLMM在总细胞计数和坏死检测方面与专家的表现相当，但在凋亡指数方面观察到了显著差异，特别是在中等和高药物浓度下。统计显著性由星号表示，并表示每个治疗组与未处理对照组（0 μmol/L多柔比剂）之间的比较：*p < 0.05, **p < 0.01, ***p < 0.001, ****p < 0.0001与对照组相比。MLLM，多模态大型语言模型。如图2A所示，人类专家和MLLM分析在所有浓度下的每张图像中的可计数细胞总数是一致的。两种方法平均每个视野大约识别出60个细胞。这种强烈的一致性表明，MLMMs能够在荧光显微镜条件下有效检测和计数细胞，而不考虑多柔比剂的浓度。对存活细胞群体（VI %）的评估进一步强调了人类专家和MLLM之间的差异，如图2B所示。人类专家的评估显示，从1.0 μmol/L开始，存活率急剧下降，在最高剂量（4.0 μmol/L）时降至10%以下，反映了多柔比素的细胞毒性影响。尽管MLMM成功捕捉到了整体下降趋势，但它一致地高估了所有治疗组的存活率。这种差异可能源于模型在区分真正存活的细胞和那些表现出早期细胞质或核改变的细胞方面的能力有限。另一个可能的原因是模型倾向于过度依赖完整的绿色荧光的存在，而没有完全解释人类评估者识别为凋亡前的微妙结构变形。在图2C中显示的早期凋亡评估方面，MLMM和人类专家在较低的多柔比剂浓度（对照–1.0 μmol/L）下表现出高度一致性，其中凋亡特征如染色质凝聚和膜起泡相对容易区分。在这些剂量下，早期凋亡事件可以清楚地识别，使模型能够紧密复制专家的评估。然而，在2.0 μmol/L时，专家分析显示早期凋亡细胞的比例急剧上升——接近80%——而MLMM未能反映这一点，反而报告其在1.0 μmol/L时的峰值。在较高浓度（2.0–4.0 μmol/L）下，专家评估中的早期凋亡指数降低，这与通过AO/PI荧光显微镜观察到的晚期凋亡和坏死表型的逐渐增加相吻合。在这些条件下，广泛的结构破坏和细胞完整性的降低限制了早期凋亡形态的可见性。同时，在这些浓度下，人类专家和MLLM评估之间的差异变得更加明显。关于晚期凋亡的评估（图2D），人类专家发现晚期凋亡细胞逐渐增加，在4.0 μmol/L时这一比例最高，接近80%的细胞被归类为晚期凋亡。相比之下，MLLM在所有浓度下始终报告较低的晚期凋亡指数（< 10%），表明在细胞死亡的高级阶段，专家和基于模型的评估之间存在显著差异。为了量化不考虑阶段的凋亡负担，还评估了总凋亡指数（TAI %）——即早期和晚期凋亡细胞的综合比例——并在图2E中显示。专家评估显示在2.0 μmol/L时有一个明显的峰值，此时几乎所有可观察到的细胞都表现出凋亡形态。相比之下，MLLM在整个剂量范围内显示出更平缓且平坦的反应，总凋亡指数值始终较低，并且在对照组中未检测到凋亡细胞。同样，人类专家和MLLM在早期和晚期凋亡指数上的差异也反映在总凋亡指数上。在较高浓度下，结构受损细胞的增加与AO/PI荧光显微镜下离散的凋亡特征的可见性降低同时发生。与凋亡参数不同，坏死细胞死亡的评估在人类专家评估和MLLM输出之间显示出高水平的一致性，如图2F所示。两种方法都显示出坏死指数（NI %）随剂量的明显增加，仅在定量上存在细微差异。为了进一步探究模型的解释能力——特别是在凋亡和坏死阶段重叠的情况下——构建了并排的热图，以比较从0到4.0 μmol/L的多柔比星浓度范围内基于人类专家和MLLM的详细细胞病理学评估，其中早期和晚期凋亡特征以不同强度共存。这种方法允许直接比较检测趋势、跨剂量的连贯性以及人类和机器评估之间敏感性的差异。通过应用统一的颜色尺度，可以在剂量内（每组内部）和剂量间（跨剂量）层面快速评估解释模式，如图3所示。

图3展示了多柔比星浓度下细胞病理学参数严重程度的比较热图表示。 (A) 从人类专家评估的定性评估转换成标准化严重程度得分（0：无，1：轻微，2：中度，3：严重）的热图。(B) 基于MLLM生成的相同评分格式的热图。两个面板都使用统一的颜色尺度（YlOrRd），以便直接比较五个治疗组（对照组、0.5 μmol/L、1.0 μmol/L、2.0 μmol/L和4.0 μmol/L多柔比星）之间的形态改变和人类与机器评估之间的解释差异。AVO表示酸性囊泡器官；BB表示起泡；C/N表示细胞质与核的比例；CC+表示浓缩的染色质；CG表示细胞质颗粒度；MB表示膜起泡；MS表示形态变化；NF表示核碎片化；NS表示核肿胀。图3A中的热图显示从0.5 μmol/L到2.0 μmol/L多柔比星，细胞病理学严重程度明显依赖于剂量增加。凋亡和坏死标志物如NF、NS、MB和形态变化（MS）逐渐加剧，这与细胞对化疗压力的预期反应一致。值得注意的是，在最高浓度4.0 μmol/L时，一些凋亡参数——包括NF、NS、起泡（BB）和MS——的严重程度得分降至0。这一观察反映了高剂量多柔比星主要诱导快速坏死死亡的事实，导致广泛的结构崩溃和完整细胞形态的消失。在这种情况下，凋亡特征变得不可观察，不是因为它们理论上不存在，而是因为细胞在荧光显微镜下已经解体到无法辨认的状态。同时，如CG、酸性囊泡器官（AVO）和浓缩染色质（CC+）等参数保持在最低水平（得分为1），可能代表残留在碎片或坏死碎片中的染色。这些低水平的痕迹表明，即使在严重的细胞毒性降解下，某些形态指标也可能仍然可检测到，尽管它们的诊断特异性可能有限。图3B中的热图展示了基于MLMM生成的预测的细胞病理学评分的部分剂量响应模式。在对照组和0.5 μmol/L组中，大多数参数——包括CG、CC+和MS——的得分为0或1，表明模型对通常由人类专家检测到的细微形态特征的敏感性有限。在中间浓度（1.0–2.0 μmol/L）下，模型开始在几个参数上分配中等分数，包括MB、CG和CC+。然而，关键凋亡标志物——如NF、NS和BB——尽管在专家评估中明显存在，但仍然未能被检测到。这种低估表明模型难以识别需要空间和上下文解释的细微或过渡性凋亡变化。与专家发现相反，即使在4.0 μmol/L时，模型也倾向于在多个参数上分配中等分数，因为此时由于坏死解体，凋亡形态大部分不再存在。这种不匹配可能源于模型无法区分结构化的凋亡信号和背景噪音或残留碎片，凸显了在极端细胞毒性条件下缺乏上下文感知的生物学推理。为了更好地解释人类和MLLM评估之间的差异，进行了分类分析，以量化所有45个参数-剂量组合（9个参数×5个多柔比星剂量）之间的收敛和差异模式。图4将这种比较总结为五个解释类别：完全收敛、轻微高估、轻微低估、强烈高估和强烈低估。这种分类提供了关于模型偏离专家解释的频率和方向的更广泛理解。

图4显示了人类和MLLM评估之间收敛和差异的百分比分布。饼图展示了基于9个细胞病理学参数在5种不同多柔比星浓度下的45个成对比较的结果分布。评分结果被分为五种解释关系类型：完全收敛（51.1%）、轻微高估（15.6%）、轻微低估（20.0%）、强烈高估（4.4%）和强烈低估（8.9%）。这些比例反映了模型与专家对齐的程度和方向，提供了关于MLMM在不同形态背景下一致性和解释偏差的见解。MLLM是一种多模态大型语言模型。其中，完全收敛占比较多的比例（51.1%），表明在超过一半的情况下，MLMM成功复制了专家分配的严重程度得分。这一发现突出了模型与基于荧光的细胞病理学评估中人类专家水平评估的一般对齐能力。然而，剩余的48.9%的情况显示出不同程度的差异。值得注意的是，低估是最主要的错误类型。在中间多柔比星浓度（1.0–2.0 μmol/L）下，轻微低估（20.0%）尤其常见，此时通常存在过渡性凋亡特征，如染色质浓缩、NS和起泡。这一趋势表明模型经常难以检测到需要细致空间解释的细微形态变化。强烈低估（8.9%）进一步反映了模型在识别晚期但形态退化的凋亡事件方面的局限性。相反，高估较少发生。轻微高估（15.6%）和强烈高估（4.4%）共同占比较小的比例，表明了一种相对保守的解释模式。尽管这种保守性可能减少了误检，但它可能限制了敏感性——特别是在识别早期或模糊的凋亡线索时。为了进一步量化专家注释和MLMM输出之间的一致性，计算了Cohen的kappa系数。得出的κ值为0.29，表明了一定程度的一致性，强调了模型近似人类判断的潜力以及在解释形态模糊特征时需要改进[27]。在一段时间间隔（72小时）后重新评估了50张图像（每个治疗组10张），以评估模型内部的重复性。在92.5%的情况下获得了相同的最终四类细胞状态分类（存活、早期凋亡、晚期凋亡和坏死），支持了模型在受控输入条件下的内部一致性。为了更好地理解这些解释限制如何转化为分类性能，我们使用混淆矩阵和相应的统计指标分析了模型的预测。图5A展示了结合MLMM预测和专家注释的混淆矩阵，涵盖了四种细胞状态：存活、早期凋亡、晚期凋亡和坏死。准确预测集中在对角线上（用虚线突出显示），而对角线外的条目代表错误分类。模型准确地识别了存活（21/25）和坏死（17/25）细胞，这由高召回率证明。然而，相当一部分早期凋亡细胞被错误分类，最常被归类为存活（15/25个案例），表明模型过度依赖主导颜色线索，并未能一致地识别早期凋亡的典型特征，如部分染色质浓缩、轻微的膜起泡或轻微的核与细胞质比例变化。晚期凋亡细胞也出现了大量的错误分类，分布在存活（8/25）和坏死（7/25）类别中，反映了在同一个细胞群体中凋亡和坏死特征重叠时难以分辨的过渡形态。图5B显示了特定类别的精确度、召回率和F1分数。模型对坏死细胞的F1分数最高（0.81），精确度和召回率都很高，表明它具有相对强大的能力来识别明显的坏死形态。相比之下，存活细胞的召回率很高（0.84），但精确度较低（0.37），导致F1分数较低（0.51）。

图5展示了LLMM在细胞状态分类中的混淆矩阵和预测性能指标。(A) 比较MLMM预测和人类专家注释在四种不同细胞状态（存活、早期凋亡、晚期凋亡和坏死）的混淆矩阵。正确分类的实例位于对角线上（用虚线突出显示）。(B) 条形图和相应的表格展示了按类别划分的精确度、召回率和F1分数值。尽管模型在识别存活和坏死细胞方面表现出很强的召回率，但在识别早期和晚期凋亡状态方面的表现仍然有限。早期凋亡细胞的召回率最低（0.16），F1分数仅为0.21，而晚期凋亡细胞的召回率和F1分数也相当低（召回率：0.20；F1分数：0.26）。这些错误模式表明，MLMM的主要限制不在于检测单个视觉元素，而在于无法将多个同时发生的细胞病理学线索整合成连贯的空间-上下文解释。总体而言，结果强调了模型在区分最终细胞状态（存活和坏死）方面的强大能力，同时揭示了在准确识别凋亡方面的显著缺陷。为了进一步评估模型的类别区分能力，计算了每个细胞状态（存活、早期凋亡、晚期凋亡和坏死）的接收者操作特征（ROC）曲线和AUC值，如图6所示。这些指标提供了独立于阈值的分类性能评估，并提供了关于模型敏感性和特异性平衡的额外见解。

图6展示了细胞状态分类的接收者操作特征曲线和AUC分析。模型对坏死细胞的区分能力最强（AUC = 0.84），对存活细胞的区分能力中等（AUC = 0.68），而对凋亡状态的区分能力较低（早期凋亡的AUC = 0.52，晚期凋亡的AUC = 0.55）。AUC表示曲线下面积。模型对坏死细胞的AUC最高（AUC = 0.84），进一步加强了之前关于可靠坏死检测的发现。这种强烈的可区分性表明，模型有效地识别了死细胞的明显形态特征，如仅呈现红色的核染色和膜破裂，这些在AO/PI荧光下相对容易区分。对于存活细胞，AUC中等（AUC = 0.68），表明在特征空间中与凋亡状态有部分重叠。尽管早期的召回率很高，但较低的精确度和中等的AUC意味着当早期凋亡变化微妙时，存活细胞有时会被错误分类。相比之下，早期凋亡（AUC = 0.52）和晚期凋亡（AUC = 0.55）细胞的区分能力较差。这些AUC值仅略高于随机分类器的基线（AUC = 0.50），表明模型在一致区分凋亡状态方面存在困难。这与混淆矩阵的结果和F1分数一致，突显了在识别与凋亡相关的短暂或中间形态线索方面的持续挑战。总之，ROC分析证实，尽管MLMM可以强大地区分坏死细胞，但其检测凋亡转变的能力仍然有限。增强这些类别的区分能力可能需要整合更高分辨率的形态特征、时间背景或多模态输入。研究结果表明，基于大语言模型的（MLLMs）在识别明确的细胞病理学特征（如TCC和坏死）时，能够提供高吞吐量的评估，并具有接近专家的准确性。作为背景信息，如果由三位经过细胞病理学训练的专家手动评估同一组500张图像数据集——这需要独立的审查和随后的共识讨论——预计将需要数十个人工小时，这突显了基于MLLM的流程所带来的显著效率提升。然而，当涉及到检测更微妙和过渡性的细胞凋亡事件时，它们的表现明显下降。这种缺陷在多柔比星浓度为2.0 μmol/L时尤为明显，因为在这一浓度下，早期和晚期凋亡的形态特征重叠，使得模型难以进行准确分类。在评估存活细胞时也观察到了类似的不足。特别是在较高药物剂量下，模型倾向于高估细胞的存活能力。这可能是因为它依赖于绿色荧光作为存活的标志物，而没有充分解释在细胞凋亡早期阶段发生的微妙核或细胞质变化。为了克服这些限制，未来的模型开发应着重提高对细微细胞凋亡特征（如CC+、NF和MB）的敏感性。此外，整合更大、更多样化的由人类专家标注的训练数据集——特别是那些包含边缘和过渡性形态的数据集——可能会显著提高模型在自动化细胞病理学工作流程中的可靠性和诊断价值。为了进一步从剂量依赖性的细胞病理学动态角度解释这些发现，有必要研究细胞凋亡和坏死模式随多柔比星浓度增加而如何演变。与这些观察结果一致，研究剂量依赖性的细胞凋亡进程有助于解释为什么模型与专家之间的差异在中等和高细胞毒性压力水平下最为明显。在2.0 μmol/L的浓度处出现的显著峰值可能反映了过渡性的细胞毒性阈值，此时最大比例的细胞已经开始凋亡，但仍显示出可检测的早期凋亡特征。较高的多柔比星浓度会促使细胞迅速进入晚期凋亡或坏死状态，导致结构分解和早期凋亡形态的丧失，这一点可以通过AO/PI荧光显微镜观察到。因此，高剂量导致早期凋亡指数下降，并不是因为凋亡信号减弱，而是因为细胞已经超过了最初的凋亡阶段。在高浓度下出现的这种差异可能源于模型对早期凋亡特征中微妙核变化的敏感性不足。另一个可能的原因是，在这一剂量下，晚期凋亡和坏死特征在视觉上有所重叠，这可能混淆了模型的分类边界。关于图2D中展示的晚期凋亡评估，人类专家成功识别出了特征性特征，如NF和MB，在4.0 μmol/L的浓度下，几乎80%的细胞被分类为晚期凋亡。相比之下，MLLM始终低估了这一类别，在所有剂量下报告的比例均低于10%。这一显著差异表明，晚期凋亡对模型来说仍然是一个主要挑战，这可能是由于碎片化核的不规则形态和部分溶解的膜的存在，这些因素会妨碍模式识别。另一个可能的原因是模型难以区分晚期凋亡细胞和坏死细胞，因为两者都可能表现出核和膜的完整性破坏，导致视觉线索的重叠。这些差异进一步强调了在早期和晚期凋亡评估中观察到的局限性，表明模型在将不同的凋亡形态整合为统一的细胞病理学解释方面存在困难。另一个可能的原因是模型在处理介于明确可分离的早期和晚期阶段之间的过渡性特征时能力有限，尤其是在细胞损伤严重的环境中。与凋亡参数不同，坏死细胞的评估在图2F中显示出专家评估和MLMM输出之间有显著的一致性。两种方法都发现了坏死指数（NI%）随着剂量的增加而增加，仅存在少量定量估计的差异。这种密切的一致性表明模型能够可靠地检测到坏死形态，其典型特征是强烈的红色核荧光和膜的完全丧失。坏死细胞的高视觉对比度和较低的形态模糊性可能有助于模型在这一类别中表现相对较强。总的来说，这些发现表明MLLM的主要限制不在于检测明显的细胞死亡，而在于解决需要综合空间和上下文解释的复杂和过渡性凋亡形态。为了更好地解释观察到的差异背后的机制，需要从形态学角度进行解释。在形态学层面上，这些限制似乎不是由于无法检测到单个视觉元素，而是因为难以将多个并发的细胞病理学线索整合为连贯的生物学解释。特别是对于过渡性凋亡的特征——例如中等的染色质浓缩而没有明显的碎片化、部分膜通透性伴随着混合的AO/PI荧光、核与细胞质比例的微妙变化以及空间局部化的膜起泡——MLMM经常识别不足。尽管人类专家可以通过上下文和关系推理轻松解释这些特征，但它们需要精细的空间意识和跨特征整合，这对语言模型驱动的多模态系统来说仍然是具有挑战性的。重要的是，这一限制并非当前模型所独有。在其他为无标记分类凋亡和坏死细胞而开发的深度学习模型中也观察到了类似的结果。例如，D-MAINS模型在检测HeLa细胞中的凋亡和坏死事件时准确率超过了95%，而CellDeathPred使用细胞染色图像准确区分了凋亡和铁死亡[28, 29]。这些研究验证了基于形态学的AI分类在细胞死亡检测中的可行性。与这一解释一致，最近专注于细胞学的AI研究表明，当目标形态定义明确且可与背景结构分离时，模型通常能够获得高性能。例如，一个基于深度学习的真菌筛选模型应用于支气管肺泡灌洗细胞学分析时，通过利用明显的真菌形态和明确的背景/碎片分类，实现了0.97的召回率，突出了形态学清晰度对于可靠AI辅助细胞病理学分析的重要性[30]。在这些观察结果中，凋亡解释的局限性突显了注释质量和专家定义的真实数据在塑造AI性能中的关键作用。先前关于免疫组化数字图像分析的报告表明，即使是最先进的AI平台，在没有优化注释策略（如区域特定或免手动分割）的情况下也表现不佳[31]。在那项研究中，Ki-67评分的变异性更多受到注释方法的影响，而不是软件平台本身。这些见解支持了我们研究中使用的方法，即通过标准化的AO/PI特定检查表评估15参数的细胞病理学评估清单。这种方法确保了专家和AI评估之间的一致性，从而实现了公平和可复制的性能比较。重要的是，这些发现与先前强调通用MLLM在精细生物医学图像解释中的局限性的报告一致。尽管GPT-4o在血液形态分类和眼底图像分析等任务中展示了有希望的召回率，但其精确度和领域特定敏感性仍然有限[25, 31]。最近发表的一篇编辑报告也指出了ChatGPT在复制专家级分割和医学成像中的视觉推理方面表现不稳定[32]。与这些观察结果一致，最近一项关于宫颈细胞学的基准研究报道，尽管表现有希望，但大型语言和视觉语言模型仍不如专家级病理学家，需要在临床应用前进行大量的方法论改进[33]。总之，这些发现表明，虽然MLMM在许多情况下能够准确反映人类专家的判断，但在敏感性和生物上下文意识方面仍存在显著限制。提高其检测早期和过渡性凋亡变化的能力，并嵌入生物学上合理的机制，是未来发展的关键方向。这些考虑为解释当前发现提供了重要的框架，并为未来旨在改进生物学上合理的AI辅助细胞病理学分析的工作提供了信息。更广泛地说，最近的细胞病理学导向的AI研究表明，这种性能不对称性——即明确的形态目标能够被可靠检测到，而过渡性细胞状态仍然具有挑战性——代表了临床转化的常见瓶颈，并强调了需要生物学上合理的模型设计[34]。与这些性能趋势一致，模型倾向于高估细胞的存活能力，尤其是在早期凋亡变化在形态上微妙且与存活表型部分重叠的情况下。与这些发现一致，早期和晚期凋亡状态的预测性能仍然较差，这突显了模型对过渡性和中间凋亡特征的敏感性有限。未来的改进应侧重于提高对过渡性表型的敏感性，或许可以通过使用丰富的数据集和包含时空特征识别模块来实现。尽管基于MLLM的评估提供了有希望的见解，但必须承认本研究存在几个局限性。例如，由于没有保留个体预共识评估分数，因此无法进行正式的定量观察者间一致性分析（例如Cohen’s kappa）。此外，语言模型驱动的架构缺乏解释复杂细胞形态学模式所需的空间感知和领域特定先验。这一限制可能导致了模型在检测过渡性凋亡事件方面的表现不足，这不仅需要语义理解，还需要精细的空间区分。此外，基于规则的将视觉模式转换为文本再转换回半定量分数的方法可能会引入解释上的偏差，这在端到端学习框架中不会出现。展望未来，基于深度学习的模型——特别是CNN和基于变压器的视觉模型——可能会通过直接从原始图像数据中学习层次化特征来提供更强大的解决方案[35]。这些架构天生能够捕捉纹理、强度梯度和定义细胞存活和死亡的局部形态学模式。消除对中间文本推理的需求，深度学习方法可以提供更直接和敏感的凋亡形态分析，还具有可扩展性和高吞吐量能力[36]。在这方面，未来的改进可能涉及结构化的逐步提示策略，其中模型被明确指导去识别和描述特定的凋亡标志——如MB、CC+或NF——在分配最终细胞状态之前，这可能有助于减少早期和晚期凋亡分类中观察到的“凋亡差距”。另一方面，未来的工作应优先考虑整合大型带注释的荧光数据集和先进的深度学习流程，以实现上下文感知、生物学上合理且与专家可比的细胞病理学分析。总之，这项研究表明，虽然基于MLLM的系统在检测明确的终末细胞病理学状态方面可以接近专家水平的表现，但在解决复杂和过渡性凋亡形态方面仍然不够充分。研究结果强调，可靠的AI辅助细胞病理学解释不仅需要高吞吐量能力，还需要基于专家定义的注释框架支持的生物学上合理的上下文推理。弥合这一差距对于将多模态AI系统负责地整合到细胞病理学研究和转化工作流程中至关重要。

4 结论

本研究比较了基于专家和AI辅助的细胞病理学评估方法，针对多柔比星诱导的细胞毒性压力下AO/PI染色的荧光显微镜图像，重点区分不同的细胞状态。将MLLM整合到分析流程中展示了令人鼓舞的结果，在超过一半的评估参数-剂量组合中观察到了与专家水平一致的结果。该模型在识别存活和坏死细胞方面表现出强大的性能，这两者都有明确且形态上不同的特征。然而，它在检测早期和晚期凋亡状态方面的持续表现不佳，突显了语言模型驱动的架构在捕捉微妙过渡性细胞学变化方面的局限性。这些缺点在多个评估层次上都很明显，包括严重程度评分、混淆矩阵和ROC分析。对间接文本抽象的依赖似乎限制了模型在空间上合理和生物学上细致解释的能力。总的来说，我们的发现表明，尽管MLLM在基于荧光的细胞死亡分析的高通量或预筛选应用中具有潜力，但需要更复杂的方法才能在所有形态状态下实现与专家相当的性能。直接在图像数据上操作的深度学习模型——如CNN和基于变压器的视觉架构——提供了一个有希望的方向。它们天生具备提取层次化和上下文丰富的特征的能力，无需中间文本推理，这使得它们成为更准确和敏感地分类凋亡和坏死细胞死亡的合适候选者。未来的研究应优先开发使用大型、标注良好的荧光数据集的此类模型，以推进细胞病理学图像分析的自动化和可靠性。

5 材料与方法

5.1 材料

MCF-7人类乳腺腺癌细胞系是从美国典型培养收藏中心（ATCC, HTB-22TM）获得的。杜尔贝科改良的鹰培养基（DMEM）高葡萄糖、胎牛血清（FBS）、青霉素-链霉素溶液、磷酸盐缓冲盐水（PBS）、胰蛋白酶-EDTA以及其他常规试剂均从Gibco（Thermo Fisher Scientific，美国）购买，除非另有说明。盐酸多柔比星（Doxorubicin hydrochloride）、AO和PI从Sigma-Aldrich（美国）获取。所有使用的化学物质均为分析级或细胞培养级。

5.2 细胞培养与维护

MCF-7细胞在添加了10% FBS和1%青霉素-链霉素的DMEM中培养。细胞在37°C、含5% CO2的湿润环境中维持。使用胰蛋白酶-EDTA在70%–80%汇合度时进行传代培养。所有实验均使用传代次数在5到8次之间的细胞进行，以确保细胞一致性。

5.3 抗癌药物处理

细胞以每孔2 × 10^4个细胞的密度接种到24孔组织培养板上，并培养24小时以促进细胞附着。之后，向孔中加入不同浓度的多柔比星：0 μmol/L（对照组）、0.5 μmol/L、1.0 μmol/L、2.0 μmol/L和4.0 μmol/L。每种浓度都在新鲜配制的培养基中制备，并在标准培养条件下作用24小时。

5.4 AO/PI双重染色

药物处理后，细胞用含有25 μg/mL AO和25 μg/mL PI的双重染色溶液进行染色，这两种溶液分别用无菌PBS配制并通过0.22 μm注射过滤器（Merck Millipore，德国）过滤后使用。染色溶液直接加入每个孔中，在室温下避光培养1分钟。培养结束后，立即使用配备标准荧光异硫氰酸酯（FITC）和四甲基罗丹明异硫氰酸酯（TRITC）滤光片的Zeiss Axio Observer A1荧光显微镜观察细胞，以检测绿色和红色荧光。

5.5 图像采集与数据集结构

AO/PI染色完成后，在10倍放大倍数下采集荧光显微镜图像。每个实验组准备五个生物学重复样本（n = 5），每个孔捕获20张不重叠的荧光图像，因此每个组有100张图像，五个处理条件（对照组、0.5 μmol/L、1.0 μmol/L、2.0 μmol/L和4.0 μmol/L多柔比星）共有500张图像。所有图像保存为未压缩的TIFF格式，以保留高分辨率的荧光信号，并根据组和孔标识进行系统标记。在分析之前，图像被匿名化并随机化，以减少观察者偏见，确保手动和自动分析阶段的客观性。

5.6 研究人员的细胞病理学评估

荧光图像由三位具有细胞病理学和基于荧光的细胞成像培训及经验的研究人员独立分析。每张图像根据包含四个主要类别的标准化评估清单进行手动评估：（1）总细胞计数和密度，（2）染色特征和存活率，（3）核形态，（4）细胞质和膜形态。这些类别共包含15个细胞病理学评估参数，如表1所述。手动评估使用CellProfiler（版本4.2.8，Broad Institute，剑桥，MA）进行，这是一个为高通量荧光显微镜优化的开源图像分析软件平台。设计了一个定制的流程，通过分割叠加和可调显示设置来促进直观的验证，从而准确评估核和细胞质特征。使用区域特异性缩放、阈值调整和分类叠加来增强评估者之间的一致性。清单上的每个项目根据每张图像标记为“观察到位”或“未观察到”，并在适用时报告半定量估计值（例如，百分比值）。三位研究人员的反馈汇总后，通过对不一致案例的联合审查解决差异。为了专家比较，使用完整的15个参数细胞病理学评估清单分析了500张荧光显微镜图像（每个处理组100张）。这些图像与MLLM评估中使用的图像相同，确保了比较的一致性。图1展示了该数据集的代表性示例。为了说明专家共识过程和细胞病理学解释的复杂性，表S1提供了与MLLM分析的相同AO/PI染色图像的代表性专家共识评估结果。由于详细的多参数细胞病理学注释耗时且认知要求高，人类专家评估有意集中在每个处理组的代表性子集上。相比之下，MLLM应用于整个图像数据集，以评估可扩展性、吞吐量和在高容量分析条件下的性能。

表1. AO/PI图像评估标准，分为五个细胞病理学类别

5.7 通过多模态大型语言模型（LLM）进行细胞病理学评估

与基于专家的评估同时进行，所有500张AO/PI染色的荧光显微镜图像使用Poe平台上的多模态LLM进行评估。选定的模型Claude 3.7 Sonnet支持图像输入和多模态推理，能够解释基于荧光的细胞病理学特征。专门为这项研究开发了一个名为CYTO_ATILIMMED的定制聊天机器人实例。聊天机器人使用包含标准化15个参数细胞病理学评估清单的单一固定系统级指令提示进行配置，涵盖总细胞计数（TCC）、染色特征和存活率、凋亡和坏死指数、核形态以及细胞质和膜特征。完整的指令提示（包括所有参数的定义、评分规则和结构化输出模板）在支持信息中提供，以确保可重复性和透明度。为了最小化随机变异性同时保持对视觉模式的敏感性，所有模型评估均在温度设置为0.3的情况下进行，以促进独立运行之间的确定性行为。上传图像前对图像进行随机化，以减少序列相关偏差。每个图像独立评估，不访问处理组信息。LLM被指令按照预定义的格式生成结构化文本输出，包括（i）定性的形态观察和（ii）半定量的分类指数。重要的是，模型未被指令生成精确的数值百分比。相反，所有定量描述符（如存活率、凋亡和坏死）被限制在预定义的序数区间：无（0%）、轻微（1%–5%）、中等（6%–20%）和严重（> 20%），与表1中总结的评估框架一致。因此，这些值代表了模型在固定标准下产生的直接分类估计，作者未对自由文本输出进行二次量化或事后解释。为了评估模型内部的重复性，在72小时后使用相同的提示和参数设置重新评估了随机选择的50张图像（每个处理组10张）。模型内部的重复性定义为最终四类细胞状态（存活、早期凋亡、晚期凋亡和坏死）的一致性，而不是整个15参数细胞病理学评估清单中的参数一致性。

5.7 通过多模态大型语言模型（LLM）进行细胞病理学评估

与基于专家的评估并行，所有500张AO/PI染色的荧光显微镜图像使用Poe平台上的多模态LLM进行评估。选定的模型Claude 3.7 Sonnet支持图像输入和多模态推理，能够解释基于荧光的细胞病理学特征。专门为这项研究开发了一个名为CYTO_ATILIMMED的定制聊天机器人实例。聊天机器人配置了包含标准化15个参数细胞病理学评估清单的单一固定系统级指令提示，涵盖总细胞计数（TCC）、染色特征和存活率、凋亡和坏死指数、核形态以及细胞质和膜特征。完整的指令提示（包括所有参数的定义、评分规则和结构化输出模板）在支持信息中提供，以确保可重复性和透明度。为了最小化随机变异性，同时保持对视觉模式的敏感性，所有模型评估均在温度设置为0.3的情况下进行，以促进独立运行之间的确定性行为。图像在上传前进行随机化，以减少序列相关偏差。每个图像独立评估，不访问处理组信息。LLM被指令生成结构化文本输出，包括（i）定性的形态观察和（ii）半定量的分类指数。重要的是，模型未被指令生成精确的数值百分比。相反，所有定量描述符（如存活率、凋亡和坏死）被限制在预定义的有序区间：无（0%）、轻微（1%–5%）、中等（6%–20%）和严重（> 20%），与表1中总结的评估框架一致。这些值代表了模型在固定标准下产生的直接分类估计，作者未对自由文本输出进行二次量化或事后解释。为了评估模型内部的重复性，在72小时间隔后使用相同的提示和参数设置重新评估了随机选择的50张图像（每个处理组10张）。模型内部的重复性定义为最终四类细胞状态（存活、早期凋亡、晚期凋亡和坏死）一致性，而不是整个15参数细胞病理学评估清单中的参数一致性。

5.8 定性评估的视觉编码用于热图呈现

为了便于在不同多柔比星浓度下可视化专家评估的细胞病理学特征，评估格式中的定性描述符被系统地转换为数值。具体来说，类别映射如下：“无”（0%）对应0，“轻微”（1%–5%）对应1，“中等”（6%–20%）对应2，“严重”（> 20%）对应3。这种量化使用Python的matplotlib和seaborn库生成热图，颜色梯度对应形态变化的严重程度。基于专家和LLM的热图都使用统一的颜色尺度（YlOrRd）构建，以确保直观的比较可视化。

5.9 定量一致性及预测性能分析

从专家评估和AI辅助图像分析中获得的所有定量数据使用GraphPad Prism（版本10.4.2）和Python（版本3.11.5）进行编译和分析。对于每个处理组，数值数据——包括总细胞计数、凋亡和坏死指数以及形态参数——表示为平均值±标准差（SD）。组间比较使用单因素方差分析（ANOVA）进行，然后使用Tukey的事后多重比较检验。p值小于0.05（p < 0.05）被认为具有统计显著性。为了评估LLM的分类预测性能，选择了100张AO/PI染色的荧光显微镜图像。每张图像由专家评估者根据主要细胞病理学特征进行标注，并分配四个类别标签之一：存活、早期凋亡、晚期凋亡或坏死。相同的图像也由MLLM（Claude 3.7 Sonnet，CYTO_ATILIMMED实例）独立评估，生成与定义的分类方案对齐的结构化预测。结果标签对（true_label和MLLM_prediction）被编译成混淆矩阵，以评估预测准确性。使用scikit-learn（版本1.3.2）计算每个类别的关键性能指标，包括精确度、召回率和F1分数。此外，生成了一对一ROC曲线，并在标签二值化后计算AUC值。还计算了Cohen’s kappa系数，以量化专家注释和MLM预测之间的分类一致性。所有计算分析使用pandas、scikit-learn、matplotlib和seaborn库在Python中完成。

作者贡献

Atakan Tevlek：概念化；数据筛选；正式分析；资金获取；研究调查；方法论；项目管理；监督；验证；可视化；撰写——原始草稿；撰写——审阅和编辑。Ozgecan Ocakci：数据筛选；正式分析；研究调查；撰写——原始草稿。Beyza Emeksiz：数据筛选；研究调查；可视化；撰写——原始草稿。

本项目得到了Atilim大学ARGEDA技术转移办公室（TTO）的支持，项目编号为ATU-ATAK-2425-06。在本研究中，需要获取大量荧光显微镜图像，作者衷心感谢Esin Akbay Cetin和Teoman Utku Yegenoglu在荧光显微镜成像方面的宝贵支持。

利益冲突声明

作者声明没有利益冲突。

伦理声明

本研究没有涉及人类参与者或动物。所有分析都是基于先前生成的体外荧光显微镜图像的已建立的细胞系进行的。因此，不需要伦理批准和知情同意。

数据可用性声明

本研究中使用和分析的数据集可根据相应作者的要求提供。