基于多模态Transformer的早期胃癌术前淋巴结转移风险评估：利用内镜活检全切片图像的研究

《Annals of Biomedical Engineering》：Multimodal Transformer-Based Preoperative Risk Assessment of Lymph Node Metastasis in Early Gastric Cancer Using Whole Slide Images of Endoscopic Biopsies

　　

摘要 背景：早期胃癌（early gastric cancer, EGC）术前淋巴结转移（lymph node metastasis, LNM）风险的准确评估对于选择内镜治疗或手术治疗至关重要。多数计算病理学研究依赖于根治性胃切除术后获得的切除标本，这从根本上限制了其术前应用价值。本研究开发了一种多模态人工智能（artificial intelligence, AI）框架，利用术前内镜活检的全切片图像（whole slide images, WSIs）评估LNM风险，旨在协助临床医生在手术前优化治疗策略，并降低患者不必要的手术风险。 方法：研究人员开发了一种基于多模态Transformer的模型，采用临床引导的协同注意力机制（clinical-guided co-attention mechanism）融合病理特征与临床变量。为克服碎裂活检标本固有的信息稀缺性，研究人员从手术组织WSIs中提取黏膜层和黏膜下层区域作为伪活检（pseudo-biopsies）。进一步采用课程学习（curriculum learning, CL）范式，使模型从理想化的伪活检样本过渡至真实世界的活检样本。 结果：通过对包含1,099张手术组织WSIs和189张内镜活检WSIs的数据集进行分析，该框架在手术组织WSIs上实现了0.759的曲线下面积（area under the curve, AUC），在术前内镜活检WSIs上实现了0.727的AUC。 结论：研究结果表明，针对内镜活检WSIs量身定制的多模态AI框架在T1期EGC的LNM术前风险评估中具有可行性。作为一项探索性临床决策支持工具，该框架在协助临床医生进行术前风险分层方面具有广阔潜力，是优化前瞻性手术管理的初步步骤。

论文解读：基于多模态Transformer的早期胃癌术前淋巴结转移风险AI评估框架

一、研究背景与问题提出

胃癌是全球第三大癌症死亡原因和第四大常见恶性肿瘤。早期胃癌（early gastric cancer, EGC）在病理学上定义为局限于黏膜层（T1a）或黏膜下层（T1b）的恶性肿瘤，无论区域淋巴结状态如何。黏膜内癌的淋巴结转移（lymph node metastasis, LNM）率约为2%，黏膜下癌约为18%，因此LNM风险评估是EGC临床决策的核心环节。当前EGC治疗策略取决于LNM风险估计，从保留器官的内镜切除——如内镜黏膜下剥离术（endoscopic submucosal dissection, ESD）和内镜黏膜切除术（endoscopic mucosal resection, EMR）——到根治性手术不等。尽管eCura评分系统等临床风险评估工具已被广泛采用，但接受追加手术的病例中实际LNM率仅为5%–10%，意味着高达90%–95%的有创手术可能是不必要的，凸显了开发更精准的术前预测方法的迫切临床需求。

全切片成像（whole slide imaging, WSI）技术能够实现全组织切片的高分辨率数字化扫描和存档。与通过全胃或部分胃切除获得的手术标本相比，内镜活检来源的WSIs可在有创手术前获取，具有决定性的时间优势和更小的患者创伤。然而，从内镜活检预测LNM本质上比从手术切除标本更具挑战性：内镜活检样本通常极小（直径约0.2 cm），仅能提供肿瘤微环境的碎片化信息；而手术标本涵盖整个原发病灶及瘤周间质、淋巴血管结构和邻近正常组织。这些内镜活检固有的生物学和采样限制对基于活检的LNM预测模型构成了性能上限。

深度学习（deep learning, DL）已成为计算病理学中的变革性工具，在胃癌的多项诊断和预后任务中达到专家级表现。已有研究如Guo等人在全分期原发胃癌手术标本上实现AUC 0.877，但在活检切片上降至0.725；Sung等人利用手术组织WSIs达到AUC 0.75；Shan等人基于T1期胃癌WSIs开发的跨尺度多实例学习（multiple instance learning, MIL）框架达到AUC 0.712。然而，大多数现有LNM预测框架主要依赖手术切除标本，针对术前EGC的研究仍然匮乏，而该阶段的组织病理学改变往往更为细微且诊断更具挑战性。

二、研究内容与核心发现

为弥合上述空白并解决内镜活检样本的固有局限性，研究人员开发了一种专为T1期胃癌术前LNM预测设计的弱监督AI框架。该模型利用病理基础模型编码器（Prov-GigaPath）结合基于Transformer的MIL架构，能够捕获跨图像块的全局面空间依赖和长程组织学模式。为弥补活检标本的稀缺性，研究人员提出了一种无监督分割策略，从手术WSIs中提取黏膜和黏膜下层区域以模拟内镜采样。此外，设计了临床引导的协同注意力机制，将病理特征与临床变量融合，优于传统的基于拼接的方法。该框架在手术组织WSIs上实现AUC 0.759，在更具挑战性的内镜活检队列上实现AUC 0.727，证明了多模态AI框架用于T1期EGC术前LNM风险评估的可行性。

三、关键技术方法概述

研究人员建立了来自复旦大学附属中山医院2008年1月至2022年12月期间637例经病理确诊的T1期胃癌患者队列，共收集1,099张手术组织WSIs，其中189例患者具有对应的苏木精-伊红（H&E）染色内镜活检切片。主要技术方法包括：其一，采用预训练的Prov-GigaPath基础模型（ViT-Giant tile-level编码器，13亿参数）进行实例级特征提取，将每个图像块映射为1,536维特征向量；其二，开发无监督分割流程提取胃黏膜和黏膜下层——利用t-SNE非线性映射将斑块特征投影至二维流形，通过K-means聚类（n_clusters=2）划分候选区域，基于蓝色通道强度概率密度在特征染色范围[τ?=159, τ?=176]内选择目标簇，再经拉普拉斯算子边缘增强和连通成分分析（面积阈值Ω=10,500像素）进行形态学结构细化；其三，设计临床引导的协同注意力机制，利用临床变量作为查询（query）主动引导病理斑块特征的聚合；其四，采用两阶段课程学习（curriculum learning, CL）策略，先在手术WSIs提取的高保真伪活检上初始化训练，再在真实内镜活检WSIs上进行目标域适应微调；其五，采用双流Transformer架构结合全局注意力池化（global attention pooling, GAP）层生成最终的袋级表示用于LNM预测。

四、研究结果

无监督分割验证：专家病理学家对全部1,099张WSIs的分割输出进行了全面审查。985张（89.6%，95% CI 87.7–91.3%）被评为1级（优秀），54张（4.9%，95% CI 3.8–6.4%）为2级（可接受），临床可用率（1级和2级）达94.5%（95% CI 93.0–95.7%）。在20张WSIs的定量评估中，与专家手动标注相比，平均Dice相似系数为0.846±0.038，平均IoU为0.727±0.062，平均精确率为0.926±0.063。

与最先进方法比较：该框架在手术队列中实现AUC 0.759，优于所有已建立的MIL基线方法。与最强基线DTFD-MIL相比，AUC从0.728提升至0.759，性能增益3.1%。在具有挑战性的术前内镜活检队列中，该框架实现AUC 0.727，同样优于所有基线模型。

多队列评估：在内部手术队列中，分离黏膜和黏膜下层相比全层手术组织WSIs具有明显性能优势，AUC从0.731提升至0.759。在独立外部TCGA-STAD验证集（10例LNM阳性，40例LNM阴性）上，框架实现AUC 0.751（95% CI 0.613–0.892），平均准确率0.700，敏感性0.750，特异性0.684。宽置信区间反映了该外部队列有限样本量和类别不平衡导致的固有统计不稳定性。

消融研究：使用Prov-GigaPath基础编码器的完整模型实现最佳AUC 0.727，优于基于ResNet-50的模型（AUC=0.701）。在单个模块中，移除MIL Transformer导致最严重的性能下降（AUC降至0.612），凸显其在捕获跨斑块成对特征交互中的主要作用；排除课程学习导致AUC显著下降至0.635，验证了伪活检预训练对于使模型适应碎片化内镜活检的必要性；省略协同注意力模块使AUC降至0.686，表明临床元数据的整合有助于模型有效正则化视觉嵌入并减少假阳性。

模型可解释性：注意力热图显示模型对肿瘤组织和肿瘤浸润淋巴细胞区域赋予高注意力权重，而正常腺上皮等非肿瘤结构获得极低注意力。模型选择性地优先关注三级淋巴结构（tertiary lymphoid structures, TLS），赋予其更高的注意力分数。在290例亚队列（90例LNM阳性，200例LNM阴性）的定量分析中，TLS-containing病例中高注意力区域的TLS密度显著高于低注意力区域（Wilcoxon符号秩检验，p=0.0017, r=0.839）；全队列分析中，LNM阳性组高注意力区域TLS密度显著高于LNM阴性组（Mann-Whitney U检验，p<0.0001, r=0.322）。

五、讨论与结论

当前对比增强CT仍是胃癌临床分期的一线手段，但其依赖形态学尺寸标准，常无法检测正常大小淋巴结中的隐匿性微转移。eCura系统虽已证明有效性和国际通用性，但主要依赖半定量人工评估，存在观察者间变异性。本研究开发的多模态AI框架通过无监督分割策略提取黏膜和黏膜下层作为伪活检，结合双流Transformer和临床引导协同注意力机制，实现了手术组织WSIs上AUC 0.759和内镜活检队列上AUC 0.727的性能。与既往研究相比，本研究的独特之处在于：第一，模型专门针对T1期EGC内镜活检标本进行术前评估，该场景因组织采样有限和组织病理学改变细微而更具诊断挑战性；第二，框架以弱监督方式运行，无需手动感兴趣区域标注，并在独立数据集上验证了泛化性。

研究结论指出，该多模态AI框架专门为利用内镜活检WSIs进行T1期胃癌LNM术前评估而设计。通过利用手术WSIs提取的黏膜和黏膜下层区域作为伪活检来解决小内镜活检固有的组织采样限制，并通过双流Transformer和临床引导协同注意力整合细粒度组织学特征与临床背景，该框架取得了令人鼓舞的初步性能。作为一项探索性临床决策支持工具，该框架在协助临床医生进行术前风险分层方面具有广阔前景，可作为标准诊断流程的辅助手段。