基于置信感知决策级融合的非配对骨肉瘤X线影像与组织病理学图像分类方法

《Applied Sciences》：Confidence-Aware Decision-Level Fusion of Unpaired Radiographic and Histopathological Images for Osteosarcoma Classification

　　

可靠的骨肉瘤(osteosarcoma)组织表征需结合反映骨水平结构改变的影像学证据与评估细胞形态的组织病理学(histopathology)评估。然而在罕见癌症中，由于放射科与病理科遵循独立临床流程且队列规模小，患者匹配的多模态数据集极为罕见。本研究探讨决策级融合(decision-level fusion)能否整合源自独立、非配对(unpaired)患者队列的X线影像(radiographs)与组织病理学图像，并将结果作为方法学概念验证而非经临床验证的诊断系统予以报告。研究人员分别使用来自Kaggle Bone Tumor Classification数据集的骨肉瘤阳性X线影像(180张)和TCIA(Tissue Cancer Imaging Archive) Osteosarcoma Tumor Assessment收录的H&E染色组织病理学切片瓦片(tile)(来自4名患者的1144个瓦片)训练两个EfficientNet-B0编码器。组织病理学瓦片携带三分类标签：非肿瘤(non-tumor)、存活肿瘤(viable tumor)及坏死肿瘤(necrotic tumor)。由于X线影像不提供组织活性标签且无法直接区分存活与坏死肿瘤，融合时将X线分支用作弱X线衍生概率先验(radiograph-derived probability prior)，映射入共享的三分类决策空间。融合仅操作于模态专属概率向量上，不假设或要求病例级或患者级配对。自适应门控网络(adaptive gating network)由拼接向量[Pr, Ph]（其中Pr表示X线衍生概率先验，Ph表示组织病理学概率向量）估计逐样本的X线先验权重α，1?α为组织病理学权重。为限制小样本组织病理学队列中的信息泄露，4名患者被严格分配至训练(P001和P002)、校准(calibration)(P003)及测试(test)(P004)分区，实行严格患者级分离。在单一留出测试患者(171个瓦片)上，自适应门控融合正确分类171个瓦片中的166个(准确率97.08%，macro-F1为0.97，macro-AUC为0.99)，而固定α融合(α=0.25)正确分类161个瓦片(94.15%)。该比较的McNemar检验得χ2=3.20，p=0.074，因此改进具数值优势但未达0.05显著性水平。相同三维融合向量上的简易分类器达可比准确率(95.91%~96.49%)，且与自适应门控无显著差异。结果表明，在非配对、数据受限条件下置信感知决策级融合可行，其当前价值在于可解释的逐样本模态加权而非已证实的准确率优势。单患者组织病理学测试集不支持临床泛化性声明，仍需更大规模多中心患者级队列验证。

论文解读：基于置信感知决策级融合的非配对骨肉瘤X线影像与组织病理学图像分类方法

一、研究背景与立题依据

骨肉瘤(osteosarcoma)是最常见的原发性侵袭性骨肿瘤，多发于青少年生长期，早期症状和体征缺乏特异性，确诊时常已进展，局限性病变5年生存率约70%而转移后低于30%，因此早期、可重复的组织 characterization具有重要临床意义。现行诊断依赖影像学检查（X线、CT显示皮质破坏、骨膜反应、矿化基质；MRI评估软组织侵犯）与组织病理学检查（确认恶性成骨细胞产生类骨质），两者均高度依赖医师经验且在交界病例中存在判读差异。深度学习已在医学影像分析中广泛应用，ResNet、EfficientNet、DenseNet等在放射及病理影像上表现良好，但已有骨肉瘤相关卷积神经网络(Convolutional Neural Network, CNN)多基于单模态——或仅X线影像或仅组织病理学图像——无法同时表征组织级与结构级互补信息。多模态融合虽可提供完整诊断图景，但既往方法多假设每例患者拥有全部模态的配对数据(paired data)，而实际临床中影像与病理分属不同工作流程、时间点和机构，尤其罕见肿瘤公开数据集稀缺且几乎不配对，非配对(unpaired)多模态学习研究有限。本研究针对此缺口，探究在独立、非配对队列条件下对X线影像与组织病理学图像进行决策级融合(decision-level fusion)，不以患者级多模态诊断为目标，而是验证方法学可行性。

二、主要关键技术方法概述

研究人员采用两个独立公开数据集：组织病理学图像取自TCIA Osteosarcoma Tumor Assessment Collection（4例儿科患者，1144个1024×1024像素H&E染色tile，10×放大，标签为非肿瘤536个、坏死肿瘤263个、存活肿瘤345个，经Macenko染色归一化后缩至224×224并用ImageNet统计量归一化）；X线影像取自Kaggle Bone Tumor Classification数据集（仅保留骨肉瘤阳性180张，无患者标识符及组织活性标注）。两数据集无共同患者、无病例级或病灶级配对。组织病理学按严格患者级划分：训练=P001+P002（802 tile），校准=P003（171 tile），测试=P004（171 tile），无同一患者跨分区。X线影像因无患者ID采用图像级分层划分。X线分支二分类（骨肉瘤vs非骨肉瘤）输出肿瘤概率，映射至三分类空间时肿瘤概率均等分配给viable tumor与necrotic tumor类，non-tumor概率赋给non-tumor类，形成X线衍生概率先验(radiograph-derived probability prior, P_r)；组织病理学分支输出三分类概率向量P_h。分别用ImageNet预训练EfficientNet-B0微调（冻结前两个卷积块以外层），全局平均池化得1280维嵌入，Adam优化器训练50 epoch，早停。融合策略包括：(1)固定α融合P_fused=α·P_r+(1?α)·P_h，α由校准患者在网格步长0.05上选最优(α=0.25)；(2)均值概率融合(α=0.5)；(3)特征级融合作对照；(4)自适应门控融合——小型MLP接收拼接向量[P_r, P_h]经Sigmoid输出样本专属α，训练时用校准患者逐tile伪最优α（使该tile融合后取真类概率最大之α值）作监督目标回归，门控网络仅在P003上训练，P004全程未参与门控训练及α计算；(5)融合后三维概率向量再分别用Logistic Regression、线性SVM、浅层MLP、轻量注意力晚期融合分类。评估指标含准确率、macro-precision、macro-recall、macro-F1、macro-AUC，1000次bootstrap自抽样估计95%CI，McNemar检验(连续性校正)比较与自适应门控的差异(p<0.05为显著)。

三、研究结果

4.1 单一协议下的比较性能(Comparative Performance Under a Single Protocol)

研究人员在留出测试患者P004(171 tile)上评估各模型。自适应门控融合正确分类166/171(97.08%准确率，macro-F1=0.97，macro-AUC=0.99)，为数值最高；固定α=0.25融合正确161/171(94.15%，macro-F1=0.94)；固定α=0.38(等于自适应门控所得平均α)正确163/171(95.32%，macro-F1=0.95)；均值概率融合93.57%；特征级融合94.74%；Logistic Regression 95.91%；线性SVM 95.32%；浅层MLP 96.49%；注意力晚期融合96.49%。McNemar检验自适应门控vs固定α=0.25得χ²=3.20，p=0.074，未达显著性；vs Logistic Regression、浅层MLP、注意力融合均p≥0.48，无显著差异。结论：自适应门控融合数值表现最优但不具统计学显著预测优势，其主要价值体现在非配对条件下提供可解释的逐样本模态加权，而非证明准确率优越性。

4.2 逐类性能(Per-Class Performance)

自适应门控模型在P004上三类性能均衡，非肿瘤召回最高，坏死肿瘤(支持数最少，39 tile)仍保持较高召回与F1，多数错分发生于viable tumor与necrotic tumor之间，符合组织病理学上级别相近肿瘤活性区域的视觉相似性。

4.3 学习得到的门控权重与可解释性(Learned Gating Weights and Interpretability)

测试tile上学得的X线先验权重α均值为0.38±0.30(约41% tile α>0.8即X线主导，12% α<0.2即组织病理学主导，47%介于其间)。较低平均α与组织病理学分支单独性能更强及X线二分类→三分类映射引入的标签不确定性一致——置信感知门控应对信息模糊模态赋予较低权重；α具散布性说明门控未退化为固定系数，表现出样本级加权行为。但因校准与测试各仅一例患者，不能排除患者特异性影响，不能断言α捕获真实诊断可靠性。

4.4 与既往研究比较(Comparison with Prior Studies)

既往骨肉瘤分类多为单模态或假设配对多模态，部分报道TCIA上高精度但存在patch级分区可能致同片/同患者泄露风险。本框架引入独立队列非配对模态、严格患者级留出及与内部基线配对的统计比较，97.08%准确率与既往结果可比但非统计显著优于简单融合基线，表格应理解为方法学定位而非性能排序。

4.5 讨论(Discussion)

研究人员指出：(1)决策级融合规避了非配对时特征拼接的风险，逐样本门控理论上可压制不可靠模态预测，权重分布与此机制相符但未证明；(2)相较固定α=0.25仅多正确分类5 tile(p=0.074)且与简单分类器无显著差异，171 tile单患者测试集不足以支持优越性声明；(3)n=4组织病理学患者且测试仅1例只能评估对单一未遇个体的泛化，无法估计患者间变异；(4)染色/扫描/制备偏倚可能因单测试患者被部分反映，Macenko归一化减但未消除该影响；(5)X线数据集缺患者ID，图像级切分可能存在同一患者跨集致放射分支准确率(83.70±1.20%)偏乐观；(6)X线二分类→三分类映射引入标签不确定性是门控赋予较低平均α的合理部分解释；(7)扩展基线比较避免夸大自适应门控优势，支持以Logistic Regression为默认低维分类器而非XGBoost；(8)临床效用需大样本多中心患者级甚至患者配对放射-病理队列及前瞻性验证。

四、结论总结（翻译结论部分）

本研究建立了用于骨肉瘤组织分类的决策级整合框架，将组织病理学预测与源自独立公开数据集的非配对X线影像衍生概率先验相融合。方法分别训练两个EfficientNet-B0网络——一个使用Kaggle骨肿瘤分类数据集X线影像，另一个使用TCIA骨肉瘤评估收录的组织病理学tile——组织病理学分支定义非肿瘤、存活肿瘤及坏死肿瘤三分类主任务，X线分支提供粗宏观结构概率先验并映射入同一三分类决策空间，框架仅对概率向量融合且不假设患者级、病灶级或图像级对应关系。在单一留出组织病理学测试患者P004(171 tile)上，自适应门控融合正确分类166 tile（准确率97.08%，macro-F1=0.97，macro-AUC=0.99），固定α=0.25融合正确分类161 tile（94.15%）；McNemar检验χ²=3.20，p=0.074，数值提升未达0.05显著性水平，且自适应模型与Logistic Regression(95.91%)、浅层MLP(96.49%)、注意力晚期融合(96.49%)等简化基线统计上无差异——表明自适应门控在本内部比较中数值最高但不支持已证预测优越性之主张。学得的门控权重平均X线先验权重α=0.38，偏向组织病理学贡献，与组织病理学更强组织特异性及X线粗信号映射入存活/坏死肿瘤类引入的不确定性一致；α在测试样本间变动提示门控未仅复现固定全局系数，应解释为决策级先验贡献而非患者特异性多模态可靠性分数（因两模态样本非配对）。结果作为方法学概念验证表明，置信感知决策级整合可在非配对和数据受限条件下运行——此情境反映罕见肿瘤影像研究常见局限——框架首要价值在其透明加权机制而非已证实的准确率增益。本研究未确立临床泛化性：组织病理学队列仅4例、测试仅单患者、X线缺患者标识、X线影像级切分存潜在泄露风险、X线→组织标签映射存不确定性等均约束结论；未来需更大规模多中心带患者级标签及匹配放射-病理模态的数据集，并需前瞻性验证方可支持任何临床效用主张。