《Machine Learning and Knowledge Extraction》：Multiple-InstanceLearning in Medical Imaging: Correlated Chained Gaussian Processes with a Weighted Noisy-OR Likelihood
编辑推荐：
全切片图像（Whole-slide images）和计算机断层扫描（Computed Tomography，CT）通常被分解为补丁或切片，而诊断标签仅在研究层面分配，因此哪些补丁或切片支持诊断仍是未知的。多示例学习（Multiple-instance lear
全切片图像（Whole-slide images）和计算机断层扫描（Computed Tomography，CT）通常被分解为补丁或切片，而诊断标签仅在研究层面分配，因此哪些补丁或切片支持诊断仍是未知的。多示例学习（Multiple-instance learning，MIL）通过聚合函数处理这一弱监督场景，聚合函数决定实例级证据如何产生袋级预测。若干概率性MIL方法依赖基于最大值（max）的聚合，其仅保留最强的实例证据。另一方面，标准噪声OR（noisy-OR）结合所有实例分数，因此袋概率取决于袋基数与平均实例激活的乘积。其结果是，一个覆盖数千个良性补丁的切片可能与包含一个小肿瘤区域的切片获得相同的概率。研究人员引入相关链式高斯过程与加权噪声OR似然（Correlated Chained Gaussian Processes with Weighted Noisy-OR Likelihood，CCGP-WNOR），该框架为每个实例分配一个权重以调节其对袋概率的贡献，权重之和为1从而使聚合归一化。因此，袋概率介于最小与最大实例分数之间，接近1的值要求至少一个实例携带强正证据。实例分数与聚合权重通过半参数潜在因子模型（semiparametric latent factor model）耦合两个共享高斯过程的潜在函数变换获得，允许先验中的跨输出依赖。后验不确定性通过保留边际均值与方差但忽略似然积分和预测中跨输出与跨实例协方差的可分解近似传播。可扩展推断使用诱导变量与随机变分推断实现。在半合成基准与三个医学影像数据集上的实验表明，CCGP-WNOR在比较的最新MIL方法中取得了具有竞争力的性能。
一、研究背景与问题
在医学影像领域，如组织病理学和计算机断层扫描中，支持诊断的证据往往仅局限于研究中的一小部分区域。然而，诊断标签和报告通常分配给整个研究。例如，全切片图像包含数十亿像素，分割后产生数万个实例，其中仅小部分含肿瘤组织；CT研究包含数十至数百张切片，而出血通常仅在有限子集中可见。在这两种场景中，诊断发生在切片或扫描层面，而非明确识别受影响区域。尽管区域级标注可弥补这一差距，但详尽标注所需的专家工作量无法扩展到常规临床实践产生的数据量。因此，基于机器学习的计算机辅助诊断模型通常在粗标签上训练，尽管其临床实用性取决于定位支持预测的特定补丁或切片。
多示例学习为这一场景提供了自然形式化。在MIL中，实例被分组为袋，监督仅在袋级可用。大多数MIL模型包含两个主要组件：实例级编码器与聚合模块。聚合函数成为核心设计选择，因为它定义局部证据如何组合，从而编码关于实例级发现如何产生袋诊断的假设。早期深度MIL方法依赖非可训练池化算子，如最大或平均池化，两者均编码固定聚合假设。注意力池化放松了这一假设并成为医学MIL的主流方法，但注意力权重为点估计，模型无法表达关于哪些实例驱动预测的不确定性，这在过度自信预测可能导致误诊的医学场景中至关重要。
鉴于这些局限，显式建模预测不确定性的概率框架受到关注。高斯过程提供贝叶斯框架以显式量化预测不确定性。已有多种基于GP的MIL方法被提出，但大多数将袋级似然建模为作用于潜在实例函数上最大值算子的平滑近似，聚合回归到单个实例决定袋标签的假设，即使多个区域可贡献诊断时也丢弃其余实例证据。替代聚合为噪声OR函数，它组合所有实例贡献而非仅依赖最激活者。然而，噪声OR无归一化地聚合实例信息，袋概率取决于袋基数与平均实例激活的乘积。因此，许多携带弱证据的实例与少数携带强证据的实例在袋级变得不可区分。例如，覆盖数千个良性补丁的切片可与包含小肿瘤区域的切片获得相同袋概率，可能产生假阳性。
二、研究内容与结论
针对上述问题，研究人员引入相关链式高斯过程与加权噪声OR似然框架。该框架为每个实例分配一个权重以调节其对袋概率的贡献，权重约束在单纯形上，聚合归一化，最小与最大实例分数界定袋概率。因此，累积许多弱分数不能将袋概率推向1；高袋概率需要同时获得实质权重的强正实例。两个实例特定参数控制所得似然：量化实例正证据的实例分数与控制其对聚合贡献的权重。遵循链式高斯过程范式，研究人员将两个潜在函数通过sigmoid和袋级softmax链接变换为实例分数与聚合权重。两个函数通过半参数潜在因子模型构建为共享高斯过程的线性组合，允许GP先验中的跨输出依赖。为可扩展后验推断，研究人员采用带诱导变量的随机变分推断，使用变分分布的近似用于似然积分与预测。
研究主要贡献包括：引入加权噪声OR似然，为每个实例分配可学习贡献权重，保持噪声OR乘法结构同时归一化实例贡献，缓解大袋中弱正证据的累积；开发CCGP-WNOR概率MIL框架，通过SLFM构建联合建模实例分数与贡献权重，捕获两者间依赖；在半合成基准与三个医学影像数据集上验证模型，覆盖癌症检测与出血检测两项弱监督诊断任务，评估校准与选择性预测，量化实例级定位，并开展消融研究。
三、关键技术方法
研究人员采用稀疏变分高斯过程实现可扩展推断，为每个潜在过程引入诱导变量，将训练复杂度降至O(M3)并支持小批量优化。变分分布假设在潜在过程间分解，但两个输出函数通过SLFM混合系数共享过程，其依赖由跨协方差块表示。期望对数似然无解析解，采用蒙特卡洛估计与重参数化技巧近似。为降低大袋采样成本，用单变量高斯边际乘积近似联合分布。优化采用混合方案：变分参数用自然梯度下降更新，核超参数、诱导位置、SLFM混合系数与嵌入层参数用Adam优化。数据集方面，MNIST半合成基准构建10,000训练袋与2,000测试袋；RSNA含1,150次CT扫描，PANDA含10,511张前列腺活检WSI，CAMELYON16含399张乳腺癌转移WSI。病理数据集使用UNI自监督基础模型提取特征，CT数据集使用ImageNet预训练ResNet50编码。
四、研究结果
MNIST数据集结果：CCGP-WNOR在袋级分类中取得与最强基线接近的AUC，F1分数为评估方法与配置中最高。定性分析显示，负袋获得低实例级概率与扩散权重，正袋中正类数字获得高分与几乎全部权重质量，表明softmax参数化不强制固定稀疏度，模型基于袋内容学习峰值或扩散权重。
真实世界MIL数据集结果：CCGP-WNOR在三个临床数据集上表现竞争力。在CAMELYON16上取得最高平均AUC，在CAMELYON16与PANDA上取得最高F1。在PANDA上取得最低AURC。在RSNA上取得最高平均AUC与最低Brier分数。但最强判别力不总对应最低Brier分数或最佳置信度错误排序。SVGP-NOR在CAMELYON16上显著差于CCGP-WNOR，凸显大袋基数下未加权累积问题。
噪声OR累积效应实证分析：SVGP-NOR将大多数实例分数分配在0–0.1附近，而CCGP-WNOR主浓度在0–0.1附近并有较小浓度接近1。SVGP-NOR将大多数袋概率集中在接近1处，负切片中位数概率接近1，正切片也集中在接近1，产生大量重叠。CCGP-WNOR则赋予负与正切片分别接近0与0.9的中位数概率，四分位距清晰分离，表明加权聚合帮助保持类别分离同时避免负袋概率膨胀。
实例级判别与定位：CCGP-WNOR在三个数据集上实例AUC具有竞争力且跨诱导点配置变异性低，在RSNA上超过所有注意力方法约7至8点。在RSNA上，每个CCGP-WNOR配置在Hit5上优于所有注意力方法。在CAMELYON16上，CCGP-WNOR在每种M下保持高命中率，而SVGP-NOR在M=64时不可靠。
袋级消融研究：对每个匹配M，CCGP-WNOR在四项指标上优于所有消融竞争者。在CAMELYON16上差距更明显，CGP-WNOR判别力降低且变异性高，表明独立学习分数与权重过程不能复现共享潜在构建的益处。固定权重表现更差，均匀权重产生接近机会水平的判别力，确定性权重仅边际改善。在PANDA上，所有变体判别合理，但CCGP-WNOR在预测概率质量与选择性预测上显著更好。在RSNA上，判别差异较小，但固定权重变体在大多数M值下不稳定。
五、结论与讨论
研究人员指出，袋级监督本身不能保证实例分数与聚合权重的独立可辨识性，袋似然通过组合贡献依赖这些量，不同配置可产生相同条件袋概率。GP先验与共享参数化正则化这些配置，但不建立学习权重恢复唯一实例相关性概念。为可扩展性，期望对数似然项用分解分布近似，保留边际均值与方差但丢弃跨输出与跨实例协方差。此外，联合训练特征提取器在可用GPU资源下计算上不可行，因此使用冻结的UNI特征与ImageNet预训练ResNet50特征，报告性能与方法排名以这些表示为条件。
研究结论表明，与最新MIL方法相比，CCGP-WNOR表现竞争力。在MNIST上取得接近最强基线的AUC与最高平均F1。在三个医学数据集上，在CAMELYON16与RSNA上取得最高平均AUC，在CAMELYON16与PANDA上取得最高F1，在RSNA上取得最低Brier分数，在PANDA上取得最低AURC。然而，没有单一方法在所有指标上占优。消融研究表明，学习权重与共享潜在构建均贡献这些结果。固定均匀或确定性权重不匹配完整模型，均匀权重在CAMELYON16上表现特别差，稀疏正证据在数千补丁中被稀释。将共享潜在过程替换为两个独立GP输出降低性能并增加变异性，在CAMELYON16上最显著。在RSNA上，确定性权重在判别上具竞争力，CCGP-WNOR的优势主要体现在校准与选择性预测。未来工作可扩展至更具表达力的多输出GP先验，如卷积过程或跨谱混合核，并纳入显式局部实例依赖，通过空间邻近性邻接结构鼓励实例级预测在局部邻域中的平滑性，补充框架已捕获的全局依赖建模。
