《Expert Systems with Applications》:CellMixer: Pathological Image Classification using Dual-branch VMamba with Randomly Mixing Gradient Features Data Augmentation
病理诊断对患者诊疗至关重要,而感兴趣区域(Region of Interest, ROI)分析是提取局部细胞细节以指导精确临床决策的关键病理方法。尽管当前多数基础模型在ROI病理图像分类中展现出潜力,现有方法往往未能同时解决病理ROI数据的三个独特特征:(1)类间相似性高,(2)复杂全局模式,(3)多尺度粒度。为此,研究人员提出CellMixer——一种专为提取与整合局部-全局ROI病理图像表征而设计的新型框架。其核心创新在于三个领域感知组件的协同整合:(1)为放大细微形态差异,设计了一种数据增强方法(GradMix),选择性融合梯度图与像素级特征以增强对低层特征的敏感性,直接改善视觉相似类别的区分能力;(2)为同时捕获ROI区域内的局部模式与全局组织结构,提出双分支VMamba块(Dual-branch VMamba Block, DVB),增强长距离依赖建模并同步提取细胞级细粒度特征;(3)为融合局部与全局特征以跨尺度共同表征类内同质性与类间异质性,提出一种新颖的特征融合策略——插入-合并(Insert-Merge, InM)。在8个公开病理ROI数据集上的大量实验表明,CellMixer持续优于现有方法,证明针对特定任务的模型即使在数据有限时也能产生优于通用基础模型的视觉表征。
论文解读:CellMixer——基于双分支VMamba与随机梯度混合增强的病理ROI图像分类研究
发表于《Expert Systems with Applications》
一、研究背景与问题提出
病理分析是癌症准确诊断与治疗方案制定的金标准,其中基于感兴趣区域(Region of Interest, ROI)的病理图像分类可通过将图像划分为预定义类别来辅助早期筛查与个性化治疗。然而,病理图像与自然图像(如ImageNet)存在本质差异:①类别判定依赖核分叶、颗粒分布、核质比等细微形态特征(高类间相似性);②组织架构解读需整合细胞间相互作用与全局空间分布(复杂全局模式);③语义信息跨越亚细胞、单细胞及微环境多个尺度(多尺度粒度)。通用视觉基础模型(ViT、Swin Transformer)及现有CNN-Transformer混合方法未充分考虑上述病理特异性,原版VMamba(Vision Mamba)虽具线性复杂度全局建模能力,但缺乏局部细粒度特征提取且扫描方向引入伪影。因此,亟需设计面向病理图像领域特性的专用架构与数据增强策略。
二、关键技术方法概述
研究人员提出CellMixer框架,主要包含三项技术创新:①GradMix——单图内对原图做高斯模糊后求x/y方向梯度幅值图,按随机二元掩膜将部分图像块替换为同图梯度特征,不跨图混合,避免引入伪影并强化边缘/纹理低层判别线索;②双分支VMamba块(Dual-branch VMamba Block, DVB)——将原VMamba中VSS Block的线性分支替换为含1×1卷积—3×3深度可分离卷积(Depthwise Convolution, DWConv)—1×1卷积的局部特征分支,并行保留基于2D选择性扫描(2D-Selective-Scan, SS2D)的全局特征分支;③插入-合并(Insert-Merge, InM)策略——将局部与全局分支输出先拼接再按通道交替穿插(Yl,1,Yg,1,Yl,2,Yg,2…),实现无参数量膨胀与语义漂移的多尺度特征融合。在8个公开病理ROI数据集(WBC、NCT-CRC-HE-100K、Chaoyang、PBC、pRCC、CAMELYON16、MHIST、PAIP2019)上以Accuracy(Acc)与Macro-F1(F1-score, F1)评估,与ResNet101、ViT、Swin、VMamba、CellMix、TransPath、CSF-Transformer(CSF)、CTransPath、UNI、GigaPath、Virchow2比较。
三、研究结果
4.1 Datasets and Experiments Implementation
使用8个涵盖血细胞、结直肠、肾乳头状细胞癌(papillary Renal Cell Carcinoma, pRCC)、淋巴结、肝癌组织的公开ROI数据集,按7:1:2划分训练/验证/测试集,采用AdamW优化器、余弦退火学习率、批次64,GradMix块大小48、替换比例0.4,以Acc与F1为指标。
4.2 Comparison with SOTA Methods
CellMixer在Chaoyang(87.74% Acc, 84.57% F1)、pRCC(98.88% Acc, 97.97% F1)、CAMELYON16(93.90% Acc, 91.95% F1)、MHIST(88.77% Acc, 88.80% F1)、PAIP2019(99.57% Acc, 98.58% F1)五个数据集取得最优结果;在WBC(99.71%)、NCT(99.89%)、PBC(99.18%)仅次于个别Foundation Model但显著优于原版VMamba与经典CNN/ViT。配对t检验p值均<0.05,性能提升具统计显著性。
4.3 Cross-Dataset Generalization Analysis
将在NCT上训练的CellMixer*(跨域测试)于MHIST与Chaoyang分别获87.22%与86.69% Acc,接近领域内训练结果且优于或与UNI、GigaPath相当,表明框架具良好跨染色/设备分布泛化能力。
4.4 Feature Representation Comparison
Grad-CAM可视化显示:ResNet101感受野有限,ViT均质化细胞细节,Swin割裂连续组织,VMamba存方向伪影,TransPath/CTransPath/UNI/GigaPath/Virchow2各存特征稀释或染色敏感问题。CellMixer因DVB局部-全局协同与InM融合,保留核质边界锐度、消除带状伪影、抗染色变异,注意力聚焦诊断区域更精准。
4.5 The Effectiveness of CellMixer
参数47.5M、FLOPs 7.8G的CellMixer在MHIST达最高Accuracy(88.77%),远优于大参数Foundation Model(Virchow2:632M/167G FLOPs;GigaPath:1100M/533G FLOPs;UNI:307M/382.8G FLOPs),性价比优势明显。
5.1 Ablation Experiment of Our Modules
单独添加DVB提升最大(WBC由87.74%→93.74%,NCT由91.57%→98.90%);GradMix单独提升低层特征区分(PBC F1+2.72%);InM单独贡献微小但与DVB联用显著提升(WBC Acc 93.74%→98.36%,PAIP2019 Acc 86.13%→98.02%);三者联合(CellMixer)在全部数据集取最优。
5.2 Effectiveness of the GradMix
5.2.1 Performance of GradMix and Other Data Augmentation on Two Typical Backbones
GradMix在ResNet101与ViT-Backbone上均超越Cutout/Mixup/CutMix/FMix/SaliencyMix,ResNet101平均Macro-Acc提升1.55%、F1提升4.20%;ViT-B平均Acc提升3.07%、F1提升3.51%。
5.2.2 Analyzing GradMix based on Statistics
双骨干跨数据集统计证实GradMix稳定优于对照增强方法(p<0.05)。
5.2.3 Generalizability of GradMix
GradMix亦可稳定提升Swin、VMamba、TransPath、CSF-Transformer、CTransPath及完整CellMixer性能(NCT由99.47%→99.89%等)。
5.2.4 Visualization Analysis of GradMix
Grad-CAM与梯度直方图显示GradMix维持组织连续性、强化边缘纹理响应、抑制跨图混合伪影。
5.3 Effectiveness of Every Module
5.3.1 Effectiveness of DVB
替换原VSS Block为DVB后,VMamba与CellMixer在各数据集Acc均显著提升(WBC +10.16%、Chaoyang +12.80%、PAIP2019 +16.78%等),DVB通过深度可分离卷积捕获细胞膜/核边界,SS2D捕获腺体/间质长程依赖,消除原VMamba单向扫描伪影。
5.3.2 Effectiveness of InM
对比拼接(Concatenation)、矩阵乘法(Matrix Multiplication, MM)、交叉注意力(Cross-Attention, CA),InM在全部8数据集最优(WBC 99.71% vs Concat 93.24%、MM 94.45%、CA 98.77%),避免通道剧增与语义扭曲,交替穿插保留局部-全局对应关系。
四、讨论与结论
研究人员指出病理基础模型存在高类间相似性、复杂全局空间组织及多尺度层级三大局限,CellMixer通过领域感知双分支VMamba块(DVB)增强长距离依赖与细胞级细粒度特征提取,采用插入-合并(Insert-Merge, InM)跨尺度融合以强化类内同质与类间异质表征,并设计同图梯度-像素融合的数据增强(GradMix)以区分高相似形态类别。在8个公开病理ROI数据集上CellMixer超越6种领先病理SOTA方法及大型基础模型,证明病理感知架构设计与针对性域内数据增强可获得更优精度与鲁棒性。当前方法适用于ROI图像,未来工作将扩展双分支框架至全切片(Whole Slide Image, WSI)分析。
结论原文翻译:
In this work, researchers identify three key limitations inherent in existing pathology foundation models: (1) high inter-class morphological similarity, (2) complex global spatial organization, and (3) multi-scale structural hierarchies. To address these challenges, researchers propose CellMixer, a novel, task-specific framework designed to extract and integrate local-global Region of Interest representations from pathological images. Its hybrid backbone incorporates a Dual-branch VMamba Block (DVB) to enhance long-range dependency modeling while simultaneously extracting fine-grained cell-level features, and an Insert-Merge feature fusion strategy (InM) to enhance intra-class homogeneity and inter-class heterogeneity across scales. To effectively distinguish highly similar inter-class morphologies, researchers introduce a novel data augmentation technique, GradMix. Tested on 8 public pathological datasets, CellMixer surpasses 6 leading pathology SOTA methods. For instance, it achieves an accuracy improvement of 1.69% on the CAMELYON16 dataset compared to CTransPath. These results demonstrate that pathology-aware architectural and targeted in-domain data augmentation achieves superior accuracy and robustness. Although the approach has proven effective on ROI images, its application to WSIs remains a key challenge. Addressing this by scaling the dual-branch framework to full-slide analysis is a priority for future work.