基于多模态信息交互的结直肠癌CT图像分割模型Mmi-Unet：提升肿瘤病灶识别精度与鲁棒性

针对结直肠癌(CRC)CT图像中肿瘤低对比度、形态不规则导致的分割难题，江南大学附属医院团队提出多模态交互U-Net模型(Mmi-Unet)。该研究通过ResNet编码器保留模态独立性，结合跨注意力机制(EPCA/PECA)与信息熵动态融合模块，在591例患者数据中实现Dice系数0.9557、IoU 0.9326的突破性性能，为复杂病灶分割提供新范式。

　　

在医学影像领域，结直肠癌(CRC)的精准分割一直是临床诊断的难点。全球每年新增190万病例中，近半数因晚期发现导致预后不良。CT成像虽能快速显示解剖结构，但肿瘤与正常组织间低对比度、病灶形态高度异质性的特点，使得传统分割方法面临巨大挑战。现有深度学习模型如U-Net⁸虽在单模态分割中表现优异，但面对多模态数据时，简单的特征拼接策略难以捕捉模态间协同信息，尤其在处理边界模糊病灶时性能骤降。

江南大学附属医院团队在《Image and Vision Computing》发表的研究中，创新性地提出多模态交互U-Net(Mmi-Unet)。该模型通过双分支ResNet编码器分别提取平扫与增强CT特征，设计双向跨注意力模块(EPCA/PECA)实现模态间全局交互，引入信息熵权重聚焦关键区域，并采用动态融合系数自适应调整模态贡献度。在591例经病理确诊的CRC患者数据集上，模型Dice系数波动小于0.1%，显著优于TransFuse¹⁸等现有方法。

关键技术包括：1)基于Wuxi Fourth People's Hospital 2007-2014年591例患者队列构建多模态CT数据集；2)采用改进的U-Net++⁹架构嵌套密集跳跃连接；3)双向跨注意力机制实现EPCA(增强→平扫)与PECA(平扫→增强)特征交互；4)信息熵驱动的动态融合模块优化模态权重分配。

【Network architecture】
模型架构创新体现在三方面：1)MmiBlock模块通过EPCA将增强CT特征作为Query检索平扫CT的Key-Value对，反之PECA模块实现逆向交互；2)模态融合(MF)模块利用KL散度计算特征分布差异，动态生成融合系数；3)多尺度特征通过改进的跳跃连接在解码器逐级整合。

【Dataset and implementation details】
研究纳入标准严格限定为病理确诊CRC且完成5-108个月随访的病例，所有CT图像经双盲标注。数据增强采用随机旋转(±15°)和灰度抖动(±10%)，训练时使用Dice损失与交叉熵损失的加权组合。

【Discussion】
相比nnU-Net¹⁰等单模态方法，Mmi-Unet在黏液腺癌等异质性病灶分割中优势显著。实验表明，信息熵权重的引入使模型对微小病灶(<5mm)的检出率提升23.6%，动态融合模块使模态互补效率提高17.2%。

【Conclusion】
该研究证实：1)跨注意力机制能有效建模增强-平扫CT间的长程依赖关系；2)信息熵权重可缓解模态间特征分布偏移；3)动态融合策略使Dice系数在测试集稳定保持0.95+。未来可扩展至PET-CT等多模态融合场景，为AI辅助CRC诊疗提供新思路。

伦理审查显示，本研究经江南大学附属医院伦理委员会批准，所有患者签署知情同意。作者声明无利益冲突。