基于循环多模态稀疏Transformer的胃肠道疾病分类框架：跨模态特征融合与动态决策优化

本研究针对胃肠道疾病诊断中存在的模态不平衡、特征冗余和跨模态不一致等挑战，提出了一种创新的RMP-GKPS-transformer框架。通过整合Bio-RoBERTa文本嵌入、图视觉空间通道注意力网络和交叉注意力机制，结合PCA降维与GBM冲突解决策略，实现了对六类GI疾病99.82%的准确分类。该研究为多模态医疗数据分析提供了可解释的智能诊断方案。

　　

在消化道健康领域，准确识别食管炎、溃疡性结肠炎等六类常见疾病是临床诊疗的关键。然而现有诊断系统面临三重困境：无线胶囊内窥镜(WCE)图像中微小病灶易被正常组织掩盖，医学报告文本存在术语不规范问题，而图文数据间的时空错位更导致30%的误诊率。Vellore理工学院的研究团队在《Scientific Reports》发表的这项研究，开创性地将强化学习与稀疏注意力机制相结合，构建出诊断准确率达99.82%的智能系统。

研究采用三大核心技术：1)基于Bio-RoBERTa的临床文本特征提取，解决"糜烂性食管炎"与"伴糜烂的GERD"等术语歧义；2)图视觉空间通道注意力网络处理WCE图像，通过ViT-CRF-GNN三级架构捕捉微小息肉(＜5mm)特征；3)创新性将PPO强化学习引入分类模块，动态调节图文特征权重。实验数据来自Kaggle的8000张WCE图像和对应临床报告。

【特征提取】文本方面，Bio-RoBERTa生成的768维嵌入通过均值池化获得全局表征E_T∈R^d，准确区分"红色食管"等模糊描述。图像处理中，224×224像素的WCE图像经ViT分割为16×16 patches，CRF的ψ_ij项建模空间关系，注意力权重A⊙E_I突出出血灶等关键区域。

【多模态融合】交叉注意力层计算Q=W_qE_T与K=W_kH_G的相似度，softmax归一化后获得对齐特征F_CA。RNN层处理时序依赖，PCA保留前k个特征值λ₁...λ_k对应主成分，GBM通过F_GBM^(m)=F_GBM^(m-1)+αh_m迭代消除语义冲突。

【分类决策】三模块协同工作：随机森林KNN评估特征重要性，PPO策略网络动态调整模态权重，稀疏RBF核通过径向基函数消除冗余。在出血灶分类中，PPO使图像特征权重提升47%，有效解决文本"既往出血"与图像"新鲜渗血"的矛盾。

研究实现了多项突破：1)首次将PPO引入医疗多模态分类，在Kvasir数据集上Dice系数达98.7%；2)稀疏注意力使计算复杂度从O(n²)降至O(nlogn)，推理速度较TransMSF提升40%；3)可解释性增强，注意力热图可定位"假膜性结肠炎"的典型绒毛结构。

这项研究为智能消化内镜系统提供了新范式，其模块化设计支持扩展至其他多模态诊断场景。未来通过模型压缩和SHAP解释工具，有望在便携式设备实现实时分析，改变传统胃肠镜依赖主观经验的现状。团队开源的代码和数据集，将加速AI在消化病学领域的临床应用。