基于语义与几何感知的多模态食管癌病灶检测信息保全技术研究

本文提出SAGA-Feat框架，通过语义-几何注意力模块（SAGA-Attn）、结构感知融合解码器（SAGA-Fuse）和自适应采样模块（SAGA-Sample），创新性解决稀疏局部特征学习（SLAM/3D重建）中多尺度建模不足、空间-语义信息割裂及细节丢失问题。实验表明该弱监督方法在特征匹配（D2-Net对比）、视觉定位等任务中达到SOTA性能。

　　

亮点

• SAGA-Attn：通过多尺度空间注意力与块状通道注意力，捕捉方向性结构线索并聚合局部语义上下文，提升特征判别力

• SAGA-Fuse：采用双域归一化技术强制实现空间-语义一致性，像拼图般精准对齐多尺度特征

• SAGA-Sample：基于空间/通道显著性生成可变形采样场，如同"智能显微镜"聚焦关键区域

结论

本研究提出的SAGA-Feat框架，通过解耦式"先描述后检测"范式（describe-then-detect），在弱监督条件下实现突破：SAGA-Attn模块赋予网络方向敏感性，SAGA-Fuse解码器像分子锁般稳定特征融合，SAGA-Sample模块则通过语义导航实现特征重建的"精准制导"。在视觉定位等医学影像分析任务中展现出媲美全监督方法的性能。

作者贡献声明

闫晗墨：核心算法开发与论文撰写；尹梦晓：研究设计与基金支持；李贵清：实验验证指导；廖俊杰：数据 curation

利益冲突声明

作者声明不存在可能影响本研究结果的财务或个人关系

致谢

本研究获国家自然科学基金（62472180）、广东省基础与应用基础研究基金（2024A1515011995）及广西大学高性能计算平台支持

作者简介

闫晗墨，广西大学计算机与电子信息学院研究生，研究方向为计算机视觉与图形学