基于Sentence-BERT和Z-Score归一化的零样本多标签内窥镜器械分类泛化性能提升研究

【字体: 时间:2025年06月12日 来源:International Journal of Computer Assisted Radiology and Surgery 2.3

编辑推荐:

  这篇综述探讨了零样本学习(ZSL)在内窥镜手术器械分类中的应用挑战,提出通过Sentence-BERT生成描述性句子嵌入(相比传统词嵌入)结合Z-Score归一化后处理,显著提升模型对未见器械的识别能力(AUROC从43.9%提升至64.9%)。研究验证了语义丰富性和特征标准化对广义零样本学习(GZSL)在多标签医疗场景中的关键作用,为手术智能化提供了新思路。

  

Abstract
微创手术(MIS)和机器人辅助手术(RAS)的普及对器械识别提出了更高要求。传统深度学习依赖大规模标注数据,而零样本学习(ZSL)通过语义嵌入实现未见器械分类。本研究创新性地采用Sentence-BERT生成器械功能描述语句的嵌入表示,结合Z-Score归一化后处理,在PhaKIR数据集上实现未见类别的AUROC提升21个百分点。

Introduction
手术器械的视觉多样性(如烟雾、血液干扰)和新器械迭代使得传统监督学习泛化受限。广义零样本学习(GZSL)通过语义空间映射同时处理已知/未知类别,但现有方法多基于单词级嵌入(如BERT),缺乏对器械功能的完整描述。本文首次将临床领域适应的S-PubMedBERT模型生成的句子嵌入引入GZSL框架。

Methods
实验采用DenseNet-121视觉主干网络,对比临床BioBERT词嵌入与GPT-4生成的描述性句子嵌入。Z-Score归一化按公式zj
= (ej

  • μ)/σ处理嵌入向量。动态多标签准确率计算中,top-k预测数k等于实例真实标签数,如预测{A,D,B}对真实{A,B,C}得分为2/3。

Results
关键发现:

  1. 句子嵌入使S2-UC(第二阶段未见类)多标签准确率从26.1%跃升至79.5%
  2. Z-Score归一化进一步扩大余弦相似度分布范围(如图3→图4),缓解高维空间枢纽效应
  3. 消融实验显示联合/分离优化损失函数差异不显著(p>0.05)

Discussion
HFcoag-Probe与Argonbeamer的功能相似性在句子嵌入中更准确体现(余弦相似度0.72 vs 词嵌入0.53)。但研究局限在于单中心数据集,未来需验证在达芬奇手术机器人等跨平台场景的适用性。

Conclusion
该方法为手术室实时器械识别系统提供了可扩展解决方案,特别适用于新器械快速部署场景。后续将探索基于大语言模型(LLM)的自动化描述生成与三维器械表征的结合。

相关新闻
生物通微信公众号
微信
新浪微博
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号