
-
生物通官微
陪你抓住生命科技
跳动的脉搏
基于Sentence-BERT和Z-Score归一化的零样本多标签内窥镜器械分类泛化性能提升研究
【字体: 大 中 小 】 时间:2025年06月12日 来源:International Journal of Computer Assisted Radiology and Surgery 2.3
编辑推荐:
这篇综述探讨了零样本学习(ZSL)在内窥镜手术器械分类中的应用挑战,提出通过Sentence-BERT生成描述性句子嵌入(相比传统词嵌入)结合Z-Score归一化后处理,显著提升模型对未见器械的识别能力(AUROC从43.9%提升至64.9%)。研究验证了语义丰富性和特征标准化对广义零样本学习(GZSL)在多标签医疗场景中的关键作用,为手术智能化提供了新思路。
Abstract
微创手术(MIS)和机器人辅助手术(RAS)的普及对器械识别提出了更高要求。传统深度学习依赖大规模标注数据,而零样本学习(ZSL)通过语义嵌入实现未见器械分类。本研究创新性地采用Sentence-BERT生成器械功能描述语句的嵌入表示,结合Z-Score归一化后处理,在PhaKIR数据集上实现未见类别的AUROC提升21个百分点。
Introduction
手术器械的视觉多样性(如烟雾、血液干扰)和新器械迭代使得传统监督学习泛化受限。广义零样本学习(GZSL)通过语义空间映射同时处理已知/未知类别,但现有方法多基于单词级嵌入(如BERT),缺乏对器械功能的完整描述。本文首次将临床领域适应的S-PubMedBERT模型生成的句子嵌入引入GZSL框架。
Methods
实验采用DenseNet-121视觉主干网络,对比临床BioBERT词嵌入与GPT-4生成的描述性句子嵌入。Z-Score归一化按公式zj
= (ej
Results
关键发现:
Discussion
HFcoag-Probe与Argonbeamer的功能相似性在句子嵌入中更准确体现(余弦相似度0.72 vs 词嵌入0.53)。但研究局限在于单中心数据集,未来需验证在达芬奇手术机器人等跨平台场景的适用性。
Conclusion
该方法为手术室实时器械识别系统提供了可扩展解决方案,特别适用于新器械快速部署场景。后续将探索基于大语言模型(LLM)的自动化描述生成与三维器械表征的结合。
生物通微信公众号
知名企业招聘