CurConMix+:融合课程引导对比学习与多分辨率时间Transformer的手术动作三元组识别统一时空框架
《IEEE/ASME Transactions on Mechatronics》:CurConMix+: A Unified Spatio-Temporal Framework for Hierarchical Surgical Workflow Understanding
【字体:
大
中
小
】
时间:2026年10月23日
来源:IEEE/ASME Transactions on Mechatronics 7.3
编辑推荐:
手术动作三元组识别模型将细粒度的手术交互建模为?器械、动词、目标?的三元组,但由于严重的类别不平衡、微妙的视觉歧义以及三元组组件之间的组合依赖关系,这一任务仍然极具挑战性。现有方法通常仅解决其中一部分挑战。我们提出了CurConMix+,一个用于手术动作三元组识别的统一时空框
手术动作三元组识别模型将细粒度的手术交互建模为?器械、动词、目标?的三元组,但由于严重的类别不平衡、微妙的视觉歧义以及三元组组件之间的组合依赖关系,这一任务仍然极具挑战性。现有方法通常仅解决其中一部分挑战。我们提出了CurConMix+,一个用于手术动作三元组识别的统一时空框架。其空间组件CurConMix通过课程引导的对比学习、困难样本对采样和特征级混合(mixup)学习结构化且具有区分力的动作表征。其时间组件为多分辨率时间Transformer(MRTT),可学习地融合多分辨率时间特征,并平衡空间与时间证据。我们同时引入了LLS48数据集,通过将48段完整的腹腔镜左外侧肝叶切除术视频中的对齐步骤、任务和动作标注相结合,将手术三元组识别从胆囊切除术扩展到更广泛的手术类型。单独使用CurConMix+模型在CholecT45上达到最高42.2%的APIVT,在LLS48上达到58.4%;而CurConMix+-Ens(集成模型)进一步分别达到43.4%和59.0%。在三个匹配的空间骨干网络中,MRTT在两个数据集上均一致性地提升了动作级别的片段连贯性。受动作三元组监督的CurConMix表征还相比匹配的更高层级监督基线改进了阶段、步骤和任务识别,展示了从细粒度动作到更高层级手术流程理解的良性迁移效果。代码和LLS48数据集将开源发布,以支持分层手术流程理解领域的可重复性研究。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号