《Biomedical Signal Processing and Control》：SRTD-Net: Decoupling Spatial Reliability from Temporal Dynamics for endoscopic video segmentation under instrument–tissue interactions
编辑推荐：
•SRTD-Net 为内窥镜视频分析建立了时空可靠性。•生成式净化纠正了被动态手术噪声破坏的特征。•交互门控动态机制在复杂遮挡下确保因果一致性。•在新 EPID 数据集上验证，以实时速度达到最先进（SOTA）精度。引言结直肠癌（CRC）是全球主要恶性肿瘤之一，内镜下息肉切除术
- •
SRTD-Net 为内窥镜视频分析建立了时空可靠性。
- •
生成式净化纠正了被动态手术噪声破坏的特征。
- •
交互门控动态机制在复杂遮挡下确保因果一致性。
- •
在新 EPID 数据集上验证，以实时速度达到最先进（SOTA）精度。
引言
结直肠癌（CRC）是全球主要恶性肿瘤之一，内镜下息肉切除术是其预防和治疗的關鍵手段 [1], [2]。这些操作的精确性在很大程度上取决于外科医生在动态手术场景中准确感知并操控器械与组织的能力。计算机辅助干预（CAI）系统旨在通过提供器械和异常的实时分割来增强这种感知 [3], [4]。然而，内窥镜视频所固有的挑战性——包括运动模糊以及器械-组织交互过程中急剧的拓扑变化——阻碍了稳健且可靠的 CAI 系统的发展。
从根本上说，该领域的进展受到两个相互关联的局限性的阻碍。从架构角度来看，现有的分割模型——无论是任务特定模型 [5] 还是大规模基础模型（如 MedSAM [6]）——在很大程度上都是按帧独立设计的。虽然它们能够很好地泛化到静态医学图像，但帧独立的流水线在动态内窥镜视频中往往导致时间上的不一致，更关键的是，缺乏显式建模精细器械-组织交互的机制。从数据/基准角度来看，现有的公开数据集主要包含静态帧或非交互式场景，使得难以系统评估在关键接触事件期间的鲁棒性。这些局限性共同引发了两个技术挑战：
1. 高时间异质性下的信号-噪声歧义：内窥镜视频表现出强烈的帧间异质性，由持续的运动和特定操作伪影驱动。这些因素引入了高频噪声，使其与精细解剖结构纠缠在一起，使标准编码器难以将真实边界与伪影区分开来。由此产生的特征污染导致预测不稳定和分割边界抖动（图 1(a)）。
2. 交互引起的结构破坏：在器械与组织物理接触期间（例如抓取、切除或切割），目标经历严重的非刚性形变、瞬态遮挡和伪影污染。这破坏了大多数逐帧模型隐含使用的视觉连续性假设，导致精度急剧下降和关键手术区域定位不稳定（图 1(b)）。
在此背景下，分割可靠性被定义为模型在噪声下维持空间精度和在动态事件中保持时间一致性的能力。现有方法——从任务特定模型 [5] 到通用模型 [6]——未能系统性地解决这两个方面，往往将它们作为独立的问题来处理。为了弥合这一差距，我们提出了 SRTD-Net（空间可靠性与时序动态网络），一种新颖的双流架构，显式地解耦这两个挑战：空间可靠性流首先净化被噪声污染的特征，随后时序动态流确保在复杂交互中的一致跟踪。这种分层方法旨在提供对手术场景更稳健、更可靠的理解。主要贡献总结如下：
- 1.
我们提出了 SRTD-Net，一种新颖的双流框架，显式地将空间可靠性与时序交互建模解耦，有效解决了复杂器械-组织交互下的特征污染和结构破坏问题。
- 2.
空间可靠性流引入了受扩散启发的特征精炼机制，主动解耦并纠正被高频噪声污染的特征，解决了关键的信号-噪声歧义并缓解了尺度-语义冲突。
- 3.
开发了交互感知时序动态流，利用动态核注意力检索遮挡细节，并提出新颖的交互门控机制以在非线动态下促进时间一致的分割。
- 4.
我们贡献了 EPID 数据集以弥补干预视频数据的不足，并证明了 SRTD-Net 在最先进性能上的表现以及跨多种基准的强泛化能力。
章节摘要
结肠镜数据集
稳健的计算机辅助干预系统的发展高度依赖于高质量且具有临床相关性的数据集。虽然 Kvasir [7]、CVC-ColonDB [8] 和 CVC-ClinicDB [9] 等基础数据集推动了基于静态图像的息肉分割的进展，但它们天生缺乏实时操作的时序动态。随后的努力引入了基于视频的数据集，如 CVC-VideoClinicDB [10]，提供了来自临床检查的连续序列。尽管这些
方法
我们的空间可靠性与时序动态网络（SRTD-Net），如图 2 所示，旨在通过一种新颖的双流架构从根本上解决特征污染和结构破坏这两大交织的挑战。该框架作为一个协同级联系统运行。首先，空间可靠性流执行特征纠正以对抗特征污染。它采用能量校准小波分解器进行频域信号解纠缠，随后
数据集
我们在一个全面的数据集套件上验证了 SRTD-Net，该套件旨在涵盖分布内（ID）基准和分布外（OOD）鲁棒性测试。我们的主要训练和评估在两个关键的 ID 基准上进行。第一个是 EndoPolyp-Instrument Dataset（EPID），这是我们引入的第一个对复杂器械-息肉交互进行密集标注的公开数据集。它包含 78 段视频（总计：22,510 帧），捕获了多种多样的操作。为确保统计
与最先进方法的比较
为了评估 SRTD-Net，我们将其性能与 12 种最先进（SOTA）方法进行了基准比较，分为三组。所有方法均在受控且一致的协议下进行评估，以确保公平和可复现的比较。第一类包含领先的基础模型 MedSAM [6]，以直接评估我们的任务特定架构与通用方法之间的对比。第二组由高性能的基于视频的分割方法组成，
讨论
在本工作中，我们提出了 SRTD-Net 来解决内窥镜手术中器械-组织交互的挑战，这是一个视觉歧义与时序动态密不可分的复杂领域。我们在多个基准上的严格评估确认，显式地将空间可靠性与时序交互建模解耦，相较于通用分割范式具有独特优势。
来自我们比较分析的一个关键见解是，将手术视频
结论
本研究提出了 SRTD-Net，一种用于内窥镜视频分割的双流时空框架，旨在解决异质性、尺度变化和器械-组织交互等交织的挑战。核心设计显式地将空间净化与交互感知时序建模解耦，将手术视频视为高动态事件的连续流，而非独立帧的集合。广泛的实验和消融研究证实了这种协同
CRediT 作者贡献声明
何冬冬： 写作 – 审阅与编辑，写作 – 原始草稿，方法论，数据整理。刘子腾： 数据整理。尹寻海： 写作 – 审阅与编辑。张程红： 写作 – 审阅与编辑。时怡阳： 写作 – 审阅与编辑。刘浩： 写作 – 审阅与编辑，数据整理。高文鹏： 写作 – 审阅与编辑，写作 – 原始草稿，可视化，项目管理，方法论，资金获取。付一立： 写作 – 审阅与编辑。
利益冲突声明
作者声明，他们没有已知的可能影响本文所报告工作的竞争性经济利益或个人关系。
致谢
本工作得到了国家重点研发计划（项目编号：2023YFB4705700）、浙江省重点研发计划：手术机器人核心部件与系统研发（编号：2023C03010）、以及机器人及系统国家重点实验室（哈尔滨工业大学）自主策划任务（编号：SKLRS202010B、SKLRS202209B）的支持。
何冬冬 | 刘子腾 | 尹寻海 | 张程红 | 时怡阳 | 刘浩 | 高文鹏 | 付一立
