《CMES - Computer Modeling in Engineering and Sciences》：HTM: A Hybrid Triangular Modeling Framework for Soft Tissue Feature Tracking
编辑推荐：
为解决内窥镜手术中软组织因呼吸和心跳产生非线性形变，导致传统特征跟踪方法鲁棒性差、计算复杂的问题，研究人员开展了HTM（Hybrid Triangular Modeling）框架研究。该研究通过分水岭算法检测斑点（blob），结合Delaunay三角剖分与三角形搜索分割算法构建几何模型，并利用重心坐标理论建立帧间对应关系。实验结果表明，该方法在保持对组织形变鲁棒性的同时，实现了低计算复杂度（单帧处理时间低于2.5 ms），为手术计算机视觉中的实时软组织跟踪提供了一种可扩展的几何建模方法。
在人工智能重塑医疗影像与病理学的今天，微创手术（MIS）领域正迎来一场技术革命。然而，一个核心难题始终困扰着手术机器人的精准操作：如何实时、准确地跟踪不断变化的软组织表面？由于呼吸、心跳等生理活动，人体器官会经历复杂的非线性形变，加上内窥镜视野有限、光照多变，使得传统的特征跟踪方法常常“跟丢”目标，难以满足手术导航、3D重建等关键应用对稳定性和精度的严苛要求。
为了攻克这一难题，来自广州华商学院的张丽娟、周宇、田佳伟、郭福培、张翔和杨波团队在《CMES - Computer Modeling in Engineering & Sciences》上发表了一项创新研究，提出了一种名为HTM（Hybrid Triangular Modeling，混合三角建模）的框架。该研究旨在开发一种无需大量标注数据、计算轻量且能有效应对软组织形变的特征跟踪方法，为手术计算机视觉系统提供更可靠的技术支撑。
关键技术方法
本研究主要采用了以下关键技术方法：
- 1.
斑点检测：利用分水岭（Watershed）算法从二维灰度图像中提取斑点（blob）特征，通过设定面积、圆度、凸度等参数筛选出稳定的特征点。
- 2.
三角剖分：在首帧图像中，对检测到的斑点应用Delaunay三角剖分算法，构建初始的三角形网格。对于后续帧，则采用新设计的基于角度和边长约束的三角形搜索分割算法，以维持帧间三角网格的一致性。
- 3.
重心坐标匹配：利用重心坐标理论，将三角形内的像素表示为三个顶点的线性组合。通过计算帧间对应三角形的像素灰度均方根误差（RMSE）作为匹配代价，实现像素级的精确匹配。
- 4.
数据来源：实验数据来源于帝国理工学院Hamlyn中心提供的公开内窥镜心脏图像序列，该数据集包含高分辨率腹腔镜/内窥镜录像，模拟了由心跳和呼吸引起的软组织动态形变。
研究结果
1. 斑点检测与三角剖分
研究人员首先在首帧图像中成功检测到9个斑点，并利用Delaunay三角剖分算法将其划分为10个三角形，构建了初始的几何模型。通过调整步长和最小斑点面积等参数，确保了在后续帧中能够尽可能多地检测到与首帧匹配的斑点，为后续的三角匹配奠定了基础。
2. 三角形搜索分割与匹配
针对后续帧中斑点可能消失或新增的问题，研究团队提出了一个包含三条规则的三角形搜索分割算法。该算法通过设定距离阈值（Δd）和角度阈值（Δθ），在后续帧中搜索与首帧三角形几何结构相似的候选三角形。实验结果表明，该方法能够有效地重建帧间三角对应关系，即使在斑点数量发生变化的情况下，也能保持三角网格的连续性。
3. 基于重心坐标的匹配误差计算
利用重心坐标理论，研究人员计算了首帧三角形内每个像素在后续帧候选三角形中的对应位置，并通过双线性插值获取其灰度值。通过计算两个三角形区域内所有像素的灰度均方根误差（ΔEi），作为判断两个三角形是否匹配的依据。该方法能够快速、准确地建立像素级的对应关系，为特征跟踪提供了稳定的几何约束。
4. 算法性能与跟踪效果
实验结果显示，该方法在计算三角形匹配误差时表现出色，单次计算耗时仅为0.001345秒，1000次计算耗时0.336秒。在帧间匹配方面，处理时间稳定在2至2.5毫秒之间，且随着帧数增加呈线性变化，证明了算法的高效性和稳定性。对首帧中第一个斑点的跟踪轨迹分析表明，该方法能够稳定地跟踪心脏表面的特征点，其运动轨迹符合生理规律，验证了算法对软组织形变的鲁棒性。
结论与讨论
本研究成功提出并验证了HTM框架，该框架通过将斑点特征组织成三角形网格，并利用重心坐标理论建立帧间对应关系，实现了对软组织表面的快速、准确跟踪。与传统的基于纹理的特征匹配方法不同，HTM是一种基于几何建模的无监督方法，不依赖于大量的标注数据或预训练模型，具有计算复杂度低、鲁棒性强、可解释性高等优点。
该方法的成功之处在于其巧妙地利用了软组织的几何特性。尽管软组织会发生形变，但其局部区域的几何结构在短时间内保持相对稳定。通过构建三角形网格，HTM将复杂的全局形变分解为多个局部的仿射变换，从而简化了匹配问题。此外，该方法对斑点检测的误差具有一定的容忍度，即使部分斑点消失或新增，也能通过三角网格的连续性维持整体的跟踪效果。
然而，该研究也存在一些局限性。首先，方法的性能在很大程度上依赖于首帧斑点检测的质量。其次，该方法目前主要针对二维灰度图像，直接扩展到复杂的三维结构或体积数据可能存在挑战。此外，在极端形变或遮挡情况下，三角关系可能不再成立，从而影响匹配精度。
尽管如此，HTM框架为软组织跟踪提供了一种全新的思路。其轻量级、无监督的特性使其非常适合集成到实时手术环境中，为手术导航、工具-组织交互预测等应用提供可靠的技术支持。未来，通过结合深度学习技术提升初始斑点检测的鲁棒性，或将其扩展到三维空间，有望进一步推动该领域的发展。
