《BMC Digital Health》:Post-operative tissue fragment puzzling using histopathological vision transformer alignment HiViTAlign
编辑推荐:
在常规组织病理学中,大体手术标本被切割成多个微观组织碎片,这些碎片被独立处理和分析。这种碎片化破坏了空间连续性,使得将局部发现整合为关于肿瘤范围、方向和切除边缘的一致全局视图变得困难。尤其对于恶性疾病或恶性肿瘤,这是一个特别相关的问题,因为阳性切缘与死亡率增加
在常规组织病理学中,大体手术标本被切割成多个微观组织碎片,这些碎片被独立处理和分析。这种碎片化破坏了空间连续性,使得将局部发现整合为关于肿瘤范围、方向和切除边缘的一致全局视图变得困难。尤其对于恶性疾病或恶性肿瘤,这是一个特别相关的问题,因为阳性切缘与死亡率增加相关。因此,从组织学全切片图像(WSI)中重建原始大体组织具有很高的临床相关性。然而,由于非重叠碎片、组织变形、伪影、不规则或磨损边界、缺失片段以及缺乏真实重排参考,这项任务具有挑战性。本研究开发了一种重排策略,在这些约束下自动化和改进手动术后组织碎片重建。结果:研究人员提出了HiViTAlign,一种组织病理学视觉Transformer对齐流水线,将微观组织切片重新组装成一个整体,这是图像配准的一个特殊变种。该任务被表述为一个非重叠图像配准问题,其中相邻碎片基于纹理和形状线索而不是像素重叠被识别和空间对齐。该流水线采用三阶段从粗到细的视觉Transformer架构来提取多尺度特征并预测碎片对之间的平移变换参数。为了在缺乏标准化数据集的情况下实现监督训练,引入了一个合成拼图生成器,该生成器从掩码的WSI缩略图中生成病理学启发的不规则碎片。模型在三组异构数据集上进行了多域训练:合成不规则碎片、规则网格切片和离体猪器官WSI,以增强对形态变异和染色差异的鲁棒性。成对配准达到了相当于碎片宽度\(27.6\%-33.4\%\)的平均绝对误差,具有高的结构保留(归一化互相关NCC \(0.96-0.97\))。使用最小生成树聚类的全局组装在典型\(3-5\)碎片拼图中,在\(1.88mm\)方形碎片宽度下产生了\(313-378 \mu m\)的重建误差,实现了\(97\%\)的成功率(3碎片情况),但由于误差传播而下降。完全自动化的HiViTAlign重排在离体猪器官组织集上显示拼图准确率为\((45 \pm 22)\%\)。每个拼图的运行时间为\(2.1-2.8s\),证明了临床集成的计算可行性。结论:尽管当前准确率不足以进行完全自动化评估(尤其是对于较大数量的碎片),该框架建立了自动化组织重排的概念验证,并通过提出可能的碎片邻接来支持半自动化工作流程。该方法支持病理标本的空间解释,并为未来与3D组织重建的集成奠定基础。HiViTAlign的实现和合成碎片生成器是开源可用的。
**论文解读:基于组织病理学视觉Transformer对齐的术后组织碎片拼图(HiViTAlign)**
**研究背景**
在常规组织病理学实践中,大体手术标本被切割成多个微观组织碎片,这些碎片经独立处理和分析后,其空间连续性被破坏,导致难以将局部发现整合为关于肿瘤范围、方向及切除边缘的一致全局视图。尤其对于恶性肿瘤,阳性切缘与死亡率升高相关,因此从组织学全切片图像(whole-slide image, WSI)中重建原始大体组织具有高度临床相关性。然而,该任务面临非重叠碎片、组织变形、伪影、不规则或磨损边界、缺失片段以及缺乏真实重排参考等挑战。现有方法多聚焦于连续切片或重叠区域的配准,无法解决术后碎片拼图问题。为此,研究人员开发了HiViTAlign,一种自动化、无需参考图像的碎片重排流水线。该研究发表于《BMC Digital Health》。
**主要关键技术方法**
HiViTAlign流水线包含四个步骤:1)WSI预处理:通过组织掩膜(基于Otsu阈值或自适应Canny边缘检测)提取缩略图;2)成对配准:采用三阶段从粗到细的视觉Transformer(Coarse-to-Fine Vision Transformer, C2FViT)预测平移变换参数;3)邻接量化:定义基于边缘接触和颜色相似性的自定义相似度指标;4)组织重排:利用最小生成树(minimal spanning tree, MST)等图聚类算法进行全局组装。为获取监督训练数据,研究人员开发了合成拼图生成器,利用德国邮政区域边界作为不规则分割掩膜,从掩码WSI缩略图中生成病理学启发的碎片。模型在多域设置下训练,数据集包括合成不规则碎片、规则网格切片和离体猪器官WSI(样本来源:海德堡病理研究所档案及当地法规批准的猪器官残余材料)。
**研究结果**
**成对配准结果(Pairwise puzzling with vision transformer)**
C2FViT模型在三个数据集上评估:不规则碎片、规则网格和离体猪器官切片。不规则碎片配准平均绝对误差(mean absolute error, MAE)为119.7像素,网格碎片为119.7像素,猪器官切片为100像素(比不规则碎片好19%)。归一化互相关(normalized cross-correlation, NCC)在0.96-0.97之间,表明高结构保留。总体配准MAE相当于碎片宽度的27.6%-33.4%。
**聚类优化结果(Clustering optimization for puzzle reassembly)**
比较了三种全局组装策略:凝聚层次聚类(AHC)、最小生成树(MST)和模拟退火(SA)。在500个合成不规则拼图(平均4.74个碎片)上,MST实现了最低拼图级MAE(比AHC好9.0%)和最低均方误差(MSE,降低28%),同时循环一致性误差(cycle-consistency error, CCE)方差更小。MST运行时间最快(2.78±0.72秒)。
**离体猪器官组织流水线评估(Pipeline evaluation on ex vivo pig organ tissue)**
在500个猪器官拼图(平均3.33个碎片)上,完整HiViTAlign流水线实现了每图像轴21.6%的翻译误差,像素误差率为10.4%。MAE为4.6±1.3 mm(对应14.7 μm/像素分辨率)。与手动重排相比,自动化速度提升30倍以上,但精度较低(MSE高20.7%,NCC低5.6%)。准确率随碎片数增加下降:3碎片时97%,超过6碎片时降至70%以下。
**讨论与结论**
讨论指出,HiViTAlign是首个自动化组织学碎片重排框架,解决了现有方法无法处理的独立处理、无重叠碎片问题。当前精度受限,误差传播在碎片数增多时显著,需要全局优化(如闭环约束)和非刚性变形建模来改进。尽管完全自动化尚不成熟,该框架作为概念验证可支持半自动化工作流,通过快速提出碎片邻接辅助病理学家。**结论翻译**:尽管当前准确率不足以进行完全自动化评估(尤其是对于较大数量的碎片),该框架建立了自动化组织重排的概念验证,并通过提出可能的碎片邻接来支持半自动化工作流程。该方法支持病理标本的空间解释,并为未来与3D组织重建的集成奠定基础。HiViTAlign的实现和合成碎片生成器是开源可用的。