视觉组学基础模型OmiCLIP：连接组织病理学与空间转录组学的桥梁

研究人员针对当前计算模型无法有效整合组学与图像数据的瓶颈，开发了视觉-组学基础模型OmiCLIP及其应用平台Loki。该研究利用2.2百万对组织图像-转录组数据，通过对比学习构建跨模态表征空间，实现了组织对齐、注释、细胞类型分解等五大功能，在19个公共数据集测试中均优于现有22种方法，为三维组织重建和多模态分析提供了高效基础设施。

　　

在生物医学研究领域，组织病理学图像和组学数据的整合一直是重大挑战。传统计算方法往往将这两类数据分开分析，导致宝贵的空间分子信息难以被充分利用。随着空间转录组学(ST)和单细胞RNA测序(scRNA-seq)技术的发展，研究人员能够获得组织切片中基因表达的空间分布信息，但如何将这些分子数据与传统的苏木精-伊红(H&E)染色图像关联起来，仍缺乏系统性的解决方案。

针对这一关键问题，来自休斯顿卫理公会研究所等机构的研究团队开发了名为OmiCLIP的视觉-组学基础模型，并构建了Loki分析平台。这项发表在《Nature Methods》上的研究通过创新的跨模态学习方法，成功搭建了连接组织形态学与分子特征的桥梁，为多模态组织分析提供了全新工具。

研究团队采用了几个关键技术方法：首先收集整理了包含32种器官、2.2百万对图像-转录组数据的ST-bank数据集；其次开发了基于对比学习的双编码器模型架构，将转录组数据转化为"基因句子"进行表征；然后构建了包含五大功能的Loki平台，利用来自19个公共数据集和4个内部实验数据集进行验证；最后通过Xenium和Visium-HD等高通量空间技术生成基准数据评估性能。

研究结果部分，在"OmiCLIP改善图像和转录组表征"中，研究团队使用Calinski-Harabasz评分证明对比学习后的嵌入向量能更好区分组织类型，在95个样本测试中聚类性能显著提升(P<0.001)。UMAP可视化显示，模型能同时捕捉到心脏、肾脏等组织的形态学和基因组学特征。

"Loki Align实现ST-to-ST和H&E图像-to-ST数据对齐"部分展示了该模块在模拟数据集和真实组织切片中的优异表现。在8个相邻小肠组织切片对齐任务中，Loki的ST-to-ST和图像-to-ST对齐的Pearson相关系数中位数分别达到0.62-0.83和0.67-0.80，显著优于PASTE和GPSA等方法(P<0.001)。卵巢癌肉瘤样本的对齐实验进一步验证了其精确性，中位相关系数达0.88。

"Loki Annotate基于bulk RNA-seq数据解读H&E图像"功能在乳腺癌、心衰等组织测试中表现出色。肿瘤区域的相似度评分显著高于非肿瘤区(P<0.05)，与病理专家标注高度一致。当使用标记基因注释时，结合PLIP模型的混合方法在CRC7K数据集上达到93%的召回率，证明转录组与自然语言描述的互补价值。

"Loki Decompose通过scRNA-seq在H&E图像中定位细胞类型"模块在三阴性乳腺癌(TNBC)样本测试中，使用Xenium数据作为金标准，其图像模式和ST模式的综合影响评分分别达到1.32和1.11，优于Tangram等12种现有方法。在结直肠癌和脑组织中的应用也证实了该方法的广泛适用性。

"Loki Retrieve实现H&E图像-to-转录组检索"功能在四个验证数据集上Recall@5%达到0.125-0.186，是OpenAI CLIP的2.4-3.6倍。测试数据集上的表现进一步证实了模型检索的准确性。

"Loki PredEx从H&E图像预测ST基因表达"在39个正常心脏组织样本评估中，在28个样本上获得最佳均方误差(MSE)评分，其预测的基因空间分布模式与真实数据高度吻合。

这项研究的结论部分指出，OmiCLIP是首个成功整合分子特征与病理图像的基础模型，其创新性体现在三个方面：一是利用公开ST数据集构建大规模训练资源；二是通过"基因句子"表征实现生物学文本与图像的跨模态学习；三是开发的Loki平台显著降低了多模态组织分析的技术门槛。与现有视觉-语言模型相比，该模型在保持诊断能力的同时增加了分子机制解析的维度。

研究讨论部分强调，虽然当前模型在数据规模和生成能力上仍有局限，但其嵌入向量已展现出对scRNA-seq和bulk RNA-seq数据的良好泛化能力。未来工作将聚焦于三方面：扩展训练数据覆盖更多罕见疾病；探索与扩散模型结合实现WSI重建；整合蛋白质组和代谢组等多组学数据。该技术框架为三维组织分析、药物重定位等应用提供了新思路，有望推动计算病理学向多模态、高精度的方向发展。