基于几何信息的多模态融合网络，用于从组织学图像中增强高密度空间转录组学分析

《Engineering Science and Technology, an International Journal》：Geometry-informed multimodal fusion network for enhancing high-density spatial transcriptomics from histology images

空间转录组学技术结合深度学习方法，利用病理切片图像生成高密度基因表达数据，通过几何引导的多模态融合网络和空间坐标的多头注意力机制有效保留组织空间结构并提升预测精度。

　　空间转录组学（Spatial Transcriptomics, ST）是一种结合空间信息与基因表达分析的革命性技术，它为研究组织内部基因的空间分布及其调控机制提供了新的视角。这项技术通过在组织样本上定位基因表达的位置，使得科学家能够更全面地理解基因在不同空间区域的表达模式，以及这些模式如何影响细胞功能和组织特性。然而，尽管ST技术具有重要的科学价值，其在生物医学研究中的广泛应用却受到了一些限制。其中，最主要的限制因素包括测序点的稀疏性以及ST技术本身的高昂成本。

测序点的稀疏性意味着在实际应用中，仅能获取组织样本中有限区域的基因表达信息。通常情况下，ST技术只能有效覆盖组织区域的大约30%到40%，而其余未被采样的区域则完全缺失其基因表达数据。这不仅影响了研究的完整性，还可能导致关键生物学信号的遗漏。例如，病变边缘和血管周围微环境等区域可能包含重要的生物信息，但由于采样密度不足，这些区域的基因表达数据往往无法被获取。此外，ST技术的高成本也成为了其推广的主要障碍。从设备购置到试剂消耗，再到重复实验以确保数据的可靠性，这些因素都对大规模研究构成了巨大的经济负担。

为了解决这些问题，研究者们开始探索利用深度学习方法从组织病理图像中推断高密度的基因表达数据。这种方法不仅能够降低研究成本，还能在不依赖昂贵设备的情况下，获取更全面的基因表达信息。组织病理图像，尤其是全切片图像（Whole Slide Images, WSIs），由于其成本低廉且已广泛应用于临床病理学，成为了一个极具潜力的数据来源。WSIs是通过将组织切片进行数字化处理得到的，这些图像包含了丰富的组织结构和细胞形态信息，与基因表达之间存在显著的相关性。

在这一背景下，研究团队提出了一种名为HisHRST的新方法。HisHRST是一种基于全切片图像的高分辨率空间转录组学生成方法，其核心思想是通过深度学习模型，利用WSI中的图像信息来推断未测区域的基因表达情况。这种方法特别关注于如何在保持原有空间结构的基础上，提高基因表达数据的密度和准确性。为了实现这一目标，HisHRST采用了几何引导的多模态融合网络，该网络能够有效地整合图像特征与空间坐标信息，从而增强模型对基因表达模式的识别能力。

HisHRST的一个关键创新在于其使用了多头注意力机制（Multi-Head Attention Mechanism）来引入空间位置信息。这一机制能够帮助模型更好地捕捉图像中不同区域之间的关系，从而提升基因表达预测的准确性。此外，HisHRST还利用了预训练的病理图像基础模型（如UNI模型），该模型已经在数千万张组织病理图像上进行了训练，能够提取出丰富的视觉特征。这些特征包括细胞形态、组织边界和结构异质性等，这些信息对于理解基因的空间表达具有重要意义。

为了验证HisHRST的有效性，研究团队在七个公开的ST数据集上进行了系统评估，并将其与五种现有的方法进行了比较。实验结果表明，HisHRST在生成高密度基因表达数据方面表现出色，其预测的基因表达谱与真实数据之间的平均皮尔逊相关系数（PCC）相比现有方法提高了9%到32%。这一显著的提升表明，HisHRST在捕捉基因表达的空间模式方面具有更强的能力。此外，HisHRST还能够有效保持基因表达的原始空间结构，从而更准确地反映组织环境中的基因分布情况。

除了提高预测的准确性，HisHRST还能够帮助识别具有生物学意义的信号通路，这对于深入理解关键的生物学过程至关重要。通过整合图像信息与空间坐标，HisHRST不仅能够生成高密度的基因表达数据，还能揭示基因表达与组织结构之间的复杂关系。这种能力使得HisHRST在生物医学研究中具有广泛的应用前景，特别是在肿瘤研究、组织工程和疾病机制探索等领域。

HisHRST的另一个重要优势在于其经济性和高效性。相比于传统的ST技术，HisHRST能够在不增加实验成本的情况下，通过分析WSI来获取更全面的基因表达信息。这不仅降低了研究的经济负担，还提高了研究的效率。此外，HisHRST的模型结构也使其具有较强的鲁棒性，能够在数据稀疏和噪声干扰的情况下依然保持较高的预测性能。

HisHRST的开发和应用，标志着空间转录组学研究的一个重要进展。它不仅克服了传统ST技术在数据获取和成本方面的局限性，还为研究者提供了一种全新的工具，使得他们能够在不依赖昂贵设备的情况下，获取高密度的基因表达数据。这种方法的应用，有望推动生物医学研究向更高精度和更广泛应用的方向发展。同时，HisHRST也为未来的研究提供了新的思路，即如何更好地利用图像信息来增强基因表达数据的解析能力。

在实际应用中，HisHRST可以被用于多种场景。例如，在肿瘤研究中，HisHRST能够帮助研究人员更全面地了解肿瘤组织中基因的表达情况，从而揭示肿瘤微环境中的关键生物学信号。在组织工程领域，HisHRST可以用于模拟组织结构中的基因表达模式，为组织再生和功能恢复提供理论支持。此外，在疾病机制探索中，HisHRST能够帮助研究人员识别不同组织区域中的基因表达差异，从而更深入地理解疾病的发病机制和发展过程。

HisHRST的成功开发，不仅依赖于先进的深度学习技术，还离不开对数据预处理和模型优化的深入研究。在数据预处理阶段，研究团队对组织病理图像进行了细致的分割，将每个图像区域划分为特定大小的图像块，以便更有效地提取特征信息。同时，他们还选择了表达差异较大的前1000个基因作为研究对象，这些基因在不同空间位置上的表达差异显著，能够更好地反映组织中的生物学变化。

在模型实现方面，HisHRST采用了两阶段的学习策略，以提高模型的稳定性和收敛性。这一策略能够在训练初期快速捕捉到关键的特征信息，同时在训练后期进一步优化模型的预测性能。此外，HisHRST的训练过程采用了较大的批次大小和适当的参数设置，以确保模型在大规模数据集上的高效运行。

HisHRST的开发和应用，不仅为生物医学研究提供了新的工具，也为深度学习在生物医学领域的应用开辟了新的方向。通过将图像信息与空间坐标信息相结合，HisHRST能够更全面地解析基因表达的空间模式，从而为理解组织功能和疾病机制提供更深入的视角。未来，随着深度学习技术的不断发展，HisHRST及其类似方法有望在更多领域中发挥重要作用，推动生物医学研究的进一步进步。

HisHRST的贡献不仅体现在其技术上的创新，还在于其对生物医学研究的深远影响。通过生成高密度的基因表达数据，HisHRST能够帮助研究人员更准确地识别关键的生物学信号，从而推动对疾病机制和组织功能的深入研究。此外，HisHRST的经济性和高效性，使其在实际应用中具有更高的可行性，特别是在资源有限的研究环境中。

总的来说，HisHRST作为一种新的深度学习方法，为解决空间转录组学研究中的数据稀疏性和成本问题提供了一种可行的解决方案。它不仅能够提高基因表达数据的密度和准确性，还能保持原有的空间结构，为生物医学研究提供更全面的信息。随着技术的不断进步和应用的不断拓展，HisHRST有望成为未来空间转录组学研究的重要工具之一。