利用跨物种迁移学习和由病理组学基础模型生成的视觉信息进行PMI（Plasma Membrane Integrity）估计

《International Journal of Legal Medicine》：PMI estimation with cross-species transfer learning and visual information generated by pathomics foundation model

PMI估计框架采用病理学基础模型结合两阶段跨物种迁移学习，先在猪肝WSI上微调，再以少量人类数据迁移优化，通过概率图、类图和分类比例直方图实现全玻片级可视化解释，在16例猪和23例人类样本中验证UNI模型表现最优，迁移后准确率达78.95%，较未调模型提升超50%，有效解决动物数据到人类样本的跨物种迁移与模型可解释性难题。

　　

摘要

背景

估算死亡时间（PMI）是法医学中的关键任务。基于深度学习的病理图像分析提供了一种有前景的方法，但现有的病理组学方法面临两大挑战：从动物样本到人类样本的转化能力有限，以及模型可解释性不足。

方法

我们提出了一个基于病理组学基础模型的PMI估算框架，采用了两阶段跨物种迁移学习策略。在第一阶段，该模型在猪肝脏全切片图像（WSIs）上进行微调；在第二阶段，利用少量人类数据对其进行进一步微调以实现有效的知识迁移。为了提高可解释性，模型预测结果通过概率图、类别图和分类比例直方图在全切片层面进行可视化。

结果

使用16个猪样本和23个人类样本评估了四种深度学习模型——ResNet50、DenseNet121、SongCi和UNI——用于PMI估算。基于视觉变换器的UNI模型表现最佳，在猪样本数据上的准确率为91.63%。经过有限人类样本的迁移学习后，准确率提升至78.95%，相比未经微调的模型提高了50%以上。可视化框架进一步增强了模型输出的可解释性和可追溯性。

结论

本研究表明，结合动物数据先验知识、采用最小量的人类数据进行微调以及全切片可视化技术，可以实现跨物种的PMI估算。所提出的框架解决了数据稀缺问题，提高了模型透明度，并为法医病理学提供了一个实用且可解释的基于人工智能的工具。