《Nature Machine Intelligence》：Multimodal cell foundation models require synergistic integration beyond alignment
编辑推荐：
将跨模态与跨尺度的测量整合到统一的细胞功能定量框架中，是计算生物学的核心目标。尽管已有强大的单模态基础模型（foundation models），但大规模配对数据的稀缺限制了对多模态的联合训练。这一约束使得组合式基础模型（compositional found
将跨模态与跨尺度的测量整合到统一的细胞功能定量框架中，是计算生物学的核心目标。尽管已有强大的单模态基础模型（foundation models），但大规模配对数据的稀缺限制了对多模态的联合训练。这一约束使得组合式基础模型（compositional foundation models, CFMs）更具优势，此类模型通过可学习接口融合冻结的单模态专家（frozen unimodal experts）。然而，这种融合何时能提供超越最强单模态表征的任务相关信息，而非仅仅聚合冗余信号，仍不清楚。研究人员引入协同信息评分（Synergistic Information Score, SIS），这是一种基于部分信息分解（partial information decomposition, PID）的度量，可量化仅由跨模态交互产生的信息增益。研究人员将自监督学习（self-supervised learning）的理论进行扩展，证明采用冻结编码器的标准对齐目标（alignment-based objectives）会坍缩为检测线性冗余，从而限制了其捕获非线性协同状态的能力。这一区分对于连接组织形态学与基因表达（gene expression, GEX）的任务尤为重要。研究人员在空间转录组学（spatial transcriptomics）数据集上对十种融合方法进行基准测试，证明以线性冗余为主的任务可由单模态基线（unimodal baselines）充分胜任，而复杂的微环境（niche）定义则受益于协同感知的整合。最后，研究人员进行缩放分析（scaling analysis），表明微调主导单模态专家是标准任务中样本效率最高的策略。综上，这些结果表明，细胞状态多模态建模的进展需要从基于对齐的目标转向利用互补跨模态信号的协同驱动整合（synergy-driven integration）。
**研究背景与问题**
将跨模态与跨尺度的测量整合为统一的细胞功能定量框架，是计算生物学的核心目标。自监督学习的进展与生物数据集规模的扩大，已为转录组学、组织病理学及空间转录组学等单一模态催生出强大的编码器。然而，多模态数据本质上是非对称的：数以百万计的单模态样本孤立存在，而在同一细胞或组织背景中捕获多种模态的配对测量则远为稀缺。这种非对称性使得组合式基础模型（compositional foundation models, CFMs）成为优选方案——此类模型复用稳健的单模态编码器作为冻结专家（frozen experts），通过可学习接口组合其输出。但一个根本性问题尚未解决：多模态融合何时能真正提供超越最强单模态专家的信息，何时仅是重新包装冗余信号？标准的基于对齐的融合接口通过对比或回归目标将配对样本的表征拉近，这类目标在检索与匹配任务中有效，但许多科学目标恰恰需要相反的情形——发现源于对非重叠信息集的综合。例如，定义空间变化的细胞状态、微环境（niche）或微环境相互作用，可能受益于融合组织形态学与基因表达（gene expression, GEX）。在此类情形中，基于对齐的融合可能触及"谱天花板"（spectral ceiling），即由预训练表征的特征谱所施加的限制，使得对齐仅能恢复预训练编码器中主导的线性相关性，而可能无法获取仅通过联合非线性处理才涌现的协同信息。研究人员从理论与实证两方面对这一局限进行了探究。
**关键技术方法**
研究人员构建了受控基准框架，从全切片组织病理学与空间GEX数据中提取空间匹配的图像块，确保两种模态观察同一物理组织区域。采用UNI-2（组织病理学）与Nicheformer（空间转录组学）作为冻结基础模型编码器，将匹配图像块转换为潜在嵌入。由于编码器保持冻结，下游性能的任何差异均完全归因于融合接口。基准测试涵盖十种融合接口，从简单聚合（如拼接Concat）到谱方法（如典型相关分析canonical correlation analysis, CCA；方差-不变性-协方差正则化variance–invariance–covariance regularization, VICReg）及非谱目标（如对比多模态Contrastive MultiModal, CoMM）。评估使用三个空间转录组学数据集：肺纤维化肺图谱、发育中人胸腺数据集及乳腺癌数据集。下游任务包括微环境分类、细胞类型组成回归、空间邻域预测、空间一致性与微环境一致性。此外，研究人员提出了基于部分信息分解（PID）的协同信息评分（SIS），并扩展了自监督学习的谱理论至多模态冻结编码器设定，还进行了微调缩放分析。
**研究结果**
**组合式细胞基础模型中的多模态整合**：通过冻结UNI-2与Nicheformer编码器并仅训练融合接口，研究人员在三个空间转录组学数据集上评估了十种融合方法。结果表明多模态融合本质上是任务依赖的：不同任务下各融合方法相对于最强单模态基线的增益差异显著，SIS可作为诊断工具判断给定生物任务是受益于多模态学习还是已由单模态专家饱和。
**SIS区分整合与对齐**：研究人员引入基于PID的SIS，将其定义为融合表征相对于最强单模态基线在固定探针类别（线性探针）下的相对信息增益。正SIS表示可及协同，近零或负值表示冗余主导或融合失败。在三个数据集上的评估揭示了多模态融合的任务依赖性，SIS能够区分单模态充分（unimodal-sufficient）与跨模态依赖（cross-modal-dependent）两种信息机制。
**冗余主导任务约束多模态增益**：在乳腺癌数据集的微环境分类中，各领先融合方法仅产生小的正SIS值（CCA为0.058，CoMM为0.045，Concat为0.011），表明该任务处于冗余主导机制，融合可提供有限额外信号但相关信息已大部分可从单模态或简单聚合中获取。肺微环境分类呈现类似行为。
**协同是整合模态的必要条件**：在胸腺数据集中，GEX通过Visium空间转录组学测量，其粗粒度斑点与组织学图像精细结构之间存在已知的分辨率不匹配，形成互补空间信息分布于各模态的整合机制。在此设定下，多模态方法在微环境分类任务中一致获得正SIS，非谱整合方法如深度CCA（deep CCA, DCCA）和CoMM获得最大增益（SIS分别为0.142和0.120），拼接也有改善（SIS为0.072），而谱CCA基线接近低增益机制（SIS为0.057）。这表明当跨视图对应不完美时，有效融合需要学习非线性跨模态交互而非强制对齐。在Xenium提供更高分辨率测量的肺与乳腺癌数据集中，同一任务的SIS较弱，表明对跨模态交互的依赖降低但未消除。
**单模态主导使整合非必要**：肺细胞类型组成任务提供了匹配的对照机制——细胞类型组成与局部GEX紧密对齐。所有融合方法的SIS均为负（如CoMM为?0.028），表明多模态融合未提供超越最强单模态表征（此任务中为GEX，R2=0.684）的额外任务相关信息，展示了SIS的诊断价值。
**SIS机制对编码器选择与探针容量稳健**：研究人员在浅层与深层多层感知机（multilayer perceptron, MLP）解码器下评估SIS作为探针容量控制，并在原始特征发布中可用的编码器网格上重复分析（每任务12对编码器）。定性机制结构得以保持：胸腺仍为最清晰的高SIS机制，肺与乳腺微环境分类显示较小增益，肺细胞类型组成接近单模态充分边界。
**从对齐到整合**：上述结果建立了基于PID的多模态融合视角。应用于冻结单模态编码器的融合接口并非统一改善性能，而是反映任务底层的信息机制：谱对齐方法优先提取共享结构但可能抑制模态特异信号，聚合方法保留模态特异信息但不建模交互，非谱整合方法则使跨模态协同可及。
**协同整合恢复空间组织**：通过空间邻域预测任务，研究人员发现短距离（≤10 μm）时单模态表征已表现强劲且SIS接近零，属单模态充分机制；随空间距离增加（20–60 μm），单模态性能退化快于多模态融合，SIS相应上升（邻域细胞类型组成回归中从约0升至>0.15），表明向跨模态依赖机制转变。
**多模态融合保持组织一致性**：通过成对探针量化微环境与空间一致性（AUC），两种单模态编码器均展现强空间与微环境一致性（AUC>0.8），多模态融合在所有数据集上均保持该结构，表明融合建立了共享潜在空间而未坍缩或破坏空间流形。
**空间上下文扩展时协同涌现**：短距离时单模态信号预测性较强，融合仅提供有限改善；随距离增加，局部对应减弱，单模态性能退化更快。邻域细胞类型组成回归中退化主要由GEX单模态基线驱动，而影像相对稳定，SIS随距离急剧上升。邻域微环境分类的SIS相对平稳。这表明随空间距离增长，预测成功日益依赖整合跨模态互补信号而非利用共享冗余。
**空间模糊下向整合收敛**：肺与乳腺数据集使用Xenium原位技术，GEX与组织形态学在可比有效分辨率下测量且展现强局部对应，短距离SIS低或为负，简单拼接表现有竞争力。胸腺数据集使用Visium，引入固有空间模糊，短距离SIS即为正且CoMM持续优于聚合。尽管起点不同，SIS在所有数据集长距离处收敛至正值（约0.03–0.07），表明空间上下文主导局部冗余时学习整合成为必要。
**空间整合成为必要**：在强局部对应机制中，融合相对单模态基线与简单聚合增益有限；在空间模糊增加的机制中，整合感知接口产生更高SIS并在更大距离处更好地保持性能。
**谱天花板约束冻结对齐**：研究人员将自监督学习的谱理论扩展至多模态融合，证明在冻结编码器机制下，线性对齐映射与标准方差/白化约束下，广泛类别的融合目标约简为最大化交叉协方差矩阵的迹Tr(C)，由Eckart–Young定理，最优解为C的奇异值分解（singular value decomposition, SVD）。方差或白化约束虽排除平凡坍缩解，但也强制线性谱结构，使此类方法理论上局限于线性子空间内可表达的信息，无法利用仅通过非线性跨模态交互出现的任务相关结构。相反，整合方法（如CoMM和Bootstrap Your Own Latent, BYOL）引入非对称或协同感知项，防止约简为该特征值问题，从而逃逸谱天花板。
**非谱方法对非线性稳健**：在具有受控非线性耦合的合成数据上，所有方法在线性机制中均能恢复信号，但谱方法随非线性增加迅速退化，非谱方法退化较慢并在强非线性下保持显著更高的典型余弦（canonical cosine）。在真实生物数据中，靠近谱解的方法不一定获得高SIS，而若干非谱方法虽偏离线性最优却获得更高SIS，与整合增益源于生物不匹配或分辨率效应相一致。
**缩放分析揭示单模态微调比对齐更样本高效**：研究人员逐步微调GEX编码器（1%至100%下游数据）同时保持图像编码器冻结，比较单模态适应与冻结多模态融合。在肺微环境分类中，从冻结特征到1%微调即大幅提升F1 Macro，此后性能基本饱和；微调GEX编码器在所有训练比例下均匹配或超过多模态基线（Concat与CoMM）。细胞类型组成回归呈类似模式。微调后SIS在两个任务中一致为负，表明融合表征未超越最佳单模态表征。在胸腺数据集中，由于分辨率不匹配诱导跨模态依赖，CoMM在所有微调比例下保持稳定性能与一致正SIS，表明整合方法提供超越单模态适应的附加价值。乳腺癌数据集行为更接近肺数据集。综上，单模态充分时适应主导专家最为样本高效；跨模态依赖时多模态整合可暴露单模态精炼无法触及的互补信息。
**讨论与结论**
讨论部分指出，构建跨生物尺度预测细胞功能的计算模型需要的不仅是聚合多模态测量，而是生物综合——结合互补视图以解决任何单一模态内无法解决的模糊性。当前评估范式常将对齐（恢复共享结构）与整合（使互补信息联合可及）混为一谈，造成实践盲点：简单融合目标可能看似有效，实则主要传播最强单模态信号。SIS作为多模态学习的诊断工具，通过形式化对齐与整合的区分，揭示了强基准性能可在模型有效依赖单一主导模态时出现。理论分析识别了冻结骨干加可学习融合接口加线性探针评估这一广泛使用工作流中的谱天花板机制：冻结编码器固定各模态几何，许多标准融合目标约简为最大化线性交叉协方差，偏向提取预训练专家中已存在的线性冗余。这一天花板特定于冻结编码器机制与主要使用线性度量评估跨模态对齐的常见实践。实证上，对齐与整合的区分转化为多模态模型设计的具体原则：在冗余主导机制中，单模态微调是样本效率最高的路径；在多模态建模的承诺在于模糊性或分辨率不匹配将任务相关信息分布于各模态的机制中，仅对齐不足以应对，协同感知整合变得有竞争力。研究确立了支配多模态学习的两种信息机制——单模态充分机制（SIS?0）与跨模态依赖机制（SIS>0），SIS作为区分二者的诊断工具。虽然在空间组织学应用中进行了重点研究，但在其他多组学设定中评估SIS仍是重要方向。最终，研究工作主张多模态学习从强制对应转向实现生物综合：跨生物尺度综合信息的模型不能仅通过强制模态相关来构建，而需要保留各模态独特结构同时使涌现属性通过交互可及的目标。研究人员引入SIS作为多模态学习中信息机制的诊断探针，并证明协同感知整合目标如CoMM在跨模态依赖设定中可优于对齐目标。这一贡献为整体建模细胞状态时何时优先单模态精炼与何时优先多模态整合提供了实践指导。
