基于改进粒子群优化算法的重要性引导特征融合时间-上下文对比学习

《Engineering Applications of Artificial Intelligence》：Temporal–contextual contrastive learning with importance-guided feature fusion using an improved particle swarm optimization algorithm

　　

摘要

癌症亚型的分类对于个体化治疗至关重要。利用从受试者收集的多模态数据进行亚型预测是可行的。多模态癌症数据中包含隐藏的联合信息，现有的基于向量的融合算法无法充分利用这些信息。我们提出了一种多模态时序上下文对比学习与重要性引导特征融合（MMTCLIF）网络，该网络采用基于奇异值分解的双向长短期记忆自编码器（BiLSTM-AE）来实现多模态癌症数据间序列关系的优异表征。我们使用增强的粒子群优化（PSO）算法来调整MMTCLIF网络的训练超参数，以提高癌症分类性能。我们的基于人工智能的方法能够有效地提取数据特征并整合自监督对比学习，优化数据使用而无需大量标注数据。在来自癌症基因组图谱（TCGA）的五个多组学癌症数据集上的广泛实验表明，MMTCLIF的分类准确率范围为0.8824至0.9341，宏平均曲线下面积（AUC）值介于0.9550至0.9869之间，始终优于竞争方法。消融实验验证了所提框架中每个主要组件的有效性，确认了重要性引导特征选择、时序与上下文对比学习以及自适应超参数优化的集成共同促成了更优的癌症亚型分类性能。

引言

测序技术的进步为多种复杂疾病产生了丰富的多组学数据，为研究人员在分子层面理解这些疾病提供了关键见解（Boehm等，2022）。整合多种组学数据对于阐明致病通路和改善患者群体的精准诊断和治疗方案至关重要（He等，2023）。在计算机辅助诊断等领域有效利用计算技术强调了其处理和分析复杂数据集的能力（Borlea等，2022），并突出了其在整合多组学数据以实现精确疾病诊断方面的潜力，这也是当前研究的重要关注点（Ma等，2020）。

测序技术的进步使多个生物数据库（如癌症基因组图谱（TCGA）（Cancer Genome Atlas Research Network, 2008））积累了针对不同恶性肿瘤的大量多组学数据（如miRNA表达、DNA甲基化）。这些丰富的数据为通过整合和分析多组学数据实现癌症亚型分类提供了优秀的解决方案（Cai等，2024）。整合多种多模态数据源的有效性已在癌症亚型分类及许多其他任务中得到证明（J. Duan等，2024）。鉴于此前对癌症亚型的认识有限，聚类方法被广泛用于亚型识别（Nidheesh等，2017）。一种简单的方法是对每个组学数据集分别聚类，或将所有组学数据合并为一个统一矩阵。LRAcluster（Wu等，2015）通过整合概率模型执行低秩近似来计算拼接矩阵。然而，当前方法无法充分利用各组学数据集内部包含的内在结构以及不同组学数据之间的关系。

无论使用何种特定的多模态融合技术，其根本目标始终是达到优于单模态数据可达到的预测效果（Cahan等，2023）。这是由于不同模态数据中存在重叠的致病要素，而这些要素无法被基本的融合技术完全封装。这些深刻影响癌症生长的要素对于理解疾病至关重要。例如，具有特定基因突变的人会生成不同的RNA，随后进行表达，导致癌细胞内部和周围形成独特的细胞微环境。多模态数据涵盖了肿瘤的病理生理学，揭示了促进疾病发展的复杂生物学过程和连接。对此数据进行彻底分析可能提供对癌症通路的深刻见解，并可能导致更加个体化和有效的治疗（Qiu等，2024）。多模态癌症数据融合研究可分为三种主要类型：早期融合、晚期融合（决策融合）和中间融合（Huang等，2022）。

早期融合涉及在分析之前将来自多种模态的数据拼接为单一向量，随后用作特征提取或预测的输入。这些方法作为早期多模态算法的代表，主要适用于组织良好的模态数据，但对非结构化数据效果较差。诸如DeepOmix（Zhao等，2021）和SALMON（Huang等，2019）等技术通过合并多模态数据向量并通过全连接网络进行处理来实现早期融合。这种方法促进了多模态信息的非线性融合，产生用于预测的多模态特征向量。晚期融合或决策融合涉及使用各自的单模态数据完成预测任务，随后合并各模态的预测结果（Lu等，2023）。这些方法适用于具有异构结构的多模态数据，因为它们不需要检查不同模态数据之间的内在关系。然而，它要求每个单模态具有优越的预测性能。MOGONET（Tong Wang等，2021）利用视图关联知识发现网络整合各模态的预测结果以提供最终预测。中间融合涉及在对多模态数据进行表征学习之后再整合多模态属性，提供了灵活且适应性强的结构（Shao等，2023，Zhang等，2025，Wu等，2025）。中间融合方法的预测效果取决于初始表征的质量和融合过程的效率，使其成为更复杂的研究领域。一个实例是MMDynamics（Zongbo Han等，2022），该方法使用多层感知机（MLP）对单模态数据进行表征学习，探索这些模态特征向量的各种线性组合进行融合，在相对简单的架构下相比晚期融合产生了更优的预测结果。

随着多模态癌症数据研究的推进，出现了若干新挑战。传统的中间融合技术如向量操作虽然可以合并多模态数据，但难以从模态特征中提取进一步的见解，从而阻碍了预测性能的进一步提升。我们必须利用深度学习从多模态特征中提取新见解，包括数据中隐藏的联合信息。此外，医疗检测技术的进步导致了维度不断增加的多模态数据日益丰富。依赖既有医学知识的算法不适合新型模态数据或疾病类别。利用人工智能进行数据处理注定成为主导趋势。高级模型用于增强的时序和上下文对比学习需要探索多个可能有益的方面。这一探索对于实现降维和理解多模态数据至关重要。

训练深度神经网络由于可训练参数数量庞大，需要大量时间进行参数调整，使该过程既费工又耗时（Guo等，2023）。为了解决这一繁琐问题，越来越多的优化技术被用于自动识别合适的网络设置。混合蜜蜂算法已被用于优化CNN-LSTM，提高了图像识别的准确率（Alamri等，2023）。灰狼优化（GWO）算法已被用于优化CNN的网络参数（Mohakud和Dash，2022），该方法的有效性可在多类数据集上得到证实。初步阶段是在多目标框架内使用基于进化的粒子群优化（PSO）技术来处理Paul等（2021）中提出的新特征集合。后续步骤评估新选择的特征与先前选择的特征之间的冗余性，最后阶段识别并移除在纳入新特征后不再有意义贡献的先前特征。此外，Dhal和Azad（2021）提出了一种结合粒子群优化（PSO）与灰狼优化（GWO）的混合多目标特征选择方法。该方法包括使用粒子群优化进行初始全局搜索，随后进行局部搜索。此外，基于PSO的方法中粒子搜索模式过于均匀，无法维持种群多样性。在解决高维特征空间中的特征选择问题时，这些方法容易过早收敛和收敛缓慢，可能导致较差的解（X. Wang等，2024）。为避免迭代停滞，该方法结合了改进的PSO和GWO变体，并在开发阶段对种群因子进行调整。尽管相关研究成果丰富，但结合粒子群优化与自适应加权延迟速度（PSO-AWDVTA）及深度学习的方法研究甚少。神经网络已被证明在处理高维信息方面优于标准机器学习技术。本研究将PSO-AWDVTA与时序上下文对比学习及重要性引导特征融合网络相结合，以获得精确属性。

近年来，用于融合多模态特征的深度学习技术相比传统向量操作融合方法展现出了增强的预测性能（Tang等，2023）。然而，关于所需的神经网络层数的确切数量尚无定论。目前，基于深度学习的多组学数据整合模型已取得显著进展，但仍面临各种挑战。这些模型可分为两类。第一种方法通过同时将不同组学数据输入单一编码器来整合它们，该编码器在低维空间中封装多模态数据的联合分布。然而，由于多组学数据的巨大变异性（Li等，2023），这些模型往往侧重于从更强的模态中学习特征，从而忽视了较弱的模态，导致融合效果不佳。第二种方法为每个组学模态使用不同的编码器，分别获取各模态的特征分布，随后整合它们的低维表示。该技术保持了各模态的独立性；然而，其设计未考虑可能的跨模态时序联系，因此限制了其表征多模态协同作用的能力，可能影响模型效果。

自监督学习的最新进展在利用数据内在结构分析高维生物医学数据方面展现出巨大潜力，而无需大量人工标注。在这些方法中，对比学习已成为一种强大的表征学习范式，它在最大化同一样本不同视图间一致性的同时，分离不同样本的表示。在多组学领域，多项研究表明对比目标可以有效地捕获异构组学模态间的互补生物学信息。例如，对比多模态编码器（CMME）通过带有动态间隔损失的监督对比框架整合多组学数据，通过学习模态间的协同作用同时减轻对主导特征的偏差，在癌症分类、聚类和生存预测中取得了优越性能（Yinghua等，2025）。类似地，MCRGCN方法在样本相似性网络上采用监督图对比学习，利用对比损失保持组学衍生特征间的一致性并促进跨组学交互，显著提高了癌症亚型分类准确率（Chen等，2024）。DeepMOIS-MC框架引入了基于对比学习的多组学癌症亚型分类方法，利用深度广义典型相关分析学习最大化各视图间相关性的共享表示，并证明了其对噪声特征的增强鲁棒性（Ji等，2023）。其他近期研究结合了注意力机制、图结构和自监督目标来改善癌症预后预测和分子亚型发现（Li等，2025，Chai等，2024）。这些方法证明了对比学习在多组学整合中的有效性；然而，大多数主要关注跨模态对齐，往往忽视组学特征间的冗余减少或未能联合建模样本级和上下文关系。

与此并行，超参数优化在医疗人工智能中变得越来越重要，因为深度学习模型的性能对网络架构和训练配置高度敏感。当搜索空间较大时，传统的网格搜索和随机搜索变得计算成本过高。贝叶斯优化因其样本效率而被广泛采用；然而，在生物医学应用中常遇到的高度非凸和噪声优化景观中，其性能可能会下降。基于种群的优化方法，特别是粒子群优化（PSO），由于其强大的全局搜索能力和易于实施的特点，在医学图像分析、疾病预测和生物信息学任务中展现出有竞争力的性能（Atugoda和Fernando，2024）。最近的变体结合自适应惯性权重、动态加速度系数和混合探索策略，进一步改善了收敛行为和解决方案质量。

例如，混合自适应狼-粒子群优化（HAWPSO）算法协同融合了粒子群优化（PSO）的全局探索能力与灰狼优化器（GWO）的分层局部搜索能力，并结合双种群协同进化机制、非线性自适应惯性权重策略以及量子隧穿算子以逃离局部最优解（Chen and Xie, 2025）。然而，现有的PSO方法通常将所有特征视为同等重要，未能明确利用多组学数据集中可获得的模态特异性信息。尽管取得了上述进展，多组学癌症亚型分类中仍存在若干重要挑战。首先，大多数现有的对比学习方法主要关注跨模态对齐或表示一致性，而对异质组学模态间的特征冗余与重叠问题考虑不足。其次，许多研究依赖于有监督学习范式，因此无法充分利用大规模多组学数据集中丰富的无标签信息。第三，尽管超参数优化已得到广泛研究，但当前的优化策略在搜索过程中极少纳入模态特异性指导，限制了其适应异质组学特征的能力。此外，在多组学表示中结合样本级上下文关系与伪时间依赖性的建模仍缺乏深入探索。为应对上述局限性，本研究提出了多模态时序-上下文对比学习与重要性引导特征融合（MMTCLIF）框架。该方法采用基于Relief的重要性引导特征，以减少多组学模态间的冗余并进行时序-上下文对比学习。随后引入自监督的时序-上下文对比学习策略，以联合捕获样本间的伪时间依赖性和上下文关系。此外，本研究开发了一种模态感知的粒子群优化算法——自适应加权延迟速度与第三吸引子（PSO-AWDVTA），通过在搜索过程中纳入模态特异性指导来自动优化模型超参数。通过这些组件的集成，所提出的框架旨在提升多组学表示学习与癌症亚型分类性能，同时在异质数据集上保持鲁棒性。本研究的主要贡献如下：•我们提出了一个用于癌症亚型分类的无监督多模态时序-上下文对比学习与重要性引导特征融合（MMTCLIF）框架。该框架整合了基于Relief的重要性引导特征选择、SVD-BiLSTM-AE表示学习以及时序-上下文自监督对比学习，以减少特征冗余、学习判别性潜在表示并提升多模态特征融合效果。时序对比模块对有序特征表示间的上下文依赖关系进行建模，而非对生物学时间动态进行建模。•我们开发了一种自适应超参数优化算法——自适应加权延迟速度与第三吸引子的粒子群优化（PSO-AWDVTA），用于自动优化MMTCLIF框架的训练超参数。所提出的优化器改善了全局探索与局部利用之间的平衡，减少了手动超参数调优需求，同时提升了分类性能。•我们在五个公开的TCGA多组学癌症数据集上对MMTCLIF框架进行了全面评估，数据集涵盖mRNA表达、DNA甲基化和miRNA数据。实验结果表明，MMTCLIF consistently优于传统机器学习方法和最近的最先进的多组学集成方法。广泛的消融实验、统计显著性检验和计算复杂度分析进一步验证了所提出框架各主要组件的有效性与鲁棒性。表1提供了本研究中使用的缩略语的综合汇总，并附有完整定义。该参考旨在提高可读性并确保术语清晰，使读者能够轻松理解与所提出框架相关的专业术语。章节摘录相关工作鉴于生物机制的复杂性和癌症的异质性，多组学测序数据被广泛用于精准癌症分类与肿瘤图谱分析。近期研究表明，将癌症分类为分子亚组对于精准肿瘤学至关重要（Mateo et al., 2022）。一个可靠的癌症分子亚型分类器对于早期检测、预后评估以及发现有前景的治疗药物是必不可少的。在过去几十年中，所提出的方法如图1所示，我们所提出的MMTCLIF技术包含三个组件：数据预处理、重要性引导特征提取以及自监督对比学习。实验与结果本项研究进行了全面测试以评估所提出的MMTCLIF的有效性。结论本研究提出了MMTCLIF，一种用于多组学癌症亚型分类的自监督多模态时序-上下文对比学习框架，带有重要性引导特征融合。该框架整合了基于Relief的特征选择、SVD-BiLSTM-AE表示学习以及时序和上下文对比学习、多模态特征融合以及基于PSO-AWDVTA的自适应超参数优化，从异质多组学数据中学习判别性表示。CRediT作者贡献声明Alphonse Houssou Hounye：撰写-审阅与编辑，撰写-初稿，可视化，验证，方法学，调查，正式分析，数据整理，概念构思。Baixin Yao：撰写-初稿，调查，数据整理，可视化，方法学。Dikai Niu：撰写-初稿，可视化，方法学，调查。Abidi Mimi Venunye：撰写-初稿，验证，方法学，调查。ShaoTao Jiang：撰写-初稿，数据声明的利益冲突作者声明，他们没有已知的竞争性经济利益或个人关系可能会影响本文所报告的工作。致谢作者感谢中国湖南省自然科学基金（项目编号：2023JJ60506）、中南大学交叉学科研究前沿项目（项目编号：2023QYJC028）、中国湖南省十大学术研究颠覆性技术项目（项目编号：2022GK3003）以及中国湖南省科技厅重点研发计划（项目号：2023DK2003）以及湖南省自然科学基金的支持。Alphonse Houssou Hounye|Baixin Yao|Dikai Niu|Abidi Mimi Venunye|ShaoTao Jiang|Shusen Yang|Yuelin Huang|Yanqi Li|Wentao Li|Muzhou Hou|Li Xiong中南大学第二附属医院普外科，湖南长沙人民路139号，邮编：410011，中国