基于Transformer混合模态自回归模型的异质性医疗数据分层聚类分析

推荐：本研究针对医疗数据异质性强、模态混合且存在缺失值的临床痛点，开发了基于Transformer的Med-ROAR分层聚类模型。通过随机顺序自回归编码技术，实现了对自闭症谱系障碍(ASD)和ICU患者混合模态数据(表格+时序)的无偏差聚类，发现传统距离度量方法难以捕捉的高层级临床亚群，为精准医疗提供了新范式。

　　

医疗数据如同复杂的拼图——患者记录往往包含表格数据、时间序列、影像等多模态信息，且常存在大量缺失值。更棘手的是，像自闭症谱系障碍(ASD)这类疾病表现出惊人的临床异质性：有的患者语言能力严重受损，有的则表现为社交障碍，还有的伴随严重胃肠道症状。传统聚类方法如层次聚类(Hierarchical Clustering)或K-means，要么无法处理混合模态数据，要么对缺失值敏感，导致临床亚群识别效果欠佳。

针对这一挑战，研究人员开发了Med-ROAR模型。这个创新框架的核心是"随机顺序自回归编码"(Random Order AutoRegressive, ROAR)机制——就像让AI医生以任意顺序阅读病历片段，却能自动归纳出症状间的深层关联。模型采用改进的Transformer架构，通过自注意力机制捕捉跨模态特征，将患者数据编码为分层离散嵌入。在14.7万ASD患者和5万ICU患者数据测试中，相比传统方法，其发现的亚群临床一致性提升显著：例如在ASD数据中识别出语言能力特征高度一致的亚群，这些患者在Ward linkage层次聚类中却被分散在不同簇。

关键技术包括：1) 混合模态Transformer编码器，支持表格与时序数据联合处理；2) 随机顺序自回归解码器，强制模型学习全局语义而非局部模式；3) 层次化离散嵌入空间构建。研究采用Simons SPARK自闭症数据集和MIMIC-IV ICU数据集验证，前者包含丰富的行为量表数据，后者涵盖生命体征时序记录和实验室指标。

方法学创新
Med-ROAR通过三阶段实现聚类：首先用模态不可知(Modality-agnostic)的嵌入层统一编码各类数据；然后通过分层自注意力机制构建树状嵌入空间；最后采用课程学习策略，先学习粗粒度聚类再细化。这种设计使模型对缺失数据具有鲁棒性——即使仅输入入院初期的部分ICU数据，也能预测最终亚群归属。

ASD亚群发现
在SPARK数据集分析中，模型识别出三个层级共42个临床亚群。最引人注目的是发现一个"高功能伴胃肠道症状"亚群(占比6.3%)——这类患者认知测试得分接近正常范围，但普遍存在慢性便秘和睡眠障碍。传统聚类方法因过度关注语言能力维度而未能分离此表型。

ICU多模态验证
使用MIMIC-IV数据时，模型同步处理了生命体征时序数据(如血压波形)和静态指标(如入院肌酐值)。结果显示，在预测脓毒症发展风险时，混合模态聚类比单模态分析AUC提高0.11，证明跨模态特征整合的临床价值。

这项发表于《Journal of Biomedical Informatics》的研究，突破了传统聚类方法在医疗场景的应用局限。Med-ROAR的临床意义在于：1) 为ASD等异质性疾病提供表型精细分型工具，助力靶向临床试验设计；2) 使ICU早期风险分层成为可能，即使检查未完成时；3) 架构设计理念可扩展至基因组学等多组学数据整合。正如作者William Baskett所述："这不是简单的算法改进，而是重新思考如何让AI理解医疗数据的本质复杂性。"未来工作将探索该框架在肿瘤免疫治疗响应预测中的应用。