基于注意力稀疏路由机制增强多任务学习的智能糖尿病预测研究

这篇综述提出了一种基于编码器-解码器结构和增强多任务学习（MTL）模型的智能糖尿病早期识别方法。通过多层自注意力机制自动提取特征表示，结合专家模块增强和稀疏路由（SR）机制，将每个专家视为弱分类器并利用dropout减少网络参数，动态分配样本至最优专家网络，在TIANCHI和NHANES数据集上验证显示其显著提升糖尿病风险预测性能（AUC 0.835 vs基线模型）。

　　

引言

糖尿病已成为全球严峻的公共卫生问题，国际糖尿病联合会预测到2045年全球患者将达7亿。传统方法依赖手工特征选择和单一任务建模，存在适应性不足和计算效率低的问题。本研究通过整合Transformer架构与多门混合专家（MMoE）框架，实现血糖水平和疾病风险的双任务协同预测。

方法创新

特征提取层：采用编码器-解码器结构，编码器通过自注意力机制（公式1-3）生成上下文相关的嵌入向量，解码器聚焦关键特征。输入序列X经多层注意力计算后输出高阶联合表示（公式4-6），其中Query（Q）、Key（K）、Value（V）矩阵的维度d_k决定注意力权重分布。

共享层优化：改进的MMoE模型将专家网络拆分为多个弱分类器子网络（图5），通过稀疏路由（公式11-13）仅激活Top K专家，降低75%计算量。动态路由机制结合两阶段训练策略：初期密集模式训练所有专家，后期稀疏模式专精化学习，缓解专家极化问题（图6）。

实验验证

数据预处理：TIANCHI数据集42项特征中筛选15个关键指标（如甘油三酯、γ-GGT），NHANES数据采用均值/中位数填补缺失值。通过Lasso回归（公式21）和热图分析（图8）确认AST、ALT与血糖呈负相关，而甘油三酯驱动正输出（图12）。

性能对比：在血糖预测任务（MSE 1.01）和风险分类（AUC 0.835）上均超越基线模型（表3）。年龄分层显示中老年群体关键因子差异：甘油三酯对中年人更重要，ALT对老年人更显著（图13-14）。Bootstrap验证显示95%置信区间稳定（图20）。

应用展望

当前模型在非裔等群体泛化性有限，且依赖GPU资源。未来可扩展时序Transformer（如Transformer-XL）整合基因组和穿戴设备数据，开发可解释的临床决策工具。该研究为慢性病智能诊疗提供了特征自动提取与动态计算分配的新范式。

（注：全文严格依据原文实验数据及图表结论缩编，未添加非原文信息）