《Chemosensors》：Development and Evaluation of a Urinary Na/K Ratio Prediction Model: A Systematic Comparison from Attention-Based Deep Learning to Classical Ensemble Approaches
Emi Yuda,
Itaru Kaneko and
Daisuke Hirahara
编辑推荐：
本研究旨在开发并严格评估利用四种易获取的生理变量——体重（Body Weight）、收缩压（Systolic Blood Pressure, SBP）、舒张压（Diastolic Blood Pressure, DBP）和脉搏率（Pulse Rate）——估算
本研究旨在开发并严格评估利用四种易获取的生理变量——体重（Body Weight）、收缩压（Systolic Blood Pressure, SBP）、舒张压（Diastolic Blood Pressure, DBP）和脉搏率（Pulse Rate）——估算尿液钠钾比值（Urinary Sodium-to-Potassium Ratio, Na/K Ratio）的机器学习模型。研究人员对82名参与者的数据集采用嵌套交叉验证（Nested Cross-Validation）框架以确保严格的泛化能力评估。首先设计了一种基于注意力机制的深度学习模型MIDIP（Multi-Integrated Deep Ion Prediction）。尽管MIDIP训练误差降低，但嵌套验证显示其性能不稳定，表明在小样本设定下存在过拟合。随后比较了经典机器学习模型及集成策略。在所有配置中，随机森林（Random Forest, RF）、梯度提升（Gradient Boosting, GB）与线性回归（Linear Regression）的简单平均集成（Group A）取得了最佳性能（MAE = 1.756, RMSE = 2.349, R2= 0.390）。相比之下，引入Transformer模型（Group B）降低了性能（MAE = 1.855, R2= 0.294）。自适应加权集成（Adaptive Weighted Ensemble, AWE）亦未提高精度（Group A: MAE = 1.836, R2= 0.266; Group B: MAE = 2.133, R2= 0.035）。结果表明，在有限样本条件（N=82）下，模型简洁性与等权集成较基于注意力机制或自适应加权深度架构提供更优的泛化能力。该研究强调了在小数据集开发临床适用预测模型时严格验证与控制模型复杂度的重要性。
论文解读：尿液Na/K比值预测中经典集成方法与注意力深度学习模型的系统比较研究
研究背景与目的
尿液钠钾比值（Urinary Na/K Ratio）是反映饮食钠钾平衡及心血管调节的重要生理指标，较单一离子浓度更能预测血压及心血管疾病风险。传统24小时尿样收集繁琐且昂贵， spot urine（随机尿样）检测虽具可行性但仍需生化测量设备，不便大规模或连续监测。既往研究多依赖统计回归，缺乏现代机器学习尤其是深度学习架构在此类小样本生物医学数据上的系统比较。本研究由Yuda E., Kaneko I., Hirahara D.开展并发表于《Bioengineering》，旨在利用最少生理变量（体重、收缩压SBP、舒张压DBP、脉搏率）构建尿Na/K比预测模型，系统对比注意力机制深度学习（MIDIP及Transformer变体）与经典机器学习及集成策略的性能，明确小样本条件下模型复杂度与泛化能力的关系。
关键技术方法
研究采用公开数据集（JACIII 2023）含82例完整记录受试者，目标变量尿Na/K比经log1p变换稳定方差，输入特征标准化。对比模型包括：线性回归（Linear Regression）、岭回归（Ridge Regression）、Lasso回归、弹性网络（Elastic Net）、随机森林（Random Forest, RF）、梯度提升（Gradient Boosting, GB）及两种MIDIP架构（Wide & Deep + Attention及Transformer Encoder将4个生理特征视为token并采用bagging）。集成策略含等权平均（Simple Averaging）、自适应加权集成（Adaptive Weighted Ensemble, AWE基于Out-of-Fold残差优化权重）及Stacking（元学习器为Ridge）。所有模型通过嵌套交叉验证（Nested Cross-Validation，外层评估、内层Optuna超参数调优）评估，指标为MAE、MAPE、RMSE及R2。Phase 3专门比较仅含经典模型的Group A与加入Transformer的Group B。
研究结果
3.1. Phase 1: Preliminary Evaluation（初步评估）
简单训练-测试划分下，MIDIP表现最优（MAE=1.841），暗示注意力架构可捕捉生理变量与Na/K比的非线性关系，但此阶段无严格超参数隔离易致乐观偏差。
3.2. Phase 2: Rigorous Performance Evaluation Using Nested Cross-Validation（嵌套交叉验证严格评估）
采用嵌套交叉验证后，深度学习模型性能下降且跨折方差大；线性回归取得最低MAE（1.821）。复杂模型在每折约52个训练样本下易过拟合，经典模型偏差-方差权衡更优，证实小样本需谨慎控制模型容量。
3.3. Phase 3: Final Evaluation of Ensemble Contributions（集成贡献最终评估）
Group A（RF+GB+Linear Regression简单平均，Equal-A）达最佳性能：MAE=1.756，RMSE=2.349，R2=0.390。Group B（Group A+Transformer简单平均）性能退化（MAE升至1.855，R2降至0.294）。AWE亦未优于等权集成（Equal-A: MAE=1.836; Group B-AWE: MAE=2.133, R2=0.035）。Wilcoxon检验无显著差异（p=0.306），归因于测试集过小（N=17）统计效能不足。表明Transformer在该数据约束下未提供有益信息反增不稳定性。
3.4. Phase 4: Extended Performance Analysis（扩展性能分析）
以年龄组为目标的辅助分析显示随机森林R2=0.390（加自回归特征达0.45），优于基线，佐证树集成在此类数据之稳健性。
讨论与结论
研究人员指出，小样本（N=82）下经典模型等权集成优于注意力基深度架构，主因高容量模型拟合噪声致泛化间隙扩大——学习曲线显示深度学习训练损失持续降而验证损失早停且波动大，经典模型训练-验证误差差更小。Transformer加入集成（Group B）一致劣于Group A，说明低维小数据引入复杂子模型可能放大方差。等权集成胜AWE与Stacking，符合"集成陷阱"——相关误差结构下标优化权易过拟合验证噪声。MIDIP虽未获最优性能，但其注意力加权概念对探索生理变量间非线性交互具理论价值，未来更大队列或多模态输入可能彰显优势。
结论（Conclusion）：
在严格小样本条件（N=82）下，随机森林（Random Forest, RF）、梯度提升（Gradient Boosting, GB）与线性回归（Linear Regression）之等权平均集成取得最稳定准确预测（MAE = 1.756, RMSE = 2.349, R2= 0.390）。注意力基MIDIP（Multi-Integrated Deep Ion Prediction）及Transformer架构因过拟合未优于经典方法，且其纳入集成损害性能。研究表明有限数据下模型简洁性与严格嵌套交叉验证（Nested Cross-Validation）评估比架构复杂更重要，为小样本生理预测建模提供方法学指引。
