NACHOS框架：集成嵌套交叉验证与自动超参数优化以提升医学影像深度学习模型性能评估的可靠性与可量化性

本文推荐一种集成嵌套交叉验证（NCV）、自动超参数优化（AHPO）与高性能计算（HPC）的NACHOS框架，显著降低医学影像深度学习模型性能估计方差，并提供不确定性量化。该框架通过多数据集验证（如胸部X射线与OCT影像），证明其在提升模型评估严谨性与部署可靠性方面的重要价值。

　　

Highlight

Overview of the NACHOS and DACHOS frameworks

本研究提出两种互补框架：NACHOS与DACHOS，旨在通过自动化与标准化流程提升医学影像深度学习的性能评估与模型生成质量。NACHOS（嵌套交叉验证与自动超参数优化结合超级计算）聚焦于通过嵌套交叉验证（NCV）与自动超参数优化（AHPO）实现性能评估。其通过将所有数据轮换作为测试集以降低方差，并提供性能估计的不确定性量化。

Reduced-variance estimation of the test performance with uncertainty quantification using the NACHOS algorithm

表3展示了NACHOS算法在胸部X射线库中执行心脏肥大检测任务的性能评估结果。数据被划分为四个折叠（对应四个数据集）。NACHOS包含三个嵌套循环：交叉测试（CT）循环、AHPO循环与交叉验证（CV）循环。当F₀作为测试折叠时，超参数配置h₂展现出最优交叉验证性能，其具体表现为验证集准确率达89.2%，而测试集AUC为0.914±0.022。

Discussion

医学影像领域中的机器学习模型性能评估一直面临严峻挑战。尽管交叉验证常被用于训练集与验证集之间的数据轮换，大多数研究仍依赖单一固定测试集，这可能导致性能估计偏差与方差未被充分量化。NACHOS通过整合NCV与AHPO，在多个数据分区策略下系统性地减少了这一局限性，并为模型泛化性提供了更可靠的统计基础。

Conclusion

NACHOS将NCV、AHPO与HPC整合为自动化工作流。NCV通过轮换所有数据至测试集来降低并量化性能估计方差（需注意该方差降低针对评估过程而非模型在新临床环境中的实际表现）。AHPO通过搜索最优超参数提升模型性能，并避免了手动调参在多个测试折叠中的不可行性。