深度学习图像分类器的全面评估基准：揭示模型鲁棒性缺陷与改进方向

针对当前深度学习模型评估方法单一、难以全面检测模型鲁棒性的问题，研究人员提出了一种综合性评估基准，通过整合clean/corrupt/adversarial样本和unknown class rejection测试，发现现有SOTA模型在跨域数据中存在严重脆弱性，为开发真正可靠的AI系统提供了关键方法论。

　　

在人工智能蓬勃发展的今天，深度学习（DL）图像分类器已在实验室环境下取得惊人准确率，但现实世界的复杂场景却让这些"学霸"频频翻车——光照变化会让它认错车牌，轻微对抗扰动能诱使其将熊猫识别为长臂猿，甚至完全无关的噪声图像也能获得高置信度的荒谬分类。这种脆弱性已成为制约AI落地医疗诊断、自动驾驶等安全敏感领域的关键瓶颈。英国伦敦国王学院（King's College London）的研究团队在《Neural Networks》发表的研究直指问题核心：当前评估体系就像"用单项考试衡量全面素质"，仅关注标准测试集（IID）准确率而忽视corrupt样本、adversarial攻击和unknown class rejection等多维指标，导致模型在真实场景中暴露严重缺陷。

研究采用创新性的统一评估框架，通过构建包含5大类测试数据（clean/corrupt/adversarial/novel class/unrecognizable images）的基准体系，开发出能同时衡量分类准确率与样本拒绝能力的DCA（Detection-Corrected Accuracy）指标。关键技术包括：1）系统整合ImageNet-C等12个标准数据集构建多维测试环境；2）采用ODIN算法实现统一阈值下的unknown class rejection；3）引入对抗样本生成技术（PGD/FGSM）评估模型安全性。

【Assessment method】
研究提出DCA指标突破传统评估局限：当设定95% clean样本接受阈值时，ResNet-50在corrupt数据上DCA骤降至46.2%，对抗样本上仅11.7%，揭示现有模型对输入变化的极端敏感。更严峻的是，模型对novel class样本错误接受率达38.9%，说明其无法有效识别未知类别。

【Results】
实验覆盖ResNet/ViT等9种主流架构，发现：1）数据增强虽提升clean准确率1.2%，但corrupt DCA反降3.5%，证实性能提升可能伴随鲁棒性损失；2）对抗训练使PGD攻击成功率从89%降至31%，但导致clean DCA下降14.3%，印证安全性与准确性存在trade-off；3）专门优化的OSR方法在novel class检测中AUROC达92.1%，但会误拒12.8%的corrupt样本，显示不同鲁棒性维度间存在冲突。

【Discussion】
研究通过决策边界可视化（图3）阐明：传统评估仅验证中心区域分类性能，而新基准能全面检测边界区域的泛化能力。特别值得注意的是，在医疗影像等高风险领域，模型对对抗样本的脆弱性（<11% DCA）可能造成致命误诊，而未知类检测缺陷会导致系统对新型病变毫无预警能力。

这项研究的意义在于首次建立起连接IID/OOD泛化、对抗鲁棒性和开放集识别的统一评估范式，其提出的DCA指标克服了传统metrics（如AUROC）忽视分类准确性的缺陷。实证结果表明，当前被认为SOTA的模型在综合评估中表现堪忧，这既敲响了AI安全警钟，也为未来研究指明了方向——真正的稳健模型需在accuracy-corruption-adversarial-unknown class四维指标上协同优化。该基准已被集成至开源平台（codeberg.org），将成为推动下一代可信AI发展的重要基石。