《Frontiers in Big Data》：From benchmark to user: an end-to-end evaluation audit of an AI-based oral health screening prototype
编辑推荐：
背景：人工智能（AI）在口腔筛查中的表现通常通过公共基准上的聚合检测指标来评判，而这些基准的分区、标签及其与用户的相关性很少被检查。
方法：研究人员审计了一个原型，该原型结合了用于六种病症的YOLOv8m检测器（1500张测试图像）、一个DenseNet16
背景：人工智能（AI）在口腔筛查中的表现通常通过公共基准上的聚合检测指标来评判，而这些基准的分区、标签及其与用户的相关性很少被检查。
方法：研究人员审计了一个原型，该原型结合了用于六种病症的YOLOv8m检测器（1500张测试图像）、一个DenseNet169组织病理学网络和一个ResNet18路由器。在预先指定的计划下，研究人员测量了跨分区的重复，测试了去除重复测试图像与10,000个匹配对照的比较，比较了重复副本的标签和预测，比较了库版本，并让每张测试图像通过应用管道运行。
结果：训练图像的近重复占测试图像的17.3%和验证图像的17.1%（下限）。去除重复测试图像使平均精度（mAP）@0.5改变了+0.001（95%置信区间[CI] ?0.012至+0.014）。只有22%的重复照片在两个副本上具有相同标签；探索性分析提示模型记住了在训练中见过的方向的训练标签。一次库更新使mAP@0.5:0.95移动了?0.012，而预测完全相同。路由器拒绝了23%的域内照片和51%的溃疡照片，因此尽管溃疡的基准召回率最高（0.91），其每图像敏感性仅为0.36。一个类别映射缺陷（2026年9月仍在公共演示中活跃）给73%的发现赋予了错误名称。组织病理学分类器将每张图像分类为阳性；其标签并非诊断。
结论：重复损害了基准的独立性，但未可检测地改变聚合mAP；改变报告或显示内容的缺陷存在于标签、评估软件和管道中。评估应验证分区和标签、固定库版本，并端到端测试部署的系统。
口腔疾病影响全球约37亿人，是最常见的非传染性疾病之一。龋齿和牙周病可通过早期干预预防，但疾病负担集中在最缺乏常规牙科检查的人群中。这种差距推动了面向消费者的工具发展，这些工具将计算机视觉应用于智能手机拍摄的口腔照片。此类工具的评估继承了计算机视觉的惯例，通常以均值平均精度（mean average precision, mAP）、聚合精确率/召回率或准确率等指标报告性能，这些指标旨在对基准数据集上的架构进行排名，而非描述面向公众的筛查仪器。临床预测和医学影像的报告指南要求远不止于此，而医学影像人工智能（artificial intelligence, AI）的综述记录了基准结果经常无法在实践中转化的情况。基准数字之下隐含三个假设：测试图像独立于训练图像；标签有效；模型指标描述了部署系统告知用户的内容。这些假设通常被假定而未经检查。针对这一现状，研究人员报告了一个三模型口腔筛查原型的审计，在模型层、管道层和用户输出层三个层面检验这些假设，旨在确定对于一个代码、权重和数据均公开可用的系统，哪些评估主张能够通过验证。
研究人员开展的审计结合了YOLOv8m检测器（用于六种可见病症，1500张测试图像）、DenseNet169组织病理学多任务网络和ResNet18路由器，并通过Python Web应用提供服务。两个数据集均为Roboflow Universe上的公开项目，遵循CC BY 4.0许可。临床照片数据集包含10,000张带边界框标注的图像，平台分区为7,000训练、1,500验证、1,500测试。组织病理学数据集包含228张源图像，通过每个训练图像的三个增强版本扩展为544张（474/44/26）。审计按照预先指定的计划进行：测量跨分区重复；测试去除重复测试图像的影响，与10,000个匹配对照比较；比较重复副本的标签和预测；比较评估库版本；并将每张测试图像通过应用管道运行。
该研究的主要结论包括：训练图像的近重复占测试图像的17.3%和验证图像的17.1%（均为下限）；去除259张重复测试图像后，mAP@0.5改变+0.001（95%置信区间[confidence interval, CI] ?0.012至+0.014），mAP@0.5:0.95改变+0.0011（95% CI ?0.0074至+0.0096），与匹配对照相比无显著差异；只有22%的重复副本具有相同的标签集；库更新使mAP@0.5:0.95移动?0.012而预测逐位相同；路由器拒绝22.9%的域内图像和51.5%的含溃疡图像；类别映射缺陷导致73.4%的显示发现携带错误名称；组织病理学分类器将每张图像判为阳性。该研究的意义在于，重复损害了基准独立性但未可检测改变聚合mAP，真正改变报告或显示内容的缺陷在标签、评估软件和管道中。这表明评估应验证分区和标签、固定库版本、端到端测试部署系统。
在关键技术方法方面，研究人员使用了两个公开数据集：临床数据集来自Roboflow Universe的SEGP项目（10,000张图像，六种病症边界框标注，7,000/1,500/1,500分区）；组织病理学数据集为同一工作区的第二个项目（544张图像，来自228张源图像，通过增强扩展）。关键方法包括：将每张图像缩小为32×32灰度缩略图，通过均方根（root-mean-square, RMS）差异在八个旋转/反射中取最小来检测跨分区重复，并以全分辨率验证；去除重复的效应通过聚类自助法（10,000次重采样）和10,000个匹配对照集（按主导类别和实例数分层）评估；重复副本的标签和预测通过贪婪框匹配（交并比[intersection over union, IoU]≥0.5）比较；库版本比较使用Ultralytics 8.3.231与8.4.118评估相同缓存预测；系统级验证通过应用自身模块离线复制请求路径，并将全部1,500张测试图像通过管道（含或不含路由器）运行。审计代码在预先指定计划后提交，无模型重训练。
研究结果如下。
3.1 三个分区中的重复：通过内容匹配发现，1,500张测试图像中259张（17.27%）在训练集中有近重复，这些图像承载了23.48%的测试实例。固定对齐匹配仅找到124张，其余135张在反射或180°旋转后才匹配。验证集以类似速率污染，256/1,500张（17.07%）。这些计数是下限。
3.2 去除重复测试图像未可检测地改变聚合mAP：去除259张图像使mAP@0.5改变+0.0010（95% CI ?0.0125至+0.0142），mAP@0.5:0.95改变+0.0011（?0.0074至+0.0096）。与10,000个匹配对照集相比，随机化p值为0.39和0.75。在十个每类召回对比中，仅牙齿变色一个排除零，且有利于非重复图像。
3.3 重复测试图像及其训练副本：只有57/259对（22.0%）具有相同的标签集，两标注的框级F1为0.66。在模型可能见过训练朝向的139对中，预测与训练副本标注的框级F1差异为+0.074（95% CI 0.033至0.113），与测试图像自身标注相比更接近训练副本；在未见过的朝向上差异反转（?0.081；?0.135至?0.032）。这提示在训练时见过的方向上存在标签记忆，但反向差异无法解释。
3.4 评估库在预测不变的情况下改变了指标：在Ultralytics 8.4.118下评估相同的61,159个缓存预测，mAP@0.5改变?0.0042，mAP@0.5:0.95改变?0.0118，而所有预测逐位相同。差异完全来自AP积分方式：8.3.231从最高召回率线性内插到召回率1.0，8.4.118在最高召回率后设为零。
3.5 从基准到用户：实例级召回率从溃疡的0.912到牙龈炎的0.504。在应用检测器和阈值后，报告比例从少牙症的0.685到龋齿的0.912。路由器加入后，拒绝了344/1,500张（22.9%）测试图像和134/544张（24.6%）组织病理图像，但接受了11/128张COCO图像（8.6%）。拒绝率因病症而异，从牙结石的6.1%到溃疡的51.5%。因此，尽管溃疡的基准召回率最高，其图像级敏感性仅为0.365；每5张未报告的溃疡图像中有4张从未被分析。由于没有健康图像，无法估计患者级敏感性和特异性。
3.6 用户面对层的类映射缺陷：部署层的类别顺序与仓库中任何检查点不匹配。模拟修正前路径，1,994个显示发现中1,464个（73.4%）携带错误病症名称，1,500张图像中1,074张（71.6%）所有显示名称均错。由于阈值按显示名称查找，该缺陷还改变了显示的检测。该缺陷在公共演示中直到2026年9月22日才被下线，据研究人员所知未被开发团队外使用。
3.7 组织病理学：所有544张图像均命名为400×OSCC视野，18张肿瘤-vs-非肿瘤（tumor-vs-non-tumor, TVNT）阴性来自8张源图像，且所有四个验证阴性均在训练中有其源图像。重新划分后，109张验证图像中96张（88.1%）在训练中具有其源图像的增强副本，而检查点正是基于该分区选择的。分类器将两个分区中的每张图像均判为阳性，灵敏度1.000，准确率0.963（等于基础率），特异性0.000（95% CI 0.000–0.602），平衡准确率0.500，马修斯相关系数（Matthews correlation coefficient, MCC）未定义。受试者工作特征曲线下面积（receiver operating characteristic–area under the curve, ROC-AUC）为0.831，表明分数有一定排序信息，但所有分数均在决策阈值之上。计数头中，有丝分裂象的平均绝对误差（mean absolute error, MAE）最低（0.135）但R
2最低（0.072），所有验证预测在裁剪后均位于0.00到0.27之间，因此全部四舍五入为零。
讨论部分指出，去重复实验只评估了从冻结检查点中去除已识别重复的效果，并未估计若模型从未在重复上训练时的表现，后者需要重新训练。验证集污染未解决，检查点选择受污染验证影响。数据集来源、标签有效性、分区独立性和模型性能是不同标准。基准性能与外部验证、临床有效性不同，本系统没有外部验证和临床评估。研究人员建议审计每个分区，报告重复计数为下限，检查标签一致性，报告评估库版本，在工作点报告每类和图像级结果，端到端测试部署管道，并确认修正到达所有部署副本。
研究结论可翻译为：一个公共数据集包含跨所有三个分区的重复，基于文件名和固定对齐的检查无法发现。在本系统中，该重复未可检测地改变聚合mAP，而标签、评估软件、阈值、路由器和类映射中的缺陷改变了评估报告的内容或应用显示的内容。验证分区和标签、固定评估库版本以及端到端验证管道及其输出，本可以各自捕获模型指标未能捕获的一个缺陷。
