《European Journal of Human Genetics》：Utility of Face2Gene’s DeepGestalt and D-Score applications in paediatric neurodevelopmental disorders in South Africa
编辑推荐：
Face2Gene是一个利用面部特征辅助遗传诊断的临床工具。DeepGestalt应用程序根据面部相似度建议潜在诊断，而D-Score则评估个体具有提示可能存在遗传诊断的畸形特征的可能性。鉴于不同人群间的性能差异以及南非数据的缺乏，本研究评估了其在患有神经发育
Face2Gene是一个利用面部特征辅助遗传诊断的临床工具。DeepGestalt应用程序根据面部相似度建议潜在诊断，而D-Score则评估个体具有提示可能存在遗传诊断的畸形特征的可能性。鉴于不同人群间的性能差异以及南非数据的缺乏，本研究评估了其在患有神经发育障碍的南非儿童中的临床效用。研究分析了301名儿童的面部照片。该队列包含三组：36名具有明确分子诊断的NDDs儿童，176名无分子诊断的NDDs儿童以及89名未受影响的儿童。诊断（识别）准确性通过确认的诊断是否出现在算法生成的前1名或前10名建议中来衡量。提取D-Score以计算组间差异。在具有明确分子诊断的儿童中，准确性为19%（95% CI：9-35%）（前1名）和34%（95% CI：20-52%）（前10名），当仅限于DeepGestalt训练集中包含的疾病时，准确性提高到33%（95% CI：16-56%）和61%（95% CI：39-80%）。单因素方差分析（ANOVA）揭示了临床医生评估的有显著畸形特征和无显著畸形特征的参与者之间存在差异。D-Score表现出中等的敏感度（78%，[95% CI：0.64，0.88]）和较低的特异度（42%，[95% CI：0.38，0.50]），但具有高阴性预测值（91%，[95% CI：0.84，0.95]），这表明它可能更适用于排除畸形；然而，低特异度表明即使在临床无畸形的儿童中，假阳性率也很高。这些发现表明，非洲人群的代表人数不足可能限制了基于人工智能（AI）的面部表型分析工具的临床性能和公平性。
包括神经发育障碍（NDDs，指影响神经系统发育的疾病）在内的具有遗传病因的遗传综合征可能表现出独特的面部特征。识别这些特征群可以为许多遗传疾病的评估和诊断提供有价值的线索。近年来，像Face2Gene这样的计算工具基于深度卷积神经网络（DCNN，一种常用于图像识别的深度学习模型）开发了应用程序DeepGestalt，通过将参与者的面部特征与包含约300个综合征表型模型的数据库进行比较来生成排名诊断建议。除了DeepGestalt，还可以结合基于表型的分析FeatureMatcher，这已被证明可以提高诊断准确性。然而，该工具在不同人群中的表现存在差异。虽然在代表性良好的队列中表现出较高的诊断准确性，但在涉及代表性不足的族群的研究中表现较差。这可能导致算法偏差，并降低代表性不足人群的诊断准确性。尽管准确性因人群而异，但在获得遗传服务和检测机会有限的资源有限环境中，DeepGestalt可能作为诊断支持的有价值工具。然而，由于缺乏相关研究以及其算法对非洲裔人群表现不佳的提示，该工具在南非环境中的准确性和实用性仍不确定。另一个重要的考虑因素是诊断工具指导NDDs儿童进行遗传咨询或检测的潜力。D-Score专门设计用于识别具有提示遗传疾病的畸形特征的个体。先前的研究表明D-Score可以有效区分综合征型和非综合征型面部图像。Reiter等人表明D-Score随畸形的严重程度而变化，在对照组中分数随年龄增长而增加且男性高于女性，尽管未报告显著的种族影响，但非洲裔个体在数据集中代表性不足。Makay等人发现在对患有NDDs的儿童照片进行分类时具有中等准确性，刚果和欧洲儿童的表现相当。尽管D-Score已显示出作为筛查工具的潜力，但其表现不一致且尚未在南非队列中进行评估。因此，研究人员评估了Face2Gene在分析患有和不患有NDDs的南非儿童面部图像方面的临床效用，将其作为确定转诊优先级和支持患病儿童遗传综合征诊断的工具。研究得出结论，非洲人群的代表性不足限制了基于人工智能（AI）的面部表型分析工具的临床性能和公平性，靶向训练可以显著提升工具性能。本研究为在代表性不足的人群中应用AI诊断工具提供了重要证据，强调在训练数据集中纳入多样化人群的必要性。该论文发表在《European Journal of Human Genetics》上。
本研究样本队列来源于NeuroDev项目。参与者包括南非NeuroDev Pilot和Wave 1队列的NDDs儿童和典型发育儿童，分为三组：有明确分子诊断的NDDs儿童、无分子诊断的NDDs儿童及无NDDs对照组。研究使用Face2Gene的DeepGestalt和D-Score应用程序。DeepGestalt通过上传面部图像并注释临床数据，评估已知诊断在生成建议中的排名。D-Score将照片转换为去标识化向量生成畸形程度分数，并使用受试者工作特征曲线（ROC曲线，用于评估二分类模型性能的图形）和曲线下面积（AUC，衡量分类器优劣的指标）评估性能。
由于照片质量差，4个病例和1个对照组无法分析。在第一组中，4个病例涉及应用程序无法注释的拷贝数变异（CNV，指基因组中大片段DNA的缺失或重复）。
DeepGestalt
在32例具有明确分子诊断且可分析的病例中，正确诊断在算法生成的前1名建议中的准确率为19%（95% CI：9–35%），在前10名中的准确率为34%（95% CI：20–52%）。当仅限于DeepGestalt训练集中包含的疾病时，这些比率分别提高到33%（95% CI：16–56%）和61%（95% CI：39–80%）。对于FeatureMatcher，没有病例达到高相似度，32例中有11例（32%，95% CI：20–52%）达到与正确诊断的中等相似度。
D-Score
单因素方差分析（ANOVA，一种用于比较多个组间均数差异的统计方法）比较三组的平均D-Score达到显著性水平（效应量小，ω
2 = 0.03）。事后检验显示对照组与有明确分子诊断的NDDs病例之间存在差异，无分子诊断的NDDs病例与有分子诊断的NDDs病例之间也存在差异。Mann-Whitney U检验显示临床评估有和没有畸形特征的参与者之间存在显著差异。与临床医生评估相比，D-Score的敏感度为78%（95% CI：0.64，0.88），特异度为42%（95% CI：0.38，0.50）。阳性预测值低（21%，[95% CI：0.16，0.28]），而阴性预测值高（91%，[95% CI：0.84，0.95]）。ROC曲线计算得出的AUC为0.68（95% CI：0.60–0.77），表明总体判别能力较差。
本研究评估了Face2Gene表型分析工具在南非儿童队列中的表现。DeepGestalt的正确诊断出现在前10名建议中的比率仅为34%，远低于此前在全球北方人群研究中的报告，如泰国队列的100%、意大利队列的98%、日本队列的86%和加拿大队列的82%。这与在代表性不足人群中准确率较低的研究结果一致，如印度的70%、土耳其的48%和刚果的37%。仅靠面部图像分析时，DeepGestalt算法总体表现不佳，仅3例（17%）具有高格式塔相似度，其中两例为猫叫综合征。这与Lumaka等人在刚果民主共和国的研究结果一致，可能由于刚果与佛兰芒唐氏综合征病例面部表型存在差异。在用刚果病例训练后，算法检出唐氏综合征的能力显著提高至94.7%。FeatureMatcher工具也表现不佳，可能反映了NDDs特征广泛且非特异性，或者历史上在医学文献和基因组研究中代表性不足的人群存在临床表现的差异。
D-Score算法表现出中等敏感度、低特异度和低阳性预测值，但高阴性预测值表明它可用于排除显著畸形，这在专家专业知识有限的资源受限环境中具有实用价值。然而，在神经典型对照组中，58%的儿童被不恰当地判定为高D-Score，强烈表明非洲人群基线面部特征在数据集中代表性不足，并被算法误认为畸形特征。Makay等人发现在刚果和比利时儿童中具有相当的敏感度和特异度，这可能归因于Face2Gene算法最近接受了多批刚果儿童面部照片的训练。
结论部分翻译如下：虽然像Face2Gene这样的计算面部表型分析工具在资源有限的环境中具有巨大潜力，但这些发现表明，如果没有足够多样化的训练数据集，其使用可能会加剧诊断不平等。然而，研究发现，Face2Gene的DeepGestalt和D-Score在南非NDDs儿童中的总体表现大大低于全球北方研究报告的水平。虽然D-Score表现出良好的阴性预测值，可以可靠地用于排除畸形，但中等敏感度和低阳性预测值可能限制了其在当前环境中的临床实用性。其他非洲研究的证据表明，靶向训练可以显著增强该工具的性能，这突显了在训练数据集中纳入来自历史上代表性不足人群的受影响和未受影响儿童的重要性。未来的工作应优先考虑在训练数据集中纳入多样化人群，并在全球队列中进行持续验证，以确保公平的临床应用。
