人工智能辅助远程监测在混合牙列儿童中的应用：一项前瞻性初步研究与临床评估的一致性

《Healthcare》：Artificial Intelligence-Assisted Remote Monitoring in Children with Mixed Dentition: Agreement with Clinical Assessment in a Prospective Pilot Study

　　

背景：人工智能（AI）辅助远程监测在口腔医学中应用日益广泛，但针对未接受活跃正畸治疗的儿童的证据仍然有限。本前瞻性初步研究评估了基于AI的观察性监测（Observational Monitoring）系统与常规临床检查在混合牙列儿童选定口腔健康发现上的一致性。方法：纳入20名儿童（10名男性、10名女性；平均年龄10.5岁，范围9–12岁），在基线（T0）、6个月（T1）和12个月（T2）进行评价。由临床观察者和DentalMonitoring观察性监测系统评估六项临床状况——牙菌斑（dental plaque）、持续性牙结石（persistent dental calculus）、少量食物残渣（minor food debris）、轻度牙龈炎（mild gingivitis）、满意口腔卫生（satisfactory oral hygiene）和牙齿染色（dental staining）。研究中纳入的患者均未接受正畸治疗。观察者与AI分类作为配对数据进行分析。对每种状况和各时间点，从配对2×2表计算观察一致率和Cohen's kappa，采用精确McNemar检验评估方法间的系统性差异；采用Cochran's Q检验评估患病率随时间的变化。结果：观察一致率在T0为65%至95%，T1为65%至100%，T2为85%至100%，95%置信区间较宽（例如65.0%，95% CI 40.8–84.6%）。Cohen's kappa范围为?0.14至0.64，当两种方法均判定某状况不存在时无法计算。对于低患病率发现，高观察一致率与接近零的kappa值并存。对于患病率较为均衡的状况，机会校正一致性仅为中等。随访期间，牙菌斑和食物残渣的患病率下降，而满意口腔卫生和牙齿染色的患病率上升。结论：在该小型儿科队列中，AI辅助观察性监测与直接临床评估显示出中至高度的观察一致率，但机会校正一致性可变。该系统可能作为纵向口腔随访的补充工具，但仍需专业监督，并需要更大规模的验证研究。

研究背景：人工智能（AI）正日益整合到口腔医学中，用于支持图像解读、诊断、治疗计划和临床决策。在正畸学和远程口腔医学（teledentistry）领域，AI辅助远程监测系统允许在诊室外采集标准化口内图像并进行纵向评估，从而补充常规椅旁检查，并可能实现更连续的临床医生监督下随访。DentalMonitoring 7.54.0版（Dental Monitoring SAS，巴黎，法国）是一个AI辅助远程监测平台，结合了智能手机应用程序、专用图像采集设备和自动图像处理算法。患者或照护者定期在家采集标准化口内图像序列，软件评估预定义临床参数，随后可由临床医生审阅。既往研究已探讨了远程监测在正畸牙齿移动、隐形矫治器追踪、口腔卫生和治疗随访中的应用。然而，系统综述报告了远程口腔医学和远程监测结局存在显著的方法学异质性且证据确定性有限。此外，现有证据大多涉及正在接受活跃正畸治疗的青少年或成人，而在牙齿发育期间观察的较年幼儿童中的数据仍然有限。观察性监测工作流程在此背景下可能尤为相关，因为它允许目前不需要活跃治疗的儿童通过定期口内图像采集进行远程随访。在混合牙列期间，这种纵向观察可补充常规检查，并有助于识别需要到诊重新评估的变化。因此，本前瞻性初步研究旨在比较DentalMonitoring观察性监测系统生成的评估与混合牙列儿童常规临床检查获得的评估。在基线和12个月随访期间评估六项口腔健康发现：牙菌斑、持续性牙结石、少量食物残渣、轻度牙龈炎、满意口腔卫生和牙齿染色。

研究人员开展了一项前瞻性观察性初步研究，纳入20名儿科患者，性别均等分布（10名男性、10名女性），平均年龄10.5岁（范围：9–12岁）。作为初步研究，样本量未来自正式的先验功效计算，而是基于可行性选择。纳入标准为：存在混合牙列；监测期间无需正畸治疗；符合远程观察性随访条件，包括拥有与DentalMonitoring应用程序兼容的智能手机以及家长或照护者愿意协助家庭图像采集；由父母或法定监护人提供书面知情同意。排除标准为：可能影响口腔或牙周健康的系统性疾病；已知影响牙周或口腔软组织状态的持续药物治疗；监测期间需要正畸治疗；家长或照护者无法遵守家庭图像采集方案。研究中纳入的患者均未接受正畸治疗或在研究期间需要正畸治疗。参与者在三个时间点进行评价：基线（T0）、基线后6个月（T1）和基线后12个月（T2）。在基线时，所有儿童及其照护者接受标准化口腔卫生指导；在T0和T1进行专业口腔卫生清洁；未提供额外预防性干预（如氟化物涂剂、窝沟封闭剂）或饮食咨询；记录随访期间进行的任何修复治疗。这些干预不属于研究方案的一部分，但可能影响所调查状况随时间的患病率。在每个研究访视时，由经过培训的临床观察者进行标准化口内检查，以评估患者的总体口腔健康状况。所有临床检查均由同一名检查者完成，该检查者为在儿童口腔医学和正畸学方面具有多年临床经验的正畸专家。在研究开始前，检查者在资深正畸医生（共同作者）监督下接受了校准练习，期间使用参考临床照片和未纳入最终分析的试点病例子集审查并标准化了六项所调查状况的临床标准，直至对分类标准达成完全一致。以下六项预定义状况记录为存在或不存在：少量牙菌斑、持续性牙结石、少量食物残渣、轻度牙龈炎、满意口腔卫生和牙齿染色。相同的临床状况使用AI辅助观察性监测工作流程独立评估。临床检查者对AI生成的结果不知情，这些结果仅在临床检查记录后从平台检索。对于每种状况，使用基于存在的二元分类，标准源自已建立的牙周和卫生指数，经调整以匹配DentalMonitoring观察性监测系统生成的定性输出类别。当牙面可检测到可见菌斑堆积时，记录为存在牙菌斑，符合菌斑指数（Plaque Index）标准。持续性牙结石和少量食物残渣根据简化口腔卫生指数（OHI-S）的碎屑和结石成分进行评估。根据牙龈指数（Gingival Index）标准，在可见边缘牙龈炎症的情况下记录为存在轻度牙龈炎。满意口腔卫生定义为检查表面上无临床可检测的菌斑、结石或食物残渣，符合相同参考指数。牙齿染色根据Lobene染色指数的简化改编进行评估，考虑可见外源性牙齿变色的存在或不存在。在随访期间，参与者纳入DentalMonitoring平台7.54.0版（Dental Monitoring SAS，巴黎，法国，7.54.0版）的观察性监测方案。使用智能手机、DentalMonitoring应用程序和ScanBox定位设备采集口内图像序列。扫描由患者在家根据临床医生提供的指示，在家长或照护者的监督或协助下进行。使用DentalMonitoring应用程序的观察性监测模块，在整个12个月研究期间T0、T1和T2使用相同的软件和算法版本。每个时间点家庭图像采集与临床检查之间的确切间隔未系统记录。采集的图像通过DentalMonitoring平台处理，该平台生成预定义口腔状况的AI评估。将T0、T1和T2获得的AI生成发现与相应的临床评估进行比较。每次扫描时，平台自动报告每种预定义发现的存在或不存在；用户无法获得置信度评分或可调整阈值。图像序列仅在通过平台自动质量检查时被接受；两个图像序列因图像质量不足被排除。AI生成的输出按系统提供的内容记录，在纳入分析前未经临床医生审查、修改或确认。在纳入前获得所有参与者父母或法定监护人的书面知情同意。此外，使用适龄信息获得儿童的书面同意。告知父母或监护人研究程序以及通过DentalMonitoring平台采集、传输和处理口内图像的相关信息。个人和临床数据按照欧盟2016/679号条例（通用数据保护条例，GDPR）处理。临床解读和患者管理仍由治疗临床医生负责。研究方案获得拉奎拉大学（University of L'Aquila）涉及人类研究机构审查委员会批准（文件DR206/2013）（批准代码：41/2022，批准日期：2022年9月27日）。研究按照赫尔辛基宣言及其后续修正案的原则进行。DR206/2013指规范拉奎拉大学机构审查委员会的校长法令；本研究方案于2022年9月27日以代码41/2022获得专门批准，涵盖家庭图像采集、口内图像传输至DentalMonitoring平台及其AI处理。使用绝对频率和百分比对所有变量进行描述性分析。由于每名儿童均由临床观察者和AI远程监测系统评估，观察者和AI分类作为配对数据处理。在每个时间点（T0、T1和T2），观察者诊断与AI系统诊断之间的差异使用精确McNemar检验评估。对于每个二分变量和时间点，观察者与AI系统之间的一致性使用Cohen's kappa系数评估。观察百分比一致率也从配对2×2表计算为(a + d)/n，n = 20，及其95%置信区间（CI）。最后，每个变量在三个时间点（T0、T1和T2）的变化分别对观察者和AI系统使用Cochran's Q检验评估。数据使用STATA/BE 18.0版（StataCorp LLC，College Station，TX，USA）分析。所有统计检验为双侧，p值<0.05为统计显著性标准。

研究结果：研究样本由20名儿童（10名男性、10名女性）组成，平均年龄10.5岁（范围9–12岁），均为混合牙列，无一接受正畸治疗。所有参与者完成了三次评估（T0、T1和T2）。20名儿童在T0、T1和T2均由临床观察者和"观察性监测"AI系统评估。在每个时间点，两种评估方法均记录六项预定义口腔健康状况，允许直接比较观察者和AI分类。

基线（T0）一致性：在基线（T0），临床观察者与AI系统之间的观察一致率从少量食物残渣的65.0%到持续性牙结石的95.0%不等，满意口腔卫生为90.0%，轻度牙龈炎为85.0%，牙菌斑为80.0%，牙齿染色为75.0%。相应的95% CI较宽，下限从40.8%（少量食物残渣）到75.1%（持续性牙结石）不等。机会校正一致性较低且更多变：持续性牙结石的Cohen's kappa为显著（κ = 0.64），牙菌斑为中等（κ = 0.47），轻度牙龈炎（κ = 0.32）和少量食物残渣（κ = 0.30）为中等偏低。对于满意口腔卫生（κ = 0.00）和牙齿染色（κ = ?0.14），高观察一致率与接近或低于零的kappa值并存；两种状况在基线时记录的儿童极少（0–15%）。少量食物残渣显示最低的观察一致率和低机会校正一致性，5名儿童仅被AI系统分类为阳性，2名仅被观察者分类为阳性。

6个月（T1）一致性：在T1，观察一致率从满意口腔卫生的65.0%到持续性牙结石的100%不等，后者未在任何儿童中被任一方法记录，因此无法计算kappa。观察一致率的95% CI较宽，下限从40.8%（满意口腔卫生）到83.2%（持续性牙结石）不等。牙齿染色的一致性为95.0%，牙菌斑和少量食物残渣为80.0%，轻度牙龈炎为70.0%。Cohen's kappa对牙菌斑（κ = 0.56）和少量食物残渣（κ = 0.47）为中等，对轻度牙龈炎（κ = 0.40）和满意口腔卫生（κ = 0.29）为中等偏低；这两种状况在T1患病率最为均衡（40–50%）。对于牙齿染色，单一不一致分类（1名儿童仅被AI系统分类为阳性）导致尽管观察一致率为95.0%，κ = 0.00。不一致分类在两个方向上分布，两种方法均无记录更多阳性发现的系统倾向。

12个月（T2）一致性：在T2，观察一致率从牙齿染色的85.0%到持续性牙结石和轻度牙龈炎的100%不等，后两者未在任何儿童中被任一方法记录，因此无法计算kappa；对于这两种状况，观察一致率为100%（95% CI 83.2–100%）。对于其余状况，95%置信下限从62.1%（牙齿染色）到75.1%（少量食物残渣）不等。少量食物残渣的一致性为95.0%，牙菌斑和满意口腔卫生为90.0%。Cohen's kappa对少量食物残渣（κ = 0.64）和满意口腔卫生（κ = 0.62）为显著，对牙齿染色（κ = 0.50）和牙菌斑（κ = 0.46）为中等。尽管方法间差异无统计学显著性，T2的不一致分类倾向于遵循一致方向：满意口腔卫生（n = 2）和牙齿染色（n = 3）的所有不一致病例仅被AI系统记录为阳性，而牙菌斑的两个不一致病例仅被观察者记录为阳性。鉴于样本量小，这些模式应视为假设生成性。

随时间变化：所调查状况的患病率在随访期间发生显著变化。根据观察者，牙菌斑从T0的70.0%降至T1的35.0%和T2的15.0%（AI：从80.0%降至35.0%和5.0%），少量食物残渣从50.0%降至25.0%和5.0%（AI：从65.0%降至25.0%和10.0%）。满意口腔卫生从0%增至45.0%和80.0%（AI：从10.0%增至40.0%和90.0%）。轻度牙龈炎在T1增加（观察者40.0%，AI 50.0%），在T2不存在，而牙齿染色在T1下降后，根据观察者在T2升至75.0%，根据AI系统升至90.0%。持续性牙结石在基线仅记录于1或2名儿童，此后无记录。观察一致率在T2（85–100%）数值上高于T0（65–95%）；然而，这一模式在很大程度上反映了T2大多数发现的较低患病率，且未进行正式检验，因此不应解释为AI系统性能随时间的改善。

讨论部分总结：本前瞻性初步研究比较了AI辅助远程监测系统生成的评估与直接临床检查在混合牙列儿童六项口腔健康发现上的一致性。在观察者和AI分类作为配对数据分析后，观察一致率在各状况和时间点范围为65%至100%，而机会校正一致性则更为多变，根据Landis和Koch标准，Cohen's kappa值范围从差到显著（?0.14至0.64）。在基线，观察一致率范围为65%至95%，T1为65%至100%，T2为85%至100%。T2记录的较高值不应解释为AI系统随时间的改善：三个估计值来自小型初步样本，未进行正式比较，且受每种发现患病率的强烈影响，后者在随访期间发生显著变化。此外，仅20名儿童，非显著McNemar检验不能排除两种方法之间临床相关的不一致，少数不一致分类可能大幅改变一致性估计；因此，观察一致率的95% CI较宽，下限低至40.8%。 consequently，既不应将无统计学显著差异也不应将高观察一致率解释为两种评估方法可互换的证据。观察一致率与机会校正一致性之间的差异值得特别评论。对于基线时的满意口腔卫生和牙齿染色，以及T1时的牙齿染色，观察一致率范围为75%至95%，而kappa为零或负值。在这些情况下，状况记录的儿童极少（0–15%），因此机会期望一致率本身非常高，1至5个不一致分类足以产生接近或低于零的kappa。这是Feinstein和Cicchetti描述的著名kappa悖论。相反，对于患病率较为均衡的状况，如T0时的少量食物残渣和T1时的轻度牙龈炎和满意口腔卫生，kappa值（0.29–0.40）仅为中等偏低，观察一致率也较低（65–70%），表明两种方法之间存在真实不一致。综上，这些发现表明AI系统对于需要背景性或全局判断的发现（如食物残渣、牙龈炎症和整体口腔卫生）表现不太一致，观察一致率和机会校正一致性应始终联合解释。此外，T2不一致分类的方向——染色和满意口腔卫生更常被AI系统记录，而小菌斑沉积更常被观察者记录——可能表明远程采集的图像倾向于强调外源性变色而低估薄菌斑层；这一假设应在更大样本中检验。各临床发现间观察到的变异性可能反映了个体状况从远程采集的口内图像中识别的难易程度差异。菌斑沉积或食物残渣等发现可能受图像质量、照明、相机角度和牙面可见性的影响，而牙龈变化和口腔卫生的全局判断可能需要更背景性的临床解读。近期关于口内照片AI分析的证据同样表明，菌斑和牙龈评估可行，但仍依赖于图像标准化和方法学质量。结果还应在临床变量分布的背景下解释。若干发现在特定时间点不常见或不存在：持续性牙结石在T1和T2未在任何儿童中记录，轻度牙龈炎在T2未记录，因此这些状况的一致性为构造上的100%，且无法计算kappa。这一局限性在小样本中尤为相关，其中少数不一致分类可能大幅改变一致性估计。此外，若干发现的患病率在随访期间发生显著变化：牙菌斑和少量食物残渣减少，满意口腔卫生增加，牙齿染色在最终评估时增加。这些变化可能反映了随访期间接受的口腔卫生指导和/或预防性护理、与家庭定期图像采集相关的意识和动机增强，以及混合牙列期间与年龄相关的变化，如乳牙脱落和具有不同表面特征的恒牙萌出。T2时染色的增加可能与饮食习惯或产色产品的使用有关。由于观察一致率和kappa均取决于每种发现的患病率，这种分布变化也限制了一致性估计在各时间点之间的可比性。远程监测已显示出在正畸随访、隐形矫治器追踪、减少到诊次数和支持口腔卫生监测方面的潜力。然而，系统综述强调现有研究之间的异质性，以及在远程监测可被视为等同于常规临床评估之前需要进一步前瞻性验证。本发现与在未接受活跃正畸治疗的年轻患者中对该技术持谨慎解释相一致。从临床角度看，观察性监测工作流程仍可能作为辅助随访工具提供优势。定期图像采集可在常规访视之间提供额外信息，并可能促进混合牙列期间观察的连续性。然而，本初步样本中观察到的可变机会校正一致性表明，AI生成的输出应由口腔专业人员审阅，当怀疑临床相关变化时不应替代直接检查。应明确声明本研究设计并应解释为初步研究，其主要局限性与此探索性设计密切相关。因此应承认若干局限性。第一，样本仅包括20名儿童；与本研究的初步性质一致，这一有限样本量基于可行性而非正式功效计算，降低了统计功效和一致性估计的精确度，因此发现应视为初步的。第二，一些临床状况在特定时间点患病率极低或无阳性观察，这使得kappa在某些比较中不稳定或无法计算，并限制了所有一致性估计的精确度。第三，研究使用了有限的二元口腔健康发现集，临床检查虽由校准检查者执行，但由单一观察者完成，未通过重复评估（如kappa统计或组内相关系数）正式量化检查者内可靠性，如图像基口腔评估所推荐。第四，家庭图像采集可能引入与患者或照护者技术相关的变异性；此外，家庭图像采集与临床检查之间的确切间隔未系统记录，由于菌斑、食物残渣和轻度牙龈炎症可能在数小时内变化，这可能导致了观察到的不一致。第五，尽管同一儿童被检查三次，数据的重复测量结构未被建模；在20名儿童和稀疏阳性发现的情况下，广义估计方程或混合效应逻辑模型将产生不稳定估计，因此各时间点的一致性以描述性方式报告。最后，与其初步设计一致，研究未通过敏感性、特异性、预测值或以临床检查为参考标准的受试者工作特征分析评估诊断准确性：由于若干状况在某些时间点有少数或无阳性病例，此类估计将无法计算或极不精确。基于这些初步发现，进一步的多中心前瞻性研究应包括更大和更具代表性的儿科样本，最好由先验样本量计算指导，以及多名校准临床检查者、标准化图像采集方案和每种状况足够的阳性和阴性病例数，以便也能估计诊断准确性（以临床检查为参考标准的敏感性和特异性）。数据的纵向结构应使用广义估计方程或混合效应逻辑模型分析，这允许在考虑儿童内相关性的同时估计评估方法、时间及其交互效应的效应。此类充分功效的研究对于确认和进一步验证本初步结果，以及确定哪些口腔发现可可靠监测以及在何种临床情况下AI辅助远程监测提供有意义的附加价值至关重要。

结论翻译：在本前瞻性初步研究中，AI辅助观察性监测系统在混合牙列儿童六项口腔健康发现上与直接临床评估显示出中至高度的观察一致率（65–100%），但机会校正一致性可变，且对于若干状况仅为中等偏低。对于低患病率发现，高观察一致率与低kappa值并存。这些初步发现表明AI辅助远程监测在儿科口腔随访中具有潜在的补充而非替代作用。专业监督和临床验证仍然至关重要，特别是对于细微或不常见的发现。在该系统可被视为与常规临床检查可互换之前，需要更大规模的前瞻性验证研究。