《Data》:Assessing the Fitness-for-Purpose of Published Breath Analysis Data: A Quality Assessment Framework for Diabetes Biomarker Research
编辑推荐:
已发表的呼气检测研究报告了糖尿病与呼出气挥发性有机化合物(VOCs)之间不一致的关联,部分原因在于常规评估工具并未评估定量数据是否具有可比性并适合二次使用。研究人员开发了国家计量院-糖尿病呼气评估(NIM-DBA)框架,该框架借鉴了国际标准化组织(ISO)发布
已发表的呼气检测研究报告了糖尿病与呼出气挥发性有机化合物(VOCs)之间不一致的关联,部分原因在于常规评估工具并未评估定量数据是否具有可比性并适合二次使用。研究人员开发了国家计量院-糖尿病呼气评估(NIM-DBA)框架,该框架借鉴了国际标准化组织(ISO)发布的计量学规范和数据质量原则。研究人员检索了PubMed、Scopus、Embase和Web of Science,截止2025年4月,以获取与糖尿病相关的定量人体呼气数据。研究以呼气丙酮作为案例,并使用诊断准确性研究质量评估工具2(QUADAS-2)对同一文献库进行评估。在38项符合条件的研究中,有6项(15.8%)满足全部NIM-DBA标准。QUADAS-2评估发现,患者选择领域存在高风险偏倚(79%),指数试验报告领域存在不明确风险(82%)。对6项达标研究和32项未达标研究进行事后分类比较,识别出标准化呼气操作、校准覆盖范围、肺泡或呼气末采样、采样前酒精控制、样本稳定性验证、背景评估和晨起采样等方面的探索性富集。这些发现并未将呼气丙酮确立为独立的诊断生物标志物。相反,它们展示了适用性评估如何识别更具可比性的证据,并阐明方法学选择如何导致不一致的结果。NIM-DBA补充了临床偏倚风险评估工具,并可能支持二次定量数据使用和未来研究设计。
论文解读:基于计量学与ISO数据质量原则的呼气分析数据适用性评估框架——以糖尿病生物标志物研究为例
一、研究背景与问题
呼气分析作为一种无创诊断技术,被世界经济论坛列为2021年十大新兴技术之一。人体单次呼出气中含有数百种挥发性有机化合物(VOCs),可实时反映个体代谢状态;健康人呼吸中已鉴定出近1500种VOCs。在糖尿病领域,2021年全球糖尿病患者已达5.29亿人,开发便捷无创的呼气检测工具以补充或替代传统有创血糖检测成为重要研究方向。然而,该领域长期存在一个阻碍临床转化的核心问题:不同研究间的结论常相互矛盾甚至冲突。以最具代表性的呼气丙酮为例,其与血糖水平的相关性在不同研究中分别被报告为正相关、负相关或无相关。研究人员认为,这种不一致的根源不仅在于生物学复杂性,更在于二次定量数据使用缺乏适当的数据筛选标准。现有系统综述和荟萃分析通常仅依据研究类型和数据完整性纳入文献,忽略了数据生成过程中的关键方法学细节,如检测平台类型(高精度质谱仪与易受干扰的传感器)、采样方式(标准化肺泡气与混合呼气)等。即便是证据等级较高的荟萃分析,也因纳入标准过于宽泛而无法解决方法学异质性导致的问题。此外,在呼气检测领域,尚无专门评估二次数据质量的公认标准化框架;现有工具如诊断准确性研究质量评估工具2(QUADAS-2)聚焦于临床设计严谨性,而非数据的技术可比性。因此,亟需一种从计量学视角出发、针对数据适用性的补充性评估框架。
二、研究目的与论文发表信息
本研究旨在开发一个任务特异的、基于计量学原理的数据质量评估框架,用以分类已发表的定量呼气VOC数据,并通过事后比较达标与未达标研究的方法学条件,为未来实验设计生成可检验的假设。该论文发表在《Data》期刊。
研究人员首先系统调研了38篇来自不同学术领域的数据质量评估框架文献,遵循“现有权威框架的扩展与情境化”及“用例驱动构建”两大主流范式,结合中国计量科学研究院《标准参考数据评审技术规范》和ISO数据质量标准,构建了NIM-DBA框架。该框架包含四个评估域:来源可信度、可比性、数据生成过程和数据值准确性,共九个具体标准。随后,以糖尿病呼气丙酮浓度作为案例研究,系统检索PubMed/MEDLINE、Scopus、Embase和Web of Science四个数据库(截至2025年4月12日),通过人工智能辅助筛选和人工验证,最终纳入38项研究。使用NIM-DBA框架对这38项研究进行逐项评估,并同时使用QUADAS-2进行描述性对比评估。最后,对达标组(6项)和未达标组(32项)进行事后条件富集比较,识别与达标状态相关的候选方法学条件。
三、主要关键技术方法
本研究采用的关键技术方法包括:(1)AI辅助两步筛选策略:首先使用大型语言模型(Google Gemini 2.0)对330篇去重后文献进行宽泛初筛,随后进行精确提取和深度筛选,定位潜在定量数据在PDF中的位置,最后由两名研究人员独立进行人工验证、数据来源甄别和标准化提取,确保数据的可追溯性和可靠性;(2)NIM-DBA框架评估:基于计量学标准参考数据评审规范和ISO 8000-1:2022、ISO/IEC 25012、ISO/IEC 25024等标准,制定九个评估标准,涵盖来源可信度(文献类型)、可比性(语义一致性、数据格式一致性)、数据生成过程(数据准确性保证、数据值可追溯性)和数据值准确性(数据范围、数值可信度、综合评价)四个域;(3)QUADAS-2描述性对比评估:采用Wang等人系统综述中的信号问题清单,对同一文献库进行偏倚风险和适用性评估,作为逻辑层面的描述性参考;(4)事后条件富集分析:构建38项研究的编码矩阵,比较达标组与未达标组在患者特征、代谢与采样条件、测量技术条件等方面的差异,以Δp≥20个百分点且在至少两项达标研究中存在为显示规则。
四、研究结果
NIM-DBA框架评估结果:经九步顺序筛选,38项研究中仅6项(15.8%)满足全部标准,形成达标组;其余32项形成未达标组。在“来源可信度”和“数据值完整性”标准上,因文献来自四大权威数据库,38项全部通过。在“语义一致性”标准中,9项因数据并非明确源于糖尿病相关人体呼气丙酮水平而被排除。在“数据格式一致性”标准中,9项因统计表示或单位严重不一致而排除。通过格式评估的20项均通过“数据准确性保证”和“数据值可追溯性”。在“数据准确性范围”标准中,1项因缺乏数据范围被排除;在“数值可信度”标准中,11项因糖尿病组与对照组无显著差异(使用宽松阈值p<0.10)被排除。最终“综合评价”阶段排除2项:一项为多组间整体检验无显著差异,另一项因关键方法学信息(样本年龄、用药状态、采样条件)缺失而被视为数据情境缺陷。
QUADAS-2描述性评估结果:在偏倚风险评估中,患者选择领域79%的研究被评为高风险,主要反映病例对照设计的普遍使用;指数试验领域82%的研究被评为“不明确”风险,反映报告透明度普遍不足。这些结果描述了文献库的偏倚风险分布,但不代表NIM-DBA的优越性。
达标组研究的定量模式与特征:六项达标研究包括Goerl等人、Ghimenti等人、Chien等人、Lekha和Suchetha、Sha等人以及Li等人。当数据具有统计学可区分性时,趋势一致显示糖尿病患者的呼气丙酮浓度高于健康对照组,该模式在采用不同技术路径的研究中均观察到。例如,使用金标准气相色谱-质谱联用(GC-MS)的Li等人和使用新型生物传感器的Chien等人均报告糖尿病组丙酮显著升高。特别值得注意的是,Goerl等人的研究通过了全部标准,但其结论独特:糖尿病组丙酮浓度变异性较低而非均值更高。追溯其方法学发现,该研究受试者为接受血液透析的终末期肾病(ESRD)患者,其代谢和清除机制与典型糖尿病患者显著不同,因此这一“例外”可由特殊人群选择合理解释,并不削弱总体发现。
达标组与未达标组的条件富集分析结果:七项非冗余条件满足显示规则(Δp≥20个百分点且至少两项达标研究存在)。(1) 明确标准化的呼气操作:达标组6项中5项(83.3%)报告,未达标组32项中15项(46.9%)报告,差异+36.5个百分点,为最大富集项。(2) 校准范围覆盖亚ppm至ppm水平:3/6对5/32,差异+34.4个百分点。(3) 肺泡或呼气末采样:3/6对7/32,差异+28.1个百分点。(4) 采样前酒精控制:2/6对2/32,差异+27.1个百分点。(5) 样本稳定性验证:2/6对2/32,差异+27.1个百分点。(6) 环境或吸入气背景测量/校正:3/6对9/32,差异+21.9个百分点。(7) 晨起采样:2/6对4/32,差异+20.8个百分点。快速或直接样本测量在两组中均为50.0%,被移除。患者特征变量中未显示明显效应。
五、讨论与结论
讨论部分要点:NIM-DBA与QUADAS-2产生两种不同评估模式,这是两种框架目的、目标问题和适用研究设计差异的体现,而非NIM-DBA有效或优越的证据。NIM-DBA评估报告数据是否满足预期二次定量使用的任务特异标准,QUADAS-2评估诊断准确性研究的偏倚风险和适用性。研究者强调,NIM-DBA是对QUADAS-2的补充而非替代。在从达标数据到候选研究条件方面,多种方法学条件在达标组中更常被记录,提示可通过检验这些条件是否有助于产生达标数据来研究文献中普遍存在的矛盾结论。在解释达标状态与适用性方面,框架超越了简单的“好/坏”二分判断,引入“适用性”核心概念。Goerl等人的案例表明,框架不会将特定人群研究错误标记为“低质量”,而是准确识别其适用边界。对于新型传感器技术,其定量准确性、特异性(抗干扰能力)和校准方法透明度是评估数据适用性的关键,但此类信息并非总是完整报告。研究意义与未来方向方面,该框架可作为双重用途指南:对二次研究者,提供可操作的回溯性筛选工具;对初级研究者,条件富集识别出的候选条件可作为前瞻性设计指南。未来工作可将框架扩展到其他疾病和VOC生物标志物,并基于标准化流程开发自动化AI文献数据评估工具。
研究结论:本研究的核心目标并非重新验证呼气丙酮作为糖尿病生物标志物的效力,而是回答一个更深层的方法学问题:当已发表数据经过完整的、基于计量学的评估序列分类后,能产生哪些额外信息。通过应用框架,38篇异质性文献被分为6项达标和32项未达标。事后比较识别出若干正向条件富集信号,包括明确呼气操作、校准覆盖、肺泡或呼气末采样、特定采样前控制、样本稳定性验证、背景空气评估和晨起采样,这些为独立实验验证提供了假设而非既定前提。重要结论是,文献中普遍存在的矛盾可以通过NIM-DBA分类后的研究条件比较来探究。框架作为完整的数据评估序列,提供了系统化过程来评估和管理数据异质性带来的挑战,从而为前瞻性验证识别候选条件,为领域未来研究设计提供假设生成指南,但不应将当前信号视为已确立的最佳实践。
局限性:案例研究仅聚焦单一生物标志物呼气丙酮,框架对其他VOC的适用性有待验证;数据评估中某些方面(如p值估计)仍依赖统计假设;达标组仅6项,不足以对呼气丙酮是否为可靠糖尿病生物标志物做出定论;Gemini辅助预筛选可能存在选择偏倚,因为该阶段排除的文献未独立重新评估,筛选召回率无法估计,可能遗漏相关研究。NIM-DBA本身的正式验证(包括结构化专家内容审查、评估者间信度、阈值敏感性分析及独立或前瞻性数据集评估)仍属必要。