《Frontiers in Digital Health》:An open-source deep learning model for classifying real-world activity intensities in persons with chronic pain using a wrist-worn accelerometer
编辑推荐:
引言:在慢性疼痛(chronic pain, CP)照护中,活动与休息模式在诊断、干预和评价阶段均具有相关性。对这些模式的客观测量可支持个体化照护。腕戴式三轴加速度计用户友好,并在一般人群中产生有效且可靠的数据。详细数据集的公开可用性,以及经过验证的深度学习(
引言:在慢性疼痛(chronic pain, CP)照护中,活动与休息模式在诊断、干预和评价阶段均具有相关性。对这些模式的客观测量可支持个体化照护。腕戴式三轴加速度计用户友好,并在一般人群中产生有效且可靠的数据。详细数据集的公开可用性,以及经过验证的深度学习(deep learning, DL)模型用于从原始加速度计数据分类活动强度,可促进临床使用并标准化CP研究中的活动强度测量。方法:本研究旨在(1)开发、测试并共享一个从原始加速度计数据分类活动强度的DL模型,(2)探讨CP特异性训练是否改善CP中的性能,(3)在真实世界环境中,在患有和不患有CP的个体中探讨构建效度(construct validity),使用真实世界观察作为参照工具。研究人员应用七种策略训练一个卷积神经网络(Convolutional Neural Network, CNN),使用包含211,864个10秒窗口的三个数据集。构建效度使用来自5名患有CP和10名不患有CP个体的3,443个1分钟真实世界观察进行评价。结果:分类准确率在患有CP个体中为76.5%,在不患有CP个体中为80.5%。CP特异性训练没有明显优势。真实世界一致性在CP中为73.6%,在不患有CP个体中为78.6%。讨论:较低且个体间可变的真实世界一致性,尤其在CP中,表明模型性能可能取决于个体特征和参照工具。结果表明,随附脚本和数据集能够将原始加速度计时序准确处理为所研究CP人群中的活动强度。进一步研究构建效度和其他临床计量学特性是必要的。
研究背景:慢性疼痛(chronic pain, CP)在欧洲终生患病率为12.7%–33.7%,定义为疼痛反复或持续至少3个月。CP患者报告疼痛显著干扰日常生活,为应对疼痛和日常需求,常调整活动与休息模式。活动模式指清醒期内特定时间段身体活动和久坐行为的时间结构,具有临床相关性,可能反映并帮助解释心理状态、身体功能和疼痛干扰。CP人群中疼痛应对策略可影响活动模式,包括恐惧回避、过度用力和起搏;前两者通常被视为适应不良,起搏被视为适应策略。加速度计数据可转换为活动强度时间序列,进而提取活动模式指标。但活动监测尚未常规用于CP康复,活动模式通常通过自报问卷或访谈评估,而自报活动与活动监测结果相关性弱。加速度计可靠可行;传统上将原始加速度计数据转换为活动强度使用切点阈值或回归方法。近期DL模型可能优于传统方法,但直接比较研究少。两个知识缺口:DL模型的临床计量学特性主要在实验室研究,真实世界构建效度未充分探讨;疼痛可导致运动行为适应,可能改变加速度计信号,降低在非CP人群训练模型分类活动强度的准确性;尚无研究探讨DL模型是否需要适应CP特异性运动行为。研究人员旨在(1)开发DL模型,从CP和非CP个体实验室和真实世界加速度计数据分类活动强度;(2)探讨CP特异性训练是否相对非CP和一般人群训练提高CP性能;(3)通过将输出与真实世界观察比较,探讨构建效度。数据集和模型脚本作为开源资源。结论:准确转换加速度计信号到活动强度可增强个体化照护。研究得出DL模型在CP人群表现有前景,但CP特异性训练无明确优势,真实世界一致性较低且个体可变,需进一步研究构建效度和其他临床计量学特性。意义:开源资源和数据集可促进临床使用并标准化CP研究活动强度测量。
关键技术方法:研究人员使用三类数据集:30名健康参与者(healthy participants, HP)的HP lab data、30名CP参与者的CP lab data,以及151名参与者的Capture-24开放真实世界数据集;构建效度另招募10名HP和5名CP。HP来自研究人员网络和广告;CP来自荷兰CIR Eindhoven和Adelante康复中心;Capture-24来自英国Oxfordshire一般人群。采用腕戴三轴加速度计,Lab数据采样12.5 Hz,Capture数据用Axivity AX3采样100 Hz后在处理中降采样至12.5 Hz。将活动按代谢当量(Metabolic Equivalent of Task, MET)分为久坐、轻强度、中等至剧烈强度(moderate-to-vigorous physical activity, MVPA)。用10秒滑动窗口,Lab数据50%重叠,Capture数据无重叠;排除离群值。训练卷积神经网络(Convolutional Neural Network, CNN),应用七种训练、测试、验证策略,重复10折交叉验证,数据按受试者划分。基线为高斯混合模型切点法。真实世界构建效度用每分钟观察作为参照工具,计算一致性百分比和加权Cohen's kappa。
3.1 描述性资料(Descriptives):通过三类数据集构建DL模型。30名CP、30名HP和151名Capture参与者被纳入。因3名CP参与者的活动标签与原始加速度计活动段长度不一致,最终训练数据来自208名参与者,包含211,864个10秒窗口(588 h;35,280 min),其中15,159个窗口(7.2%)来自CP和HP lab data;549个窗口(0.5%)为离群值并排除。构建效度数据包含HP的2,436分钟和CP的1,007分钟观察。CP组平均年龄和BMI高于HP组;CP lab data收集了平均疼痛强度、疼痛持续时间和Pain Disability Index(PDI)。结论是数据规模足以支持模型开发,但CP与HP存在年龄和BMI差异。
3.2 CNN模型性能(Performance of the CNN model):通过七种策略训练、测试和验证CNN。准确率为67.2%–81.3%,Macro-F1为66.1%–79.7%。最高为“HP on HP”(81.3%),在Capture数据上验证的策略最低(“All on Capture”67.2%,“Capture on Capture”67.4%)。在CP lab data上验证时,“All on CP”准确率76.5%,“HP on CP”77.9%,“CP on CP”77.1%,说明CP特异性训练无明确优势。含Capture数据的策略标准差更小、范围更窄,提示稳定性提高;将Capture数据从100 Hz降采样至12.5 Hz,仅用Capture训练测试时准确率从71.8%降至67.4%,但纳入Lab data后提升至76.5%–80.5%。在CP中,久坐正确分类89%,轻强度64%,MVPA 66%;MVPA和轻强度更常被低估。结论是模型在CP中表现良好,但CP特异性训练未显示优势。
3.3 真实世界构建效度(Real-world construct validity):通过约4小时/人的真实世界观察,比较DL模型与观察者每分钟活动强度分类。10名HP和5名CP参与。观察者独立分配MET值,初始评分者间一致性为81%。模型与观察一致性:HP为78.6%,CP为73.6%;个体范围57.1%–94.3%。加权Cohen's kappa:HP为0.66,CP为0.60。CP一致性较低主要因模型将久坐过度分类,占26%。误分类可能来自观察者判断和模型局限。结论是真实世界一致性可接受但个体差异大,CP低于HP。
讨论部分总结:4.1 结果及与既往研究比较(Results and comparison with previous studies):DL模型在30名HP和27名CP lab data训练时表现良好;加入大型Capture-24数据集提高输出稳定性,但略微降低总体性能。所有四个初始DL模型均优于传统切点法,与既往一般人群DL研究一致。含Capture数据时,轻强度和MVPA更常被低估,可能与Capture数据标注较粗或分类不一致有关,例如15个轻强度活动被归为久坐、4个MVPA被归为轻强度。降采样仅在Capture数据训练测试时降低性能,但纳入Lab data可补偿。CP数据在池化数据、HP数据、CP数据训练模型中的性能相似,不支持CP特异性算法优势。真实世界构建效度HP高于CP。分歧来源包括参照工具局限、活动标注模糊和个体运动模式差异;观察者在多活动分钟不确定,Compendium MET值未考虑个体执行差异;部分参与者系统性高估或低估,如HP10骑车被低估、CP5坐谈被高估、CP4步行被高估;CP4和CP5表现较低且加速度幅度较高。边界MET值1.5和3.0增加分类困难。需进一步研究构建效度、信度和反应度。4.2 优势与局限(Strengths and limitations):本研究首次在CP人群中评估腕戴加速度计DL三分类及个体真实世界构建效度;使用独立方收集标注的不同数据集,结合实验室和真实世界数据增强稳健性。局限包括真实世界观察可能低估真实构建效度;个体运动行为差异增加变异;观察者效应;构建效度CP样本疼痛强度和残疾较低;研究聚焦活动强度,不检测特定活动或疼痛相关运动行为如guarding、avoiding和rubbing。4.3 建议(Recommendations):临床应用前应进一步研究构建效度,尤其在运动行为差异明显的CP个体中;应考虑hypervigilance、肥胖、疼痛位置或步行辅助等因素;评估构建效度、反应度、信度和测量误差,并在可行金标准下研究真实世界标准效度;采样频率影响仍不确定;探索连续活动强度指标可能减少边界错误并提高临床变化敏感性。4.4 结论(Conclusions):研究人员使用来自不同人群、不同真实世界和实验室环境的腕戴式三轴加速度计数据开发了一个DL模型。数据由两个独立方使用两种不同方法标注。这种多样性,结合对多个DL模型在不同数据集和采样频率下的严格评价,为CP如何影响模型性能提供了有价值的见解。本研究开发的DL模型在CP人群中表现出有前景的性能。此外,HP数据、CP数据和池化数据集的不同策略结果表明,在研究人员的数据集中,CP特异性训练没有明确优势。然而,真实世界观察与模型预测之间一致性的个体间变异突出表明,有必要在更大的CP样本中、并具有更多多样性,进一步研究构建效度。