基于耳戴式设备的惯性传感评估用于理解进食行为

《Pervasive and Mobile Computing》：An evaluation of earable-based inertial sensing for understanding eating behaviour

　　摘要自动化饮食监测对于理解进食行为至关重要，尤其是在管理肥胖、糖尿病和高胆固醇血症等慢性疾病方面。耳戴式惯性传感在检测咀嚼和进食活动方面已显示出潜力；然而，关于吃了什么、何时吃以及摄入量多少的信息对于有效的饮食评估也至关重要。因此，我们提出BiteSense，一种基于耳戴式设备的系统，使用惯性测量单元（IMU）来监测食物摄入并对食物类型进行分类。该系统采用分层分类方法，分析咀嚼运动学以识别食物状态、质地、破碎复杂性和下颌用力，最终识别特定食物并估算摄入量和进餐类型。在一项涉及44名参与者的半控制用户研究中，涵盖不同条件和设备，咀嚼检测的参与者宏观F1为0.825 ± 0.155（44名留出法LOSO参与者的均值±标准差），四舍五入后报告为0.83；场景特定F1范围为0.74至0.91。该系统在跨条件和跨设备评估中优于基准算法3至12个百分点。引言近年来，自动化饮食监测已成为一个关键研究领域，旨在无缝跟踪饮食习惯以促进更健康的生活方式。传统方法[1]，如食物日记和移动应用程序，需要大量用户输入[2]，且可能存在不准确性。了解何时进食、摄入了什么以及摄入量多少对于全面饮食评估至关重要。咀嚼是牙齿将食物压碎和研磨的过程，是一个关键的行为信号，编码了食物摄入的时间、类型和数量的信息。通过捕捉和分析咀嚼模式，可以在不依赖自我报告的情况下推断进食事件，从而为饮食行为提供一个无干扰的观察窗口。自动化饮食监测系统能够提供关于营养缺乏、不健康饮食模式以及饮食指南依从性的见解，最终实现更明智的饮食决策。现有解决方案采用声学传感器[3]、摄像头[4]、[5]和运动传感技术[6]、[7]，但存在局限性。声学传感难以处理软食和液体，而基于视觉的方法面临遮挡、隐私问题和计算开销的挑战。头部和耳部周围的运动传感器通过分析下颌运动可靠地检测进食事件，但无法区分食物类型或估算摄入量。结合头部运动和音频数据的多模态方法[8]往往准确率较低且适用性有限。此外，依赖多种数据源[3]增加了同步和故障管理的复杂性。考虑到耳戴式设备[9]、[10]、[11]、[12]、[13]、[14]、[15]、[16]的广泛采用以及近年来在检测下颌运动[17]、面部振动[18]和咀嚼发作[7]方面的进展，我们提出使用耳戴式运动数据进行咀嚼检测和自动化饮食评估，包括食物类型、份量和进餐类型，通过在不同移动场景下持续监测咀嚼运动学[19]来实现。然而，分析进食过程中的下颌运动并将其时空特征（如频率、强度以及力的来源和方向）与特定食物关联起来面临若干挑战。挑战1：相关活动引起的IMU污染。从头部安装的IMU检测咀嚼并确定完整咀嚼周期（咬、嚼和吞咽）的持续时间具有挑战性，因为运动信号与说话、打哈欠、面部表情和全身活动产生的信号重叠。因此，将进食相关信号与这些干扰运动分离对于可靠捕捉咀嚼至关重要。挑战2：不同食物下颌运动的多样性。咀嚼随食物质地、状态和所需下颌用力而显著变化。因此，必须根据食物咀嚼特性对其进行分组，并与其IMU特征所捕获的属性相关联。区分具有相似特征的食物仍然具有挑战性，需要仔细分析咀嚼过程和相关的面部肌肉运动。挑战3：咀嚼模式的时间变化。从耳戴式IMU数据推断摄入量与进食速度之间的关系对于理解进食行为及其健康影响非常重要。这需要捕捉完整咀嚼周期的时间模式，从将食物放入口中到咀嚼和吞咽，这在食物类型之间差异显著。挑战4：主观多样性。由于生理和社会文化因素，个体即使食用相同食物也表现出不同的下颌动态，这使得构建通用的咀嚼检测模型变得困难。这种个体间变异性也使得在多样人群中进行一致的咀嚼识别具有挑战性。为了解决这些挑战，我们提出BiteSense，一个轻量级框架，通过分层表示质地、状态、破碎复杂性、份量和进餐类型等属性，检测自主咀嚼动作（咀嚼、咬和吞咽）并对食物类型进行分类。该框架设计用于在智能手机等边缘设备上部署。BiteSense的原始版本[20]引入了：（i）一种基于陀螺仪能量的新型耳戴式IMU数据编码用于咀嚼检测，（ii）一个用户自适应的分层分类框架，在多个粒度级别上建模食物特征，以及（iii）一个经过验证的基于Transformer的咀嚼识别架构。在目前的扩展版本中，BiteSense在44名留出法LOSO参与者中实现咀嚼检测的参与者宏观F1为0.825 ± 0.155，四舍五入后报告为0.83，场景特定F1范围为0.74至0.91，平均咀嚼计数误差为5.5%。它在跨条件和跨设备评估中优于最先进方法[6]、[7] 3至12个百分点。在本文中，我们通过新的实验、数据集和分析大幅扩展了该版本，增强了方法深度和泛化能力。与会议版本相比，架构扩展包括：基于自适应中位数绝对偏差（MAD）的进食发作阈值以实现跨设备鲁棒性；第六个捕获设备不变信号形状的特征集（f6）；一个传感器不变的Transformer，通过交叉注意力联合编码原始IMU流和工程特征库；一个三路食物类型决策头，区分已知食物、混合食物和不确定发作；以及一个FiLM校准层，为部署时的未来逐用户自适应提供途径。关键扩展和总体贡献总结如下：（1）扩展参与者池并纳入进食障碍分析。用户研究从38名参与者扩展至44名，纳入更广泛的人口统计学分布，以及两名在研究前筛查项目中自我报告轻度暴食倾向的参与者，在整个研究中作为一个小型描述性子组处理。这一补充使得对暴食标志物（如咬合节奏和休息间隔）的探索性分析成为可能。在这个小型子组中（n=2自我报告暴食；与n=42名非暴食参与者比较），平均咬合率是非暴食子组的1.8倍（6.3 vs. 3.5 ± 1.5次/分钟）。应用公式（14）中的速率推导间隔定义，这些平均速率分别对应9.5秒和17.1秒的间隔。鉴于样本量，我们将这些报告为初步观察而非群体层面的发现。（2）使用商用现成和研究级耳戴式设备进行跨硬件评估。我们引入了一项跨设备泛化研究，比较商用现成耳戴式设备（AirPods Pro）与定制研究原型（OmniBuds [21]）。结果揭示了陀螺仪能量和分类准确度的硬件依赖性差异：BiteSense在AirPods Pro上达到约0.80的中位F1，在OmniBuds原型上为0.68，当在AirPods数据上训练的模型直接部署到OmniBuds记录时进一步降至约0.65，这强调了IMU放置、采样稳定性和设备感知校准在未来耳戴式设备设计中的作用。（3）混合食物识别和基于转换的分类。一个新的评估模块检查连续食物类型之间的过渡咀嚼模式，如米饭-扁豆和玉米饼-豆类组合。时间信号分析表明，我们的模型捕捉到咀嚼动态的平滑调节，在结果中报告的18类混淆矩阵中，专门混合食物类达到0.60的分类率。（4）通过进食节奏特征进行时间行为分析。我们纳入了一项关于慢速与快速进食行为的新研究，使用咬合率、咀嚼持续时间和相应的速率推导咬合间隔。分位数阈值设定为研究特定咬合率的第33和第67百分位，将用户分类为慢食者（n=15）和快食者（n=15）。如表6所报告，快食组的平均咬合率约为慢食组的2.8倍（6.5 vs. 2.3次/分钟），平均咀嚼持续时间短73%（2.3 vs. 8.6秒）。这突出了时间节奏作为与饮食评估相关的独立行为指标。（5）进食异常的更广泛评估。性能在五个评估场景中评估：坐在地板上、坐在椅子上、站立、边说话边吃和躺下进食。如表4所报告，BiteSense在这些场景中分别达到0.87、0.91、0.84、0.75和0.74的F1分数。说话和躺下时较低分数表明这些仍然是咀嚼检测的具有挑战性的条件。本文的其余部分组织如下。第2节讨论自动化饮食监测和耳戴式传感用于行为推断的相关工作。第3节描述背景和初步研究。第4节介绍所提出框架的架构和方法，包括数据预处理、特征工程和分层Transformer模型。第5节介绍实现细节和实验设置。第6节报告结果，包括混合食物识别、进食节奏特征、条件特定评估以及COTS和原型设备的比较，并讨论实际部署和硬件泛化的影响。最后，第7节讨论研究发现、局限性和意义，而第8节总结论文并概述未来研究方向。章节片段相关工作最近关于通过可穿戴技术进行自动化食物记录的研究已考察了咀嚼识别；咀嚼频率、持续时间和强度；进食发作检测；以及食物类型识别[22]、[23]、[24]。在此背景下，图1中的雷达图比较了代表性最先进方法在传感能力、部署成本以及隐私和安全特性方面的表现。表1提供了主要可穿戴和环境方法的补充总结。初步研究和问题表述我们首先进行了一项初步研究，以评估使用耳戴式IMU数据检测进食发作、分类食物类型和量化摄入量的可行性。我们收集了12名参与者（7名男性和5名女性；年龄20–50岁）的数据，他们食用代表不同状态（固体、液体和半液体）和质地（软和脆）的食物，包括米饭、坚果、饼干、薯片、干酪、胡萝卜、水和苏打水。在每次会话中，参与者佩戴包含以下内容的AirPods Pro设备。方法论本节概述BiteSense的开发，如图6所示。BiteSense的主要功能是：（i）获取耳戴式IMU流，（ii）检测咀嚼活动并分割候选进食发作，（iii）提取咀嚼感知和设备不变特征集，（iv）通过原始IMU和特征集编码器与交叉注意力融合学习传感器不变表示，以及（v）通过预测食物类型、摄入量和进餐类型来分析食物和进食行为。实验设置和实现我们在半控制环境中进行了一项为期两周的用户研究来评估BiteSense。该研究由机构伦理委员会批准。1在此设置中，我们首先基于个体全天的典型食物消费进行食物项目的分层分类，如表2所示。由于食物习惯和准备方式在不同个体间差异很大，结果与分析本节分析BiteSense相对于最先进方法在基于咀嚼运动学和食物特征检测咀嚼和分类食物类型方面的性能。讨论与局限性BiteSense的可用性取决于用户在进食时佩戴耳戴式设备。近年来耳机使用量显著增加[43]、[44]，进食发作通常发生在用户可能已经使用免提耳机的活跃时期。因此，耳戴式设备可以提供一种实用的、非侵入性的方式，通过咀嚼运动学检测进食发作。最近的几项研究[7]、[25]、[45]通过咀嚼计数调查了耳戴式设备在分析饮食习惯方面的应用，结论本研究探讨耳戴式惯性传感用于识别与进食行为分析相关的食物类型和摄入属性。BiteSense提取与咀嚼运动学相关的特征集，并使用基于Transformer的模型根据与常见食物组相关的咀嚼模式进行分层分类。在44名留出法LOSO参与者中，咀嚼检测的参与者宏观F1为0.825 ± 0.155，四舍五入后报告为0.83，中位数为0.900。CRediT作者贡献声明Garvit Chugh：写作–审阅与编辑，写作–原稿，可视化，验证，软件，资源，项目管理，方法论，调查，资金获取，正式分析，数据管理，概念化。Indrajeet Ghosh：写作–审阅与编辑，方法论，调查，正式分析，数据管理。桑迪普·查克拉博蒂：写作——审阅与编辑、写作——初稿、监督、资源、项目管理、方法学、调查、利益冲突声明作者声明，他们没有任何已知的竞争经济利益或个人关系可能影响本文所报告的工作。致谢我们感谢所有研究参与者付出的时间及宝贵反馈。本研究由印度政府授予的总理研究奖学金（PMRF）以及2024年谷歌学术研究奖资助。作者承认使用OpenAI的ChatGPT3协助进行语法修正和文体润色。手稿中没有任何部分完全由AI工具生成。加维特·楚格｜英德拉吉特·戈什｜桑迪普·查克拉博蒂｜苏切塔纳·查克拉博蒂