利用自然语言处理技术对糖尿病患者的结构化远程医疗活动数据进行隐私保护性增强处理

《Frontiers in Digital Health》：Privacy-preserving augmentation of structured telehealth activity data in diabetes patients using natural language processing

　　摘要
引言：糖尿病管理越来越依赖于远程医疗平台，患者在这些平台上生成结构化和非结构化数据。这些非结构化数据以自由文本笔记的形式出现，通常包含超出结构化数据的额外信息。提取这些信息可以增强患者档案并优化治疗效果。特别是从这些笔记中提取有关体力活动的信息被认为非常重要。本研究评估了基于规则的/正则表达式算法以及本地部署的Mistral大型语言模型（LLM）在体力活动信息提取和数据增强方面的表现，并将其与最先进的GPT-4.1进行了性能对比。

方法：分析了来自DiabMemory系统的943名患者在12年内收集的数据，再加上100条合成笔记。通过对所有笔记应用自由文本匿名化算法并使用本地部署的方法，保护了患者的隐私，从而避免了使用第三方云服务。进行了三项任务：（1）使用正则表达式和本地部署的Mistral LLM从自由文本笔记中提取体力活动（PA）数据；（2）使用基于规则的方法和本地Mistral LLM将提取的数据与结构化活动记录集成；（3）基于合成笔记将本地方法与GPT-4.1进行性能对比。

结果：两种本地方法在任务1中都取得了良好的性能，最低F1分数为0.84。在任务2中，基于规则的增强方法（F1=0.73）表现优于Mistral LLM（F1=0.37）。任务3显示GPT-4.1的表现优于本地LLM，但并未始终超过正则表达式方法。基于规则的算法所需计算时间也显著少于任何一种LLM。

讨论：正则表达式算法在准确性和效率上表现更好，但需要大量的数据集特定开发工作，而LLM的提示工程所需的知识较少，且正则表达式的开发时间超过了LLM提示工程的时间。本研究的发现与先前的研究大体一致，但由于测试集较小且使用了合成数据而受到限制。

结论：本地自然语言处理（NLP）方法可以增强糖尿病远程医疗中的结构化PA数据。在计算资源有限的情况下，基于规则的算法仍然是一个强有力的选择，尽管未来的工作应在更大、更多样化的数据集上验证这些发现。

1 引言
糖尿病是最常见的慢性疾病之一，估计在奥地利有60万人受影响，全球约有8.28亿人患病。未诊断的人数据信更高。从1990年到2022年，患有糖尿病的人数增加了四倍以上，尤其是在低收入和中等收入国家（1-3）。由于这些数字给医疗系统带来了巨大的财务和行政压力（4），因此成本效益高且易于实施的治疗方法变得越来越重要和必要。其中一种方法是增加体力活动（PA），这在管理慢性疾病方面显示出很高的效果，医疗专业人员（HCP）甚至已将PA作为治疗选项进行推荐（5, 6）。美国糖尿病协会的2025年糖尿病护理标准建议生活方式的改变，包括营养、体力活动和行为疗法，既适用于2型糖尿病患者，也作为预防或延缓糖尿病发病的工具。推荐的PA水平符合世界卫生组织（WHO）对体力活动的建议（6-8）。另一个在糖尿病管理中越来越重要的工具是远程医疗，它被定义为使用数字技术向患者远程提供医疗或康复服务（9）。近年来，远程医疗在心血管疾病和糖尿病领域已被证明是有效的。因此，美国糖尿病协会建议使用远程医疗来提供更好的糖尿病护理及时性、教育内容、自我管理服务以及优化血糖管理（10-13）。然而，强调远程医疗工具只能与与医疗专业人员的面对面会面结合使用（14）。2010年，奥地利公共服务业、铁路和矿业保险公司（BVAEB）与奥地利技术研究所（AIT）合作实施了糖尿病管理计划，称为DiabMemory。在DiabMemory中，患者以结构化的方式上传数据，如血糖值、胰岛素注射和每日食物摄入量（15）。为了进一步促进通过DiabMemory的生活方式改变，患者还可以手动记录PA数据，使用类型-强度-持续时间三元组。因此，提供了一组可选的活动类型。强度通过预定义的低、中、高三级来记录。目前，DiabMemory中没有以结构化方式报告客观PA强度测量值（如运动时的心率）的方法。医疗专业人员定期审查这些测量结果，并通过自由文本笔记向患者提供反馈。同样，患者也可以向医疗专业人员发送自由文本笔记，以回应他们的反馈消息或添加额外的任意信息（16）。

先前的工作已经致力于分析和结构化这些自由文本笔记。虽然这项分析的重点是健康状况、营养和药物等参数，但发现了大量与PA相关的信息潜力（17）。由于活动类型的选择仅限于7种常见运动（骑自行车、体操、徒步、快走、游泳、跑步、网球）以及另一个类别，强度级别也非常有限，只有3个级别（低、中、高），DiabMemory的患者经常在笔记中添加额外的信息，如另一个类型的详细说明，以及其他与运动相关的参数，如心率、覆盖的距离，甚至步数。分析这些笔记可以为DiabMemory患者提供更多关于他们的信息，这可能有助于优化他们的糖尿病治疗。大型语言模型（LLM）技术的进步导致了自然语言处理（NLP）在所有领域的蓬勃发展，包括医疗保健领域，LLM越来越多地用于分析与医疗保健相关的笔记（18-21）。虽然预训练的开源LLM数量不断增加，但部署非常大、最先进的模型并在本地运行它们所需的计算能力相当大。与LLM不同，基于规则的方法（如正则表达式（regex）可以在非常有限的计算能力下在本地运行。正则表达式基于模式匹配，其缺点是这些模式必须通过一个耗时的过程开发，这需要对分析的数据有深入的了解。尽管在医疗保健环境中基于规则的方法和本地LLM之间的比较很少，但先前的工作集中在从临床笔记中提取信息。Kaster等人证明，从神经纤维瘤病的临床笔记中提取表型方面，基于规则的方法比测试的LLM方法更有效，尽管基于规则的系统显示出稍低的泛化能力（22）。同样，Patra等人比较了基于规则的NLP和LLM方法在精神病笔记中的信息提取，并发现基于规则的方法表现更好（23）。相比之下，Sivarajkumar等人报告称，在比较基于规则的方法、机器学习和基于LLM的方法时，没有一种方法在所有评估类别中始终优于其他方法（24）。本工作的目的是比较应用于自由文本笔记的不同隐私保护型体力活动增强算法。特别是，将基于正则表达式的算法与本地部署的LLM进行了比较，以从糖尿病远程医疗自由文本笔记中提取与PA相关的信息。然后使用提取的数据来增强和完成结构化的PA条目。信息提取性能也使用一组合成生成的笔记与最先进的GPT模型进行了基准测试。

2 方法
2.1 数据集
本工作使用了2010年4月至2022年2月期间从DiabMemory糖尿病远程医疗系统收集的数据。结构化数据导出包括PA数据和患者特征（例如年龄）。此外，还导出了患者撰写的所有自由文本笔记。结构化的PA数据包括以下三个非强制性参数：
持续时间：患者记录的活动持续时间（以分钟为单位）
强度：活动的自我报告强度，分为三个级别（低、中、高）
类型：进行的活动类型（骑自行车、体操、徒步、快走、游泳、跑步、网球、其他）
在导出期间，共记录了943名患者的286,451条结构化活动条目，平均每位患者303.77条（±748.60条），中位数53条（IQR：7-247条）。其中，186,867条（65.24%）包含了所有三个参数的有效数据。除了结构化条目外，还有909名患者上传了84,037条笔记，平均每位患者92.45条（±389.81条），中位数12条（IQR：3-50条）。尽管这项工作没有与第三方共享任何实际数据，但在数据之前应用了本地执行的匿名化算法，以掩盖个人数据，确保高隐私标准（25）。
为了更好地了解本地方法与最先进LLM的性能对比，生成了一组100条合成笔记，由两名科学家进行了注释。这些笔记是使用实际笔记样本作为参考，以确保合成数据代表了实际笔记的风格和内容。

2.2 算法任务
我们开发并比较了应用于自由文本笔记的不同算法，这些算法旨在解决两种类型的任务：信息检索和分类，然后是对现有数据的增强。

2.2.1 任务1 – 信息检索和分类
该任务专注于从自由文本笔记中提取结构化信息。解决了以下三个子任务：
任务1.1 – 活动分类：将每条笔记分类为“与活动相关”或“与活动无关”。
任务1.2 – 主要参数：提取结构化PA条目中的三个参数（类型 – 强度 – 持续时间）。
任务1.3 – 辅助参数：提取无法以结构化方式上传的额外PA相关信息。这些参数包括覆盖的距离（以公里计）、海拔变化（以米计）、运动工作量（以瓦特计）、运动中的能量消耗（以卡路里计）、运动时的心率以及一天内所做的步数。
信息检索任务在图1中用一个例子进行了说明。

2.2.2 任务2 – 现有数据的增强
信息检索后，算法应使用任务1中获得的信息来增强结构化的PA数据。这种增强有三种可能的情景：
缺失条目：仅在笔记中报告了PA，没有任何结构化条目。
参数不正确：结构化条目中的一个（或多个）参数通过笔记进一步指定或更正（例如，滑雪而不是其他运动，或30分钟而不是40分钟）。
条目错误：提交的结构化PA不正确，应完全删除。
数据增强任务仅应用于实际数据，并在图1中用一个例子进行了说明。

2.2.3 任务3 – 使用合成数据的信息检索和分类
与任务1类似，任务3也被分为子任务，其中子任务3.1涉及活动分类，子任务3.2专注于主要参数的提取。然而，我们使用的是合成数据，并增加了GPT模型作为第三个提取算法。之所以引入合成数据，是因为出于伦理和法律考虑，无法使用第三方基于云的LLM处理真实患者数据。由于测试集较小且缺乏阳性案例，因此没有分析辅助参数。

2.3 基于正则表达式的算法
基于正则表达式的算法是在Matlab中设计的，并将各种正则表达式模式应用于自由文本笔记以检索主要参数。我们根据之前的远程医疗笔记经验手动开发了54个正则表达式模式，以覆盖自由文本笔记中的相关活动类型。此外，还开发了一个否定模式，以排除典型的非活动相关内容，即使它匹配了54个模式之一。然后将这54个正则表达式模式分为34个更一般的活动类别，这对于与黄金标准进行比较是必要的。例如，补充附录中的正则表达式模式20（\w*(? well as 正则表达式42在补充附录(aufw?r\w*|aufwaerm\w*|dehnen) 和 cool(\-|\s)?down）都被归类为体操。在注释过程中，这34个类别被证明足以涵盖所有活动类型。为了提取体育活动（PA）的持续时间，构建了两种略有不同但复杂的模式：一种模式用于包含上述描述的活动类型的注释，另一种模式用于不包含活动类型的注释。由于第一种模式仅应用于预先选定的与活动相关的注释，因此其设计更为包容，主要侧重于提高持续时间检测的敏感性。然而，第二种模式的包容性较低，需要实际的时间指标（例如分钟）与数字及PA信息结合使用，以尽量减少误分类的情况。注释中关于强度的实例非常少，因此只设计了四种简单的模式来提取强度等级。大多数次要参数都有明确的指示符，例如后跟单位提示的数值（例如，“km”表示距离或“hm”表示海拔变化/德语中的“H?henmeter”）。因此，每种参数只开发了一个模式。将注释分类为与活动相关或无关是基于前三个参数的提取结果。只要注释中存在其中一个主要参数，就被标记为与活动相关的注释。对于任务2，基于规则的算法会将从临床注释中提取的信息与现有的结构化数据进行比较，以决定是创建新条目还是更新现有条目。条目的删除是分开处理的，并由预定义的正则表达式模式触发。为了提供足够的上下文，该算法将同一天同一个患者的所有注释和所有结构化的PA条目作为单一输入进行处理，而不是单独处理每个注释或结构化条目。

2.4 现有数据的增强
基于规则的增强算法也在Matlab2中实现，并合并了两个来源的数据：自由文本注释和结构化条目（见第2.2.2节）。虽然最初的设想是包括所有三个主要参数进行增强，但由于强度相关的注释数量较少，目前算法设计为仅使用类型和持续时间。增强操作是对同一天同一个患者的注释和结构化条目进行的。如果注释在类型和持续时间上与结构化条目匹配，则被认为是重复条目并被排除。尽管这些注释可能代表额外的条目，但我们优先考虑通过省略信息重复的注释来减少误分类，即使这可能会增加误报的概率。基于时间戳的比较也被认为不可靠，因为患者可能在一天中的不同时间记录注释和结构化条目。在我们的数据集中，我们没有发现持续时间类型相同但结构化条目和注释之间的强度不同的情况。如果两者中的任何一个参数与同一天的结构化条目不匹配，该注释就被视为缺失条目。如果某个参数匹配，则该注释被视为修正条目。首先，使用包含时间偏移的注释（例如“昨天”）来修正具有相同活动类型的结构化条目的日期。然后，我们逐个检查每个注释条目，将一个注释条目与该天所有可用的结构化条目进行比较。如果没有可用的结构化条目，则创建一个新的条目。如果类型和持续时间都匹配，则该注释被视为重复条目。如果只有类型匹配，则用结构化条目的持续时间来修正该注释。如果类型不匹配，则将注释作为新条目添加。已经被修正过的结构化条目不能再被编辑，例如，两个相同类型的注释条目不会两次修改同一个结构化条目的持续时间，而是一次修正并为第二个注释条目添加一个新的活动记录。如果注释明确指出某个结构化条目不正确或实际上没有进行，那么该结构化条目就会被删除。基于规则的现有数据增强是在Matlab中完成的。

2.5 LLM管道
注释中包含了从药物和健康状态到个人身份信息（如姓名和联系信息）等敏感信息。因此，尽管进行了伪名化处理，仍需要一个本地的LLM实例。我们使用了具有72.5B参数的Mistral-7B-Instruct-v0.3模型的本地实例（26）。该模型部署在AIT的人工智能基础设施中，并通过AIT开发的基于Python的工具包进行访问。为了与最先进的模型进行对比，使用了具有1.8万亿参数的ChatGPT模型gpt-4.1-2025-04-14在合成注释上进行基准测试。为了保持一致性和公平性，GPT-4.1分析使用了Mistral模型每个类别中表现最佳的提示，而无需任何修改。由于我们无法确保本地LLM能够充分捕捉临床注释和结构化条目之间的复杂关系以生成有效的合成数据集，因此没有使用合成数据来评估结构化数据的增强。AIT开发了一个工具包，用于在本地或远程运行大型语言模型进行实验。

2.6 提示工程
我们遵循了（27）中描述的少量样本提示（few-shot prompting）的概念。为每个参数、总体分类（是否与活动相关）以及结构化PA数据的增强分别设计了不同的提示。每个提示中都提供了所需的结果格式。为了简化LLM响应的评估，LLM的结果被要求以JSON对象的形式提供，其中鍵值对存储了提取的信息。此外，还特别指示LLM不要为其决策提供解释，因为后续评估算法只考虑结构化的鍵值对。为每个参数和任务编写了多个提示，包括不同的表述和示例，所有这些提示都遵循少量样本提示的概念。本文仅展示了每个任务中表现最佳的提示。在评估之前，手动检查了LLM提取的活动类型，因为有时模型返回的是英文类型，尽管注释和因此的黄金标准是德文的。此外，与正则表达式算法类似，基本上相同的运动也有轻微的变化组合（例如，“gehen”（步行）和“spazieren”（悠闲散步））。对于提取持续时间，LLM被指示只检索与活动类型直接相关或与其他PA指标（如距离或心率）相关的持续时间。LLM还被指示将提取的持续时间转换为分钟，以确保与黄金标准的可比性。提取强度的提示被设计为只提取与PA相关的强度。与正则表达式算法类似，区分活动相关注释和非活动相关注释的提示也非常通用，给LLM留下了较大的解释自由度。LLM接收了包含任务定义、注释以及任务2的结构化PA数据的提示。与基于规则的算法一样，LLM的输入也是同一天同一个患者的所有注释和所有结构化PA条目。

2.7 测试集注释
为了评估算法的性能，从112名患者中随机选取了1,000条注释进行了手动注释。这些注释未用于基于规则的算法的开发，同时这112名患者的其他注释也没有用于正则表达式的开发，以避免训练-测试数据泄露。这1,000条注释首先由三位具有领域知识的独立数字健康专家进行第一轮注释，然后在第二轮中，另一位专家对第一轮注释者给出了不同结果的注释进行了最终决定，以确定我们的黄金标准。对于数据增强任务，使用测试集注释计算了注释者之间的可靠性。对于注释者之间可靠性的指标，将第一轮的注释与其自身进行了比较，当存在不一致时，使用最终的黄金标准来确定条目是误报还是误否。

2.8 统计分析
算法在所有三个任务中的性能评估分为两个步骤进行：参数检测：在这一步中，我们仅检查算法是否在注释中检测到任何信息，而不比较实际内容（例如，算法是否在黄金标准中注释了持续时间时检测到持续时间信息）。这将任务简化为简单的是/否分类。提取参数的正确性：在这一步中，我们评估提取的信息内容是否与注释内容一致（例如，算法提取的持续时间是否与黄金标准中的持续时间一致）。这仅针对算法和人类注释者都提取了相应参数的注释进行了检查。数值的提取被视为一项分类任务（是否提取了正确的值），而不是通过计算提取的和注释的持续时间之间的误差来进行评估，因为我们的重点是算法能否识别出确切的数字，而不仅仅是近似值。置信区间是通过1000次迭代的自助法（bootstrapping）计算的。使用Shapiro–Wilk检验测试了自助法得到的F1分数的正态分布，并使用以下检验测试了统计显著性：两组数据的正态分布：T检验（T）；非正态分布：Mann–Whitney-U检验（U）；三组数据的正态分布：单因素方差分析（ANOVA）；非正态分布：Kruskal–Wallis检验（K）。

2.9 伦理
本研究获得了维也纳医科大学伦理委员会的批准（投票编号1289/2024）。

3 结果
3.1 NLP分析的关键统计数据
在1,000条被注释的自由文本注释中，有377条被手动分类为与活动相关。其中，230条评论包含了活动“类型”。此外，12条自由文本注释包含了多种类型，总计提取出了34个不同活动类别中的248个活动类型。两条标注为类型未知的活动注释都提到在体力活动后测量了某个重要参数，但没有进一步说明。这些类型的分布如图2所示。图中用交叉阴影图案标出的七个活动类型也可以作为结构化活动数据上传（即DiabMemory应用程序提供的七种类型）。总体而言，注释中仅有三个强度实例。此外，49条注释被手动识别为包含体育活动的持续时间，其中5条注释各自包含两个持续时间，共计54个独立的持续时间。

图2 验证集中手动标注的34个活动类型的分布。DiabMemory应用程序中可选的活动用红色和交叉阴影图案标出。

3.2 任务1 – 信息检索和分类
3.2.1 任务1.1 – 活动分类
表1展示了任务1.1中描述的活动分类结果。对于这个任务，只需要统计分析的第一步（即第2.8节中的参数检测），因为在这个阶段没有提取任何信息。
表1
算法 | TPT | NFP | FNP | Precision | Recall | Spec | Accuracy | F1-score
--- | --- | --- | --- | --- | --- | --- |
| 正则表达式 | 363 | 63 | 17 | 16 | 49 | 8.91% | 95.78% | 99.36% | 98.00%
| Mistral | 34 | 65 | 82 | 39 | 38 | 9.87% | 91.29% | 93.72% | 92.80% | 90. (95% CI: 0.88–0.93) |
表1展示了基于正则表达式（regex）和Mistral模型的活动分类结果（任务1.1）。

3.2.2 任务1.2 – 主要参数的提取
表2展示了使用正则表达式算法和Mistral模型提取主要参数的评估结果，如任务1.2中所述。正如A4 Duration提示下的补充附录中所示，用于提取持续时间的提示是唯一的德文提示，因为在所有其他情况下，英文提示都产生了更好的结果。表2显示了参数检测的结果。

| 参数 | 算法 | TPT | TN | FP | FN | Precision | Recall | Spec | Accuracy | F1-score | n correct% correct |
|----------|--------------|---------|---------|---------|---------|---------|---------|-----------|------------------|
| TypeRegex | 21 | 27 | 68 | 21 | 89 | 99.1% | 92.2% | 99.7% | 98.0% | .96 (95% CI:.93–.97) p<.001 |
| U20 | 29 | 5.3 | | 17 | 54 | 1.4% | 76.4% | 90.9% | 87.6% | .74 (95% CI:.70–.78) |
| DurationRegex| 47 | 94 | 56 | 28 | 88 | 95.9% | 99.4% | 99.2% | .92 (95% CI:.86–.97) | p<.001 |
| U4 | 10 | 44 | 91 | 43 | 55 | 4.3% | 89.8% | 96.1% | .67 (95% CI:.58–.77) |
|IntensityRegex| 19 | 97 | 0 | 21 | 100% | 33.3% | 100% | 99.8% | .50 (95% CI: 0-1) | p<.001 |
| U1 | 19 | 87 | 10 | 29 | 33.3% | 99.0% | 98.8% | .14 (95% CI:0–.40) |

基于正则表达式（regex）的算法和Mistral模型提取主要参数（任务1.2）的结果。真阳性（TP）、真阴性（TN）、假阳性（FP）、假阴性（FN）、特异性（Spec）、p值（p）、Mann–Whitney-U检验（U）。

表3展示了使用regex算法和Mistral模型提取次要参数的评估结果，如任务1.3中所述。

表3显示了使用regex算法和Mistral模型提取次要参数的评估结果。

| 参数 | 算法 | TPT | TN | FP | FN | Precision | Recall | Spec | Accuracy | F1-score | n correct% correct |
|----------|--------------|---------|---------|---------|---------|---------|---------|-----------|------------------|
| DistanceRegex | 98 | 89 | 92 | 19 | 88.0% | 99.0% | 99.8% | .99 (95% CI:.96–1) | p<.001 |
| U9 | 96 | 88 | 16 | 49 | 52.0% | 91.0% | 90.7% | .66 (95% CI:.60–.73) |
| ElevationChange| 89 | 92 | 0 | 0 | 100% | 100% | 100% | 1 (95% CI: 1-1) | p<.001 |
| T8 | 89 | 62 | 30 | 0 | 21.1% | 100% | 90.2% | .35 (95% CI:.16–.50) |
| HeartRate | 105 | 89 | 95 | 0 | 100% | 100% | 100% | 1 (95% CI: 1-1) | p<.001 |
| T10 | 105 | 88 | 80 | 15 | 87.5% | 100% | 98.3% | .93 (95% CI:.90–.96) |
| Calories | 106 | 89 | 92 | 11 | 99.1% | 99.9% | .99 (95% CI:.98–1) | p<.001 |
| U10 | 103 | 78 | 74 | 18 | 85.7% | 100% | 98.0% | .92 (95% CI:.88–.96) |
| Steps | 17 | 98 | 102 | 100% | 89.5% | 100% | 99.8% | .94 (95% CI: 0.85-1) |
| U17 | 19 | 97 | 47 | 73 | 100% | 99.3% | .85 (95% CI:.72–.94) |
| Watt | 49 | 96 | 0 | 0 | 100% | 100% | 100% | 1 (95% CI: 1-1) |

表4显示了基于规则的增强算法和基于Mistral模型的增强结果与黄金标准的比较。表4还展示了注释者之间的可靠性，以展示增强任务的复杂性。

表4显示了使用regex算法和Mistral模型提取次要参数的结果。

表6展示了使用regex算法、Mistral和GPT模型提取主要参数的评估结果，如任务3.2中所述。这表明，通过更广泛的提示工程优化，GPT模型的表现可能会超过Mistral LLM，甚至可能超过正则表达式（regex）算法。然而，本研究的重点并不在于优化用于最先进大语言模型（LLM）的提示，而是在于探索和优化本地算法，因此在比较中必须考虑到GPT模型有限的提示工程。此外，用于与最先进GPT模型进行比较的合成数据集仅包含100条笔记，样本量非常小。由于这些笔记是由本地Mistral LLM生成的，Mistral在处理自身创建的数据时可能具有 inherent advantage（固有优势）。然而，这种偏见不太可能成立，因为Mistral模型的表现并不优于其他测试过的算法。另外，在注释过程中，专家们验证了生成笔记与真实世界数据的相似性，并移除了包含错误或不常见短语和结构的笔记。尽管如此，仍然不能完全排除循环偏见的存在，因此对合成数据分析的结果必须谨慎处理。

正则表达式算法的处理时间明显低于用于这些分析的LLM流程，这在考虑实时数据分析（如在线服务）时是一个重要因素。然而，在算法和LLM流程的开发过程中，并没有优先考虑运行时间的优化。Wiest等人评估了参数规模从7B到70B的各种本地LLM，在医疗自由文本中使用零次提示和一次性提示进行信息提取，这种策略也应用于本研究。他们报告称，参数规模最小的模型（7B参数，与本研究中使用的Mistral模型相当）的表现不如大型模型，这支持了我们的假设，即更大的模型在分析DiabMemory笔记时可能会获得更好的结果。虽然本研究中使用的本地Mistral LLM的参数规模相对较小（7.25B），但在某些医疗环境中计算资源仍然有限，同时本研究的基础设施也有所限制。

Kaster等人和Patra等人发现，在大多数评估参数上，基于规则的算法的表现优于LLM。我们的结果与这些发现一致，因为在任务1和任务2中，基于规则的方法的表现优于LLM对应的方法。不过Kaster等人也指出，基于规则的方法的泛化能力较弱（22）。这一限制也可能适用于我们的算法，因为我们的算法是专门为从糖尿病患者的远程医疗笔记中提取运动（PA）信息而设计的。需要进一步的工作来评估这些算法在不同患者群体和不同远程医疗环境中的泛化能力和适用性。

此外，与Sivarajkumar等人的研究一致，我们观察到在我们的研究中Mistral LMM经常产生误报，导致精确度和F1分数低于基于规则的方法（24）。尽管我们注释的自由文本量几乎是Wiest等人和Patra等人的两倍，但与Sivarajkumar等人分析的23,724条临床笔记相比，我们的测试集仍然较小（21, 23, 24）。更大的样本量将使所有参数的评估更加全面和稳健，尤其是对于像强度或工作量这样的不常见参数。尽管如此，更相关的参数（如类型和持续时间）在测试集中有大量正面案例，由于预计在整个数据集中这些参数的分布也是稀疏的，因此它们对真实世界数据的影响较小，从而减轻了小样本集的实际问题。

先前研究中没有涉及的一个限制是算法的运行时间。如第3.5节所示，Mistral模型处理笔记的速度明显较慢，因为每条笔记都被当作一个单独的提示来处理。在日常应用中，这可能是一个潜在的缺点，尤其是在多个用户同时尝试执行提示时，LLM的可用性也会受到影响。相比之下，正则表达式算法可以在计算能力较低的本地机器上运行，无需担心服务器可用性或响应时间的问题。

**结论**
本研究展示了自然语言处理（NLP）从糖尿病远程医疗系统的自由文本笔记中提取运动信息的潜力。在评估的两种本地部署的NLP方法中，基于规则的算法在所有任务中表现出更好的准确性和更低的运行时间。尽管基于规则的方法需要更多的背景知识和更长的开发时间，但它们仍然是本地NLP的一个可行选择，在某些情况下能够超越本地LLM，而且不会产生与大型模型相关的较高计算成本。