综述：动态雾计算增强大型语言模型在医疗应用中的执行效能

这篇综述创新性地提出将大型语言模型（LLM）的执行环境从集中式云端迁移至去中心化的动态雾计算架构（Fog Computing），通过开源框架SpeziLLM实现跨边缘（Edge）、雾（Fog）和云（Cloud）三层的智能任务分配，有效解决医疗数据隐私（PHI）、信任和成本问题，为数字健康应用提供标准化解决方案。

　　

引言

数字技术与医疗的融合催生了海量异构数据，但如何安全高效地利用这些数据仍是难题。大型语言模型（LLM）虽能桥接原始数据与人类可读的洞察，但其在医疗领域的应用面临隐私（如PHI）、信任和云端高成本三重挑战。本文提出的动态雾计算架构，通过分层执行策略和开源工具SpeziLLM，为这些问题提供了创新解决方案。

架构：雾计算赋能LLM

雾计算作为边缘计算的延伸，通过三层架构优化资源分配：

• 边缘层：用户设备直接处理敏感数据，如手机本地运行量化后的Llama 3.1 8B模型。
• 雾层：局域网内的Docker容器（如MacBook Pro节点）提供中等算力，通过mDNS服务发现实现动态任务调度。
• 云层：处理复杂任务，但仅接收经本地预处理后的脱敏数据。

核心组件包括定义模型配置的Schema、协调任务的Runner，以及执行推理的Platform与Session。通过工具调用（Tool Calling）机制，系统能动态注入外部数据（如FHIR格式的电子健康记录），突破LLM上下文窗口限制。

参考实现：SpeziLLM

这一MIT许可的Swift框架支持苹果全平台（iOS/macOS/visionOS），特点包括：

• 云集成：兼容OpenAI API，支持GPT-4o等商业模型。
• 雾层部署：基于Ollama⁴实现容器化推理，结合JWT认证保障安全。
• 边缘优化：利用MLX⁵库在Apple Silicon上高效运行量化模型，支持Llama、Gemma等开源家族。

案例研究显示，HealthGPT应用通过分层处理，将敏感健康数据查询保留在本地，而复杂分析交由云端，响应速度较纯云端方案提升40%（图7）。

应用与挑战

六项数字健康案例验证了框架的普适性：

1. LLMonFHIR：动态选择执行层，原始FHIR数据仅限本地处理（图5）。
2. HealthGPT：语音交互查询Apple Health数据，雾层延迟仅1.2秒（图6）。
3. Intake：用LLM自动填充医疗表格，减少人工输入错误。

当前局限在于移动端算力不足（如iPhone 16 Pro的8GB内存限制），且开源模型输出质量仍逊于GPT-4o。未来随着MLX等框架优化，边缘性能有望进一步提升。

结论

SpeziLLM通过统一接口和动态调度，平衡了医疗LLM应用的隐私、成本与效能。其分层架构不仅适应当前技术生态，更为未来硬件演进（如专用AI芯片）预留了空间，为可信医疗AI的发展提供了可复用的技术蓝图。