基于上下文感知大语言模型的呼吸道传染病多模态时间序列预测框架

《IEEE Access》：Context-Aware Time-Series Forecasting for Respiratory Infectious Diseases: Fusing Epidemiological Metrics with Textual Context

　　

摘要：

呼吸道传染病持续威胁全球公共卫生，及时准确地预测流行病学指标对于公共卫生干预至关重要。传统预测模型在融合多模态数据和动态上下文信息方面存在局限性，而现有的基于大语言模型的方法大多依赖静态提示，难以应对低质量文本数据。本文系统探讨了针对呼吸道传染病的上下文感知时间序列预测框架，将有结构的流行病学指标与非结构的文本上下文信息相结合。采用领域自适应的参数高效微调方法，在单GPU本地部署环境下对8B参数的大语言模型进行适配，实现时序信息与文本信息的无缝融合。引入面向任务的文本质量评估与过滤模块，检验低相关性的上下文文本是否会影响基于大语言模型的疫情预测，并提升公共卫生文本上下文的信噪比。在两个权威数据集上的实验表明，优化后的框架表现出强大的性能。微调后的Llama3-8B模型在PandemicLLM数据集上取得了最佳性能，同时在未过滤的Time-MMD数据集上也展现出具有竞争力的表现，尽管在该数据集上最强的时序模型仍然更优。消融实验证明了静态与动态上下文特征的互补效应，并验证了文本过滤能够有效抑制噪声并提升模型性能。这些发现展示了上下文感知的大语言模型预测在所评估的美国公共卫生数据场景下的潜力，并强调了上下文数据质量对多模态疫情预测的重要性。