InstructTime++：基于隐式特征增强的多模态语言建模时间序列分类

《ACM Transactions on Intelligent Systems and Technology》：InstructTime++: Time Series Classification with Multimodal Language Modeling via Implicit Feature Enhancement

　　

摘要AI 摘要

查看此 AI 生成的摘要，您需要拥有高级访问权限。

了解更多登录

摘要

摘要

现有的大多数时间序列分类方法遵循判别式建模范式，直接将输入序列映射到独热编码的类标签。尽管有效，但这一范式存在两个固有局限：难以有效利用上下文特征，且独热标签分布无法捕捉类之间的语义关系。本文提出了一种新颖的框架，称为 InstructTime，将时间序列分类重新定义为多模态生成任务。其核心思想是将连续数值序列、离散文本特征和特定任务的指令视为多模态输入，同时将类标签表示为文本输出，通过微调语言模型的生成能力实现分类。为弥合模态鸿沟，我们引入了一种时间序列离散化模块，将连续数值序列转换为离散时间标记，从而缓解数值模态和文本模态之间的不一致性。此外，我们采用对齐投影层和生成式自监督预训练策略来增强跨模态表示对齐。最后，我们进一步利用特定任务的指令微调对齐后的语言模型，以增强其多模态推理能力。虽然 InstructTime 能有效建模显式上下文特征，但语言模型通常不擅长捕捉从原始时间序列或上下文特征中无法直接观察到的隐式特征，例如潜在的时间模式和结构模式。基于上述分析，我们通过引入改进的多模态生成框架，将 InstructTime 扩展为 InstructTime++，以额外捕捉隐式特征，弥补当前基于语言模型的时间序列分类器的有限归纳偏置。特别是，InstructTime++ 利用一系列专用工具包，从原始时间序列和上下文输入的多个视角中自动挖掘信息丰富的隐式模式。本工作中，我们通过设计统计特征提取和基于视觉-语言的图像描述用于文本接地，从两个互补的角度实例化该框架。所发现的隐式特征随后被翻译为文本描述，从而能够无缝集成到原始的 InstructTime 框架中。最后，在多个基准数据集上的大量实验证明了 InstructTime++ 的优越性能。本工作为进一步推进智能体时间序列分类奠定了基础。

AI 摘要

AI 生成摘要（实验性）

本摘要使用自动化工具生成，未经文章作者撰写或审阅。提供此摘要旨在支持文献发现、帮助读者评估相关性，并帮助来自相邻研究领域的读者理解该工作。它旨在补充作者提供的摘要，后者仍是论文的主要摘要。全文仍是权威的正式版本。点击此处了解更多。

点击此处对此摘要的准确性、清晰度和实用性进行评论。您的反馈将有助于改进和未来的重新生成版本。

查看此 AI 生成的通俗摘要，您需要拥有高级访问权限。