基于紧凑特征级表示的大语言模型VNIR高光谱数据分类方法

《Scientific Reports》：SpecLLM: LLM-based VNIR spectral interpretation

　　摘要可见光和近红外（VNIR）光谱技术通过特征光谱带识别材料，光谱学家则通过峰位置和强度等特征来解读光谱。近年来针对高光谱数据的机器学习和基础模型虽然效果显著，但返回的是数值输出或潜在表示，而非此类特征级描述。与此同时，基于大语言模型的光谱方法大多仅提供原始数值序列。我们提出了一种方法，通过紧凑的特征级表示使光谱数据可被大语言模型（LLM）访问。不同于以逗号分隔值（CSV）、JavaScript对象表示法（JSON）或可扩展标记语言（XML）的形式提供完整光谱，所提出的方法提取统计摘要和判别性极值，并以自然语言或结构化JSON的形式对其进行序列化。我们使用一个开放获取的VNIR高光谱血液数据集的两个互补场景，评估了基于原型的物质分类。对于所选模型，紧凑的特征表示比原始数值编码有效得多，但不如直接在原始光谱上运行的随机森林有效。自然语言格式提供了人类可读、可检查的紧凑光谱证据序列化，并与完整光谱编码相比减少了提示长度。我们还比较了自然语言和JSON特征表示，发现两者大致相当。