《Information Sciences》：IOLM-DB: Instance-optimized large language model execution for column-scale semantic operators
编辑推荐：
大语言模型（LLM）能够对表格数据执行行级语义转换，但通用模型即使每一行都使用固定提示词，也会预留相同的加速器资源。IOLM-DB将这种重复出现的提示词-列对（prompt-column pair）编译为一个按实际工作量调整大小的算子。它对目标列进行采样，构造
大语言模型（LLM）能够对表格数据执行行级语义转换，但通用模型即使每一行都使用固定提示词，也会预留相同的加速器资源。IOLM-DB将这种重复出现的提示词-列对（prompt-column pair）编译为一个按实际工作量调整大小的算子。它对目标列进行采样，构造同时表征提示词与输出行为的校准序列，评估专门的候选方案，并在显式的内存与质量约束下选择实现。在异构数据集与算子类型上，列校准量化（column-calibrated quantization）将参考模型的驻留内存占用（resident footprint）降低1.8–2.8倍，同时8位（8-bit）配置文件仍是近乎无损的替代，4位（4-bit）配置文件则在分类标签输出算子上保持行为。在固定精度下，列校准始终比通用GPTQ校准（generic GPTQ calibration）改善保真度，而输出感知校准（output-aware calibration）为生成式算子带来额外收益。部署实验揭示了两个互补的结果：仅权重压缩（weight-only compression）在计算充裕场景下不会提高每行吞吐量，而主要释放容量；但当内存带宽成为瓶颈时，较小的权重流也会提升吞吐量。紧凑的工件使算子能够在全精度算子无法启动的内存预算下部署，并允许三个专用算子占据大约一个全精度模型的驻留空间。因此，IOLM-DB将重复的语义转换从对通用后端的不可变调用转变为一个紧凑、可度量且硬件感知的算子。
IOLM-DB论文解读
在数据分析场景中，大语言模型（LLM）常被用于对表格数据执行行级语义转换，例如文本摘要、数据修正、模糊实体匹配和分类。然而，当这类语义算子以列规模运行时，模型执行会占据GPU内存、计算时间与货币成本。远程API逐行调用会产生随行数线性增长的网络延迟与令牌费用；在本地部署通用8B模型虽免除每调用费用，但会预留远超单标签算子所需的内存容量。现有系统如LOTUS、FlockMTL等虽在表达、规划、批处理和缓存方面做了优化，但算子背后的通用模型工件未变，每个算子仍保留通用模型的完整资源占用。因此，需要一种面向固定提示词与目标列的实例优化方法，在保持所需行为的同时压缩算子。为此，研究人员提出IOLM-DB，将固定提示词与目标列视为一个优化实例，通过列采样、校准序列构造、压缩候选评估与成本规划，把通用的8B参考模型（Llama-3.1-Instruct-8B）专门化为紧凑、可度量且硬件感知的语义算子。该工作发表在《Information Sciences》。
在技术方法方面，IOLM-DB在构建阶段由校准采样器按输入长度四分位与k均值词法聚类分层采样128行构成校准集，覆盖常见行与极端值；模型优化引擎用GPTQ做权重量化，用SparseGPT做50%非结构化稀疏化，用LLM-Pruner做20%结构化剪枝，并支持SmoothQuant式激活缩放；对生成式算子，额外把参考模型在每行上的输出追加到校准序列，形成输出感知校准。成本优化规划器（CBOP）根据测量到的生成时间、吞吐、保真度与驻留内存，在质量下限与内存上限内选择直接调用、批处理、量化变体、原生小模型或蒸馏学生（T5-Small）。样本数据来源包括Amazon Reviews、GitHub Typos、Rotten Tomatoes、Amazon Reviews 2023与BIRD StackExchange。
研究结果部分的主要发现如下：
（1）Footprint、保真度与任务质量。在Amazon Reviews摘要、GitHub Typos修正与模糊实体连接三个工作负载上，8位IOLM-DB-Fidelity配置保留0.94–0.99的参考行为，驻留体积从14.98GB降至8.46GB；4位IOLM-DB-Compact在Movies/Products Filter分类算子上达到0.96–0.98，但在生成式Projection上仅0.61–0.67。在带真实标签的Filter任务上，4位配置与参考模型的绝对准确率差不超过0.006，验证了参考保真度可作为任务质量的代理。
（2）压缩增益的来源。逐技术消融表明：8位量化近乎无损；4位量化对分类算子几乎无损，但生成式算子受损严重；50%稀疏化因缺少加速核导致运行时退化；20%结构化剪枝保持保真度但不减体积；最终生产配方为4位GPTQ。固定4位精度下，列校准在全部六个数据集-算子单元上优于通用WikiText校准（符号检验p=0.016），输出感知校准进一步在生成式投影单元上提升0.009–0.053。
（3）架构、小模型与蒸馏。4位列校准配置在Qwen2.5-7B与Gemma-2-9B上分别将体积降至5.16GB与5.71GB，Filter保真度保持0.95–0.99，Projection保真度仍较低。压缩8B在Projection上的保真度优于原生3B模型（0.66 vs 0.27–0.42），原生3B则在Filter上吞吐更高。T5-Small蒸馏
