SLIM：用于扩散模型中强大水印的稳定潜在积分方法

《IEEE Transactions on Circuits and Systems for Video Technology》：SLIM: Stable Latent Integration for Robust Watermark in Diffusion Model

　　

摘要：

头部姿态估计需要深入理解三维空间关系，以便精确计算偏航角、俯仰角和滚转角。以往的头部姿态估计模型主要以卷积神经网络为基础，依赖裁剪后的近距离人头图像作为输入，在现实场景中往往缺乏稳定性。视觉语言模型则可通过注意力机制分析整幅图像，并聚焦特定物体。在本文中，我们提出了一种新框架，利用视觉语言模型的物体检测功能来提升头部姿态估计的精度，该框架被称为CogVLM。实验表明，直接对这类视觉语言模型进行LoRA微调无法达到理想的估计精度，而一些模型融合方法虽能提升精度，但常常会产生混合的无效响应结果，难以同时处理物体检测和头部姿态估计任务。为将头部姿态估计功能有效整合到CogVLM中，我们开发了一种基于LoRA层的新型模型融合方法。该方法通过设置较高的余弦相似度阈值以及“胜者通吃”的层选择策略，使注意力集中在头部姿态估计任务上，同时保留原有的物体检测能力。这种方法成功解决了混合无效响应的问题，并提升了精度。实验结果显示，在跨数据集评估中，我们的HPE-CogVLM模型相较于当前最先进的CNN模型6DRepNet，平均绝对误差降低了31.5%。此外，在所有头部姿态估计指标上，HPE-CogVLM的表现也优于直接经过LoRA微调的模型以及基于任务运算的融合视觉语言模型。