基于思维链强化学习与柯尔莫哥洛夫-阿诺尔德网络的多模态可解释方面情感分析模型

《Scientific Reports》：Chain of thought driven reinforcement alignment with KAN for multimodal sentiment analysis of tourist reviews

　　

摘要

多模态面向方面的情感分析通过整合文本、图像和表情符号来捕捉细粒度的情感倾向，在社交媒体舆论分析和用户体验评估方面尤为有用。然而，传统的特征级融合网络容易受到视觉噪声的干扰，并且缺乏对其情感逻辑的显式解释。与此同时，生成式大语言模型虽然具备逻辑推理能力，但容易产生幻觉。此外，它们自回归生成的离散符号流在数学上是不可微分的，这使得将高精度判别式网络与可解释生成式网络相结合变得极其困难。为应对这些挑战，我们提出了CoT-KRA，一种由思维链强化学习与多层柯尔莫哥洛夫-阿诺尔德网络（KAN）结合驱动的、针对游客评论的可解释情感分析模型。我们的框架摒弃了传统的强制图文对齐方式，将大语言模型定位为推理生成器，将最终决策交给下游分类器。具体而言，我们利用开源DeepSeek-R1模型蒸馏出的文本构建了一个监督微调数据集，以增强策略骨干网络Meta Llama 3 8B-Instruct的基础表达能力。该骨干网络解析感知方面的动态表情符号属性三元组，随后通过可学习的极性调制投影矩阵将其映射为高维连续特征向量。我们进一步构建了一个基于条件层归一化的特征协同编码模块，以实现无损失地注入高阶先验知识。为处理视觉通道中的失真噪声，我们设计了一个无导数的视觉质量评估算子，实现了自适应门控截断。我们还用KAN预测网络取代了传统的多层感知机，利用其边缘可学习的1D样条曲线激活函数，实现高精度的非线性决策边界。在策略优化阶段，我们设计了组相对策略优化（GRPO）算法和多维度复合奖励函数，将KAN网络的分类精度作为优势信号反馈，以指导语言模型策略的LoRA更新。在双NVIDIA RTX 3090硬件平台上，CoT-KRA在Twitter-2015、Twitter-2017、SemEval-2017等社交媒体数据集以及Yelp和TripAdvisor评论集合上均取得了先进的分类性能。