一种具备上下文感知能力且注重公平性的多模态产品评论情感分析框架

《Engineering Applications of Artificial Intelligence》：A context-aware and fairness-oriented multimodal framework for product review sentiment analysis

　　

摘要

产品评论的情感分析面临诸多挑战，包括预处理步骤中情感信息的扭曲、多模态特征对齐的不准确，以及公平性和效率方面的考虑不足。现有方法大多侧重于语法规范化、静态多模态融合以及优化处理，但在面对含噪文本、缺失模式区域以及规模扩展时的领域变化时，效果不佳。为解决这些问题，本文提出了情感保留与公平性感知的表示框架——EMO-FAR。该框架整合了三种针对产品评论情感分析的创新方法。第一项创新为情感一致上下文建模，通过保留否定词、强化词、对比结构以及非正式表达所带来的极性变化，确保预处理过程中的情感完整性，同时结合领域自适应方法来减轻领域无关因素对情感分析的影响。第二项创新为鲁棒多模态情感表示，通过整合语言、音频和视觉特征，实现情感的统一表达，并采用基于置信度的模态选择机制，使得在多模态信息不完整的情况下仍能进行有效的句子级情感推断。第三项创新为公平性感知的实时情感优化，通过混合进化优化方法，在模型准确性、推理速度以及不同产品类别与用户群体的公平性之间实现多目标平衡。在Amazon、Yelp、Flipkart等常用基准数据集上的实验表明，该框架的宏观F1值可达97.4%–98.1%，平均推理时间仅为95毫秒。

引言

随着电子商务和社交媒体的快速发展，大量用户反馈和产品评价产生，这些内容对消费者行为和企业决策具有重要影响。因此，情感分析在推荐系统及商业智能领域变得不可或缺。然而，产品评论具有非正式性和主观性，其中包含大量俚语、表情符号、缩写、讽刺语气以及行业专用术语，这类复杂性要求开发更为稳健的情感分析框架。近年来，深度学习技术的应用以及Transformer架构的引入推动了情感分析领域的进展，同时文本、图像、音频等多种数据模态的整合也为情感分析的发展提供了新的可能。但现有的情感分析框架仍存在诸多缺陷：首先，它们往往采用较为激进的预处理方法，试图去除表情符号、否定词、强化词等非正式表达，而这往往会扭曲原文的情感含义；其次，这些框架通常假设所有数据模态都是可用且可靠的，而实际情况往往并非如此，某种模态的缺失就可能导致情感分析结果失准；最后，现有框架往往只追求分析精度，而忽视了公平性、适应性以及运行速度等其他重要因素。

尽管目前已取得一定进展，但目前仍缺乏一种能够同时解决情感保留、多模态不确定性、领域差异以及公平性问题的综合框架。理想的解决方案需要能够处理数据的不确定性和多样性，能够在不同产品类别和平台间实现泛化，并在一定的延迟限制下提供持续且无偏见的预测结果。若无法形成整合多种技术的统一框架，基于情感分析的决策过程就很可能出现可靠性不足或偏差的问题。

为此，本文提出了一种专为产品评论情感分析设计的新型框架——情感保留与公平性感知的表示框架EMO-FAR。该框架是一种兼具统一性与实用性的方法，针对现有方法的局限性，整合了以下三项技术：预处理阶段的情绪一致上下文建模、用于应对数据不确定性和多样性的鲁棒多模态情感表示，以及用于在延迟约束下实现高效且公平预测的公平性感知实时情感优化。通过将这些技术有机结合，该框架不仅注重分析精度，还具备全面性、稳健性、可扩展性以及公平性，这在对情感预测结果直接用于推荐、排序及其他战略决策的实际电子商务应用中具有重要意义（César等人，2024年）。

本文的主要贡献如下：

• ●
  提出了一种情感一致的预处理方法，能够保留否定词、强化词以及口语化表达等情感表达元素，避免因过度文本规范化而导致的情感丢失。
• ●
  设计了一种灵活的多模态学习机制，可在文本、音频、视觉特征均存在时实现有效整合，同时在部分模态缺失或存在噪声时仍能保持稳定性。
• ●
  该框架同时兼顾预测精度、推理延迟以及不同产品类别间的公平性，从而实现可靠、高效且公平的情感预测。
• ●
  通过在多个基准产品评论数据集上的广泛实验，包括跨领域评估、消融分析以及公平性检测，验证了该方法的有效性。

本文的结构如下：第2节阐述相关研究进展；第3节详细介绍所提出的EMO-FAR框架及其三个组成部分；第4节分别介绍各阶段的研究结果，并与现有模型进行对比；第5节总结研究成果并指出未来研究方向。

章节要点

相关研究

He等人（2025年）提出了一种基于文本驱动的多级交互模型，结合多级空间记忆融合技术，以提升多模态情感分析的性能。他们的方法利用文本语义在不同抽象层次上实现跨模态交互，同时保留图像特征之间的空间关联。这种分层交互设计有助于让文本线索与情感对应的视觉区域更紧密地对应，从而增强多模态分析的稳定性。

提出的框架

该框架旨在解决当前产品评论情感分析系统存在的诸多问题，尤其是预处理阶段的情感扭曲、多模态融合的不可靠性，以及公平性和实时性方面的不足。为系统性地解决这些问题，该框架分为三个核心部分：情感一致上下文建模、鲁棒多模态情感表示，以及公平性感知模块。

结果与讨论

后续章节将详细介绍数据集与配置参数、EMO-FAR框架各阶段的研究结果，以及现有模型与本框架的对比分析。最后的消融实验则研究了在不同组件组合情况下该框架的性能表现。

结论

在如今的电子商务环境中，对产品评论进行情感分析已成为电商分析工作的核心需求，但现有解决方案仍存在预处理阶段情感信息失真、多模态融合精度不足、公平性考量欠缺以及实时分析效率低下等问题。传统的文本预处理方法往往会丢弃重要的情感表达信息，而静态多模态方法则往往假设所有数据都是完整的。

参与同意声明

不适用。

发表同意声明

所有作者均同意发表本篇论文。

伦理审批声明

不适用。本研究未涉及人类参与者或动物实验。

资金支持

本研究未获得任何公共、商业或非营利机构提供的专项资助。

CRediT作者贡献说明

R. Nithya：概念设计、数据整理、形式化分析、研究实施、方法设计、资源协调、软件开发、结果验证、可视化处理、初稿撰写、论文修订与编辑。P. Rajesh Kanna：概念设计、数据整理、形式化分析、研究实施、方法设计、项目管理、资源协调、软件开发、指导监督、结果验证、可视化处理、初稿撰写、论文修订与编辑。

利益冲突声明

作者声明不存在任何可能影响本文研究结果的已知财务利益冲突或个人关系。

R. Nithya|P. Rajesh Kanna

印度泰米尔纳德邦萨蒂亚曼加兰，班纳里阿曼理工学院计算机科学与工程系