BIG-TM：将个性化指导与 Trifusion MoPoE 技术相结合，以提升对中文网络热词（meme）的理解

《Knowledge-Based Systems》：BIG-TM: Bridging Individual Guidance with Trifusion MoPoE for Chinese memes understanding

　　王同观|李俊凯|薛飞月|苏东宇|苏贵鑫|文晓鹏|沙颖
中国湖北省武汉市洪山区石子山镇一号街，农业动物智能农场关键实验室，430070

**摘要**
中文有害模因通常包含双关语、同音词或具有文化特性的隐喻，这给模型分析其恶意意图带来了显著挑战。在社交网络中准确检测和识别中文有害模因对于防止其传播至关重要。现有方法利用知识增强来提高对中文模因的理解。然而，知识增强会引入无关信息，干扰模型对模因中隐喻意义的理解。此外，严格的一对一图像-文本配对忽略了相似有害模因之间的关联，限制了模型识别更细粒度类别的能力。为了解决这些问题，我们提出了一个名为BIG-TM的框架，该框架结合了个体引导和基于专家混合产品（Trifusion MoPoE）的三阶段渐进式融合模块，用于检测和识别中文有害模因。首先，为了过滤掉无关噪声并隔离独特的隐喻意图，我们提出了一个个体引导模块，通过正交投影计算文本和描述之间的个体表示，并将这些表示转换为权重以指导多模态特征的融合。然后，我们提出了Trifusion MoPoE模块，动态地融合不同模态的统计分布以学习语义不确定性。具体来说，它将多模态特征转换为高斯分布，从而进行多变量统计计算，并在三个阶段逐步捕捉由图像模糊性和文本语义模糊性引起的不确定性。最后，我们软化文本和图像对之间的对齐，鼓励模型学习相似有害模因之间的通用表示。广泛的实验表明，BIG-TM在TOXICN MM和SarcNet数据集上取得了最先进的性能。

**引言**
模因是一种多模态文化产物，它战略性地整合了文本和视觉元素来传达意义，通常以简洁而有力的方式。模因在数字平台上广泛传播，具有多种交流功能，从幽默的社会评论到恶意的个人嘲讽[1]、[2]、[3]。如图1所示，一个典型的模因描绘了一个戴着耳机的可爱企鹅毛绒玩具，配文为“我是国家级受保护的废物”。这一场景反映了自嘲的挫败感，并深深植根于一种消极的文化中。“国家级受保护的废物”是一个夸张的术语，描述了一种完全被动的状态，类似于珍稀动物被保护但毫无作为。中文中频繁使用隐喻和象征手法增加了自动理解此类内容的复杂性。检测和识别有害社交媒体模因对于维护健康的网络环境至关重要，并且对下游应用（如隐喻理解[4]、[5]、[6]和模因生成[8]、[9]、[10]）有益。

**现有研究**
目前关于有害模因的研究主要集中在英语或其他语言上[11]，有代表性的数据集[1]、[12]、[13]、[14]推动了模因理解的进步。一些研究使用预训练的视觉语言模型通过对特定分类层进行训练来对有害模因进行分类[1]、[13]。其他方法考虑了多模态知识增强策略[15]、[16]、[17]、[18]或采用复杂的多模态融合方法[19]、[20]来提高模型对有害模因的理解。林等人[21]和朱等人[22]利用大型语言模型（LLM）来推断英文中的有害模因。虽然在理解英文有害模因方面取得了显著进展，但中文中广泛使用的修辞手法（如象征手法）对模型理解中文有害模因构成了重大挑战。只有卢等人[23]最近提出了TOXICN MM数据集，有效推进了中文背景下有害模因的研究。

**现有方法的局限性**
现有方法使用多模态知识增强为中文模因的理解提供额外的线索，但面临两个关键问题：
(1) 忽忽略了特征之间的个体表示。如图1所示，文本和文本描述之间存在共同特征：“国家级”和“国家”以及“废物”和“无用”。同时，文本中也有个体特征：“自嘲短语”和“低地位”。这些不显眼的个体特征在理解有害模因的隐喻意义中起着关键作用。
(2) 难以区分相似的有害模因。严格的一对一匹配往往比较文本和图像的固定特征，忽略了可能存在于有害模因子类别之间的共享语义信息[24]。特别是对于中文有害模因，例如那些在“一般攻击性”和“性暗示”类别中交叉的样本。这限制了模型区分相似模因的能力。

**BIG-TM框架**
为了解决上述问题，我们提出了一种新的框架BIG-TM1，用于准确检测和识别中文有害模因。BIG-TM框架专门针对多模态模因分析中的三个不同挑战进行了设计。首先，为了捕捉通常隐藏在微妙文本细微差别中且容易被无关知识噪声干扰的隐喻性和潜在恶意意图，我们设计了个体引导模块。它利用正交投影过滤掉共性并隔离独特的个体表示，以指导多模态特征的融合。其次，为了明确管理模因中固有的高度不确定性和语义模糊性（无论是视觉内容还是文本内容都可能高度模糊），我们提出了Trifusion MoPoE模块。这种渐进式融合机制动态地融合不同模态的统计分布，以处理和捕捉这些不确定性。最后，为了克服严格的一对一图像-文本配对在区分高度相似模因的细粒度类别方面的限制，我们引入了软对齐机制，以捕捉潜在的语义关联并学习通用表示。广泛的实验表明，我们提出的BIG-TM框架在TOXICN MM和SarcNet数据集上取得了最先进的性能。

**本文的主要贡献**
• 我们提出了一个名为BIG-TM的框架，将个体引导与Trifusion MoPoE相结合，用于检测和识别中文有害模因。BIG-TM同时考虑了个体特征和语义关联的存在。
• 为了隔离独特的隐喻意图并过滤掉噪声，我们提出了一个个体引导模块，通过正交投影提取独特表示以指导多模态特征的融合。
• 为了处理复杂模因中的语义模糊性，我们设计了一个三阶段渐进式融合模块Trifusion MoPoE，动态地融合统计分布以捕捉多模态不确定性。
• 为了捕捉相似有害模因之间的潜在语义关联，我们引入了软对齐机制，打破了严格的一对一配对限制，显著提高了细粒度识别的性能。

**有害模因理解**
多项高级研究探索了多种方法来加深对有害模因的理解。它们提出了不同的方法来独立解决模因检测任务[25]、[26]、[27]或模因识别任务[28]、[29]。刘等人[30]和王等人[31]都使用了提示策略来提供额外信息以理解英文中的有害模因。Grasso等人[27]将外部知识引入有害模因的识别过程中。

**任务定义**
我们将中文有害模因定义为由图像和中文内联文本组成的多模态单元，这些模因有可能对个人、组织、社区或整个社会造成伤害。它们经常反映并强化了中文互联网上的负面价值观和文化态度[23]。
形式上，一个模因样本表示为M，相应的标签为Y∈{0,1}和Yi∈{Y1,Y2,Y3,Y4}。这里，Y=0表示非有害模因，Y=1表示有害模因。

**BIG-TM框架**
为了提高在中文背景下检测和识别有害模因的准确性，我们提出了如图2所示的BIG-TM框架。BIG-TM框架包含五个主要组成部分：(1) 多模态特征提取；(2) 个体引导；(3) Trifusion MoPoE；(4) 软对齐；(5) 预测模块。为了明确展示BIG-TM框架内的数据流和执行过程，我们在算法1中提供了详细的算法工作流程。

**实验设置**
我们使用TOXICN MM数据集[23]进行实验，这是目前唯一可用于检测和识别中文有害模因的数据集。表1显示了数据分布。TOXICN MM数据集共有12,000个样本，分为训练集（9600个样本）和测试集（2400个样本），比例为8:2。其中包括非有害样本（总计8173个）和有害样本（总计3827个）。其中，有害样本进一步分为……

**结论**
在本文中，我们提出了一个框架，将个体引导和Trifusion MoPoE相结合，用于检测和识别中文有害模因。首先，我们通过正交投影计算文本和文本描述之间的个体表示，并将这些表示转换为权重，以指导图像、文本和文本描述特征的深度融合。然后，我们提出了Trifusion MoPoE模块，将特征转换为高斯分布，以便进行多变量统计计算。

**局限性**
尽管提出的BIG-TM取得了最佳结果，但它仍然面临以下局限性：
(1) 明确标注的中文有害模因数据集相对稀缺，研究主要依赖于TOXICN MM数据集。这种稀缺性阻碍了对旨在及时检测和缓解中文社交媒体中有害内容的模型的全面评估。
(2) 尽管BIG-TM在中文数据集上表现优异，但其在……方面的有效性仍需进一步验证。

**伦理考虑和错误分析**
部署自动有害模因检测系统具有过度审查的固有伦理风险，这可能会 marginalize 易受影响的用户或压制无害表达。为了解决并明确量化这一风险，我们对提出的模型生成的100个随机抽样的误报进行了手动审计。审计发现，大约32%的误分类涉及无害的讽刺、幽默或黑色幽默，另有14%与……相关。

**作者贡献声明**
王同观：撰写 – 审查与编辑、撰写 – 原稿、软件、方法论。
李俊凯：撰写 – 审查与编辑、方法论。
薛飞月：撰写 – 审查与编辑、方法论。
苏东宇：可视化、验证。
苏贵鑫：验证、软件。
文晓鹏：撰写 – 审查与编辑。
沙颖：资源、调查、资金获取、正式分析、数据管理。

**利益冲突声明**
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

**致谢**
本工作得到了中国国家自然科学基金（授予编号62272188）的支持。