图像增强提示调优在多模态关系抽取中的创新应用

本文推荐：该研究提出Image-Enhanced Prompt-Tuning（ImagePrompt）方法，通过对象检测（OD）和光学字符识别（OCR）提取图像中的任务相关对象与文本，将其转化为提示模板，有效解决多模态关系抽取（MRE）中视觉噪声和模态鸿沟问题。在MNRE数据集上的实验验证了其优越性。

　　

Highlight

多模态关系抽取（MRE）利用图像作为辅助信息识别社交媒体文本中实体间关系，对信息提取和知识库构建至关重要。

Multimodal Relation Extraction

自1998年MUC会议以来，关系抽取研究历经模式匹配和机器学习阶段，随着神经网络发展，其性能显著提升。

Methodology

模型通过数学建模，从给定文本$$和对应图像$$中提取主体$$与客体$$的关系$$，转化为多分类任务。

Experiments

基于MNRE数据集的实验显示，采用ResNet⁵⁰视觉主干和BERT-base文本编码器的模型效果显著。

Conclusion

ImagePrompt通过视觉线索（对象标签和OCR文本）的文本化映射，减少噪声干扰并缩小图像-文本模态差异，提升了预训练模型利用率。