基于视觉标签对齐与属性感知的带部分标签多标签图像识别提示方法

《ACM Transactions on Multimedia Computing, Communications, and Applications》：Visual-Label Alignment and Attribute-Aware Prompt for Multi-Label Image Recognition with Partial Labels

　　

摘要AI总结

要查看此由AI生成的总结，您需要拥有高级访问权限。

了解更多登录

摘要

摘要

多标签图像识别中的部分标签问题（MLIR-PL）是计算机视觉领域的一个重大挑战，其主要原因在于完整标注的稀缺性与高昂成本。近期的一些研究利用大规模的视觉语言模型，如CLIP，来建立图像与其标签之间的丰富对应关系，从而提升MLIR-PL任务的性能。然而，现有的基于CLIP的方法并未充分利用细粒度的局部图像特征来减少语义无关区域的干扰。此外，许多研究在提示词的使用上过于简化，这限制了它们全面捕捉类别多维属性的能力。为了解决这些局限性，本文提出了一种新的MLIR-PL模型——视觉标签对齐与属性感知提示模型（VA${}^3$P），该模型能够充分发挥大规模预训练视觉语言模型的优势。在该模型中，我们设计了视觉标签对齐模块，用于建立局部图像特征与类别文本表示之间的映射，有效减少了无关区域的干扰。同时，我们的属性感知提示模块能够提供多种上下文信息，从而更全面地呈现类别的属性。在COCO 2014和VOC 2007数据集上的大量实验结果表明，与多种现有最先进方法相比，我们的模型在各项指标上都取得了最佳性能，证明了该模型在MLIR-PL任务中的优势。

AI总结

AI生成的总结（实验性内容）

此总结是通过自动化工具生成的，并非由文章作者撰写或审核。它旨在帮助读者发现相关内容、评估文章的相关性，以及让相关领域的读者理解这篇文章的内容。它是对作者提供的摘要的补充，而作者提供的摘要仍是文章的主要总结。全文仍是最具权威性的版本。点击此处了解更多。

点击此处，可以对此总结的准确性、清晰度及实用性发表意见。您的反馈将有助于改进未来的总结版本。

要查看此由AI生成的通俗语言总结，您需要拥有高级访问权限。