深度跨模态提示学习网络在人工智能生成图像质量评估中的创新应用

本文提出深度跨模态提示学习网络（DCMPLN），通过多模态提示注意力（MPA）模块和图像适配器（Image Adapter）模块，解决了人工智能生成图像（AIGI）质量评估（AGIQA）中文本与视觉模态交互不足的难题，显著提升了评估性能。

　　

Highlight

本研究提出了一种深度跨模态提示学习网络（Deep Cross-Modal Prompt Learning Network, DCMPLN），通过多模态提示注意力（Multimodal Prompt Attention, MPA）模块和图像适配器（Image Adapter）模块，显著提升了人工智能生成图像（AIGI）质量评估（AGIQA）的准确性。

Method

本节首先介绍了相关背景知识，包括CLIP（Contrastive Language-Image Pre-training）和CoOp（Contextual Optimization），随后详细阐述了DCMPLN框架及其实现细节。

Experiments

本节在三个具有挑战性的AGIQA数据集上验证了DCMPLN方法的性能。实验结果表明，该方法在评估生成图像质量方面优于现有先进方法。

Conclusion

本文提出的DCMPLN通过多模态提示注意力机制和图像适配器模块，有效解决了AGIQA中的跨模态交互问题，为生成图像质量评估提供了新的解决方案。