使用跨模态层次感知网络评估人工智能生成图像的质量

《IEEE Transactions on Broadcasting》：Assessing AI-Generated Image Quality Using a Cross-Modal Hierarchical Perception Network

AI-Generated Images (AGIs) quality assessment is crucial for multimedia applications, but existing methods fail to align fine-grained cross-modal semantics and capture diverse quality factors across multiple perceptual levels. This paper proposes CHPNet with MCINet and AHSNet to simulate human hierarchical visual perception. Experiments on three AGIQA databases validate its effectiveness and the code is开源 at specified link.

　　

摘要：

人工智能生成的图像（AGIs）在各种多媒体应用中得到了越来越广泛的使用，因此准确评估这些图像的质量对于提升用户体验和优化生成模型至关重要。然而，现有的AI生成图像质量评估（AGIQA）方法难以实现细粒度的跨模态语义对齐，也无法捕捉到多个感知层次上的多样化质量因素，这限制了它们的有效性。为了解决这些问题，本文提出了一种基于跨模态层次感知网络（CHPNet）的AGIQA方法，该网络模拟了人类大脑的层次化视觉感知和自适应决策机制。CHPNet由两个关键组成部分构成：多层跨模态交互网络（MCINet）和自适应层次评分网络（AHSNet）。MCINet通过在不同语义层次上对齐和融合视觉特征与文本特征来生成具有质量意识的特征；为了提高语义对齐效果，还构建了跨模态双向语义对齐模块（CBSAM），以减轻跨模态特征之间的语义差异，从而提升MCINet的特征提取能力。AHSNet则用于自适应地评估每个感知层次的重要性，并根据重要性为图像分配权重以计算最终的质量分数。在三个AGIQA数据库上的大量实验验证了CHPNet的有效性。CHPNet的代码已发布在以下链接：https://github.com/NUIST-Videocoding/CHPNet.git