用于AI生成图像质量评估的语义一致性与视觉注意力融合
《Pattern Recognition》:Aggregation of semantic consistency and visual attention for AI-generated image quality assessment
【字体:
大
中
小
】
时间:2026年09月22日
来源:Pattern Recognition 9.1
编辑推荐:
•SCVA-AGIQA 通过语义-视觉证据推理来评估生成图像质量。
• Token 级提示-描述匹配可抑制多模态大语言模型的噪声语义细节。
• 频域注意力能够突出感知敏感的视觉伪影。
• 双路由专家机制可选择图像特定的语义与视觉质量线索。
• 四个公开数据集验证了准确性、迁移
•SCVA-AGIQA 通过语义-视觉证据推理来评估生成图像质量。
• Token 级提示-描述匹配可抑制多模态大语言模型的噪声语义细节。
• 频域注意力能够突出感知敏感的视觉伪影。
• 双路由专家机制可选择图像特定的语义与视觉质量线索。
• 四个公开数据集验证了准确性、迁移性、对多模态大语言模型的鲁棒性以及成本效益。
引言
随着图像生成模型的快速发展,AI 生成图像(AGI)日益普及,AI 生成图像质量评估(AGIQA)已成为一个越来越重要的研究领域。先进生成技术的广泛传播,如扩散模型 [1] 和生成对抗网络(GANs)[2],产生了大量图像,但其输出质量差异显著,凸显了对可靠 AGIQA 方法的迫切需求。AGIQA 旨在通过模拟人类主观判断来评估 AI 合成图像的质量,通常同时考虑图像及其生成提示。与传统图像质量评估(IQA)不同,后者主要关注压缩或噪声等失真引起的视觉质量退化,AGIQA 涉及更广泛且更复杂的评价范畴。正如 Tian 等人 [3] 所指出的,这需要评估多个方面,特别是文本-图像对齐和视觉质量。
现有的 AGIQA 方法已探索了几个互补方向。纯视觉的盲图像质量评估(BIQA)模型提供了强大的感知质量先验,如 DBCNN [4]、HyperIQA [5] 以及基于 Transformer 的质量预测 [6] 所展示的;然而,它们忽略了文本提示,因此无法判断一张 AI 生成图像是否忠实地遵循了其预期语义。跨模态方法则显式比较图像与原始提示或面向质量的文本模板。例如,IPCE [7] 设计了提示-质量模板,CLIP-AGIQA [8] 和 SF-IQA [9] 利用基于 CLIP 的图文评分,IP-IQA [10] 和 TSP-MGS [11] 则进一步纳入面向质量的提示-图像交互。偏好模型,包括 ImageReward [12]、PickScore [13] 和 HPS [14],从大规模标注中学习人类选择。近期基于多模态大语言模型(MLLM)的方法进一步利用了高层语义推理能力,如 MA-AGIQA [15]、M3-AGIQA [16] 和 MINT-IQA [17]。这些工作大幅推动了 AGIQA 的进展,但大多数方法仍将语义对齐和视觉质量视为粗粒度的跨模态匹配问题或单一的分数回归问题。因此,它们未能显式地分离这两种证据来源,也未提供自适应机制来决定对于每张生成图像哪种证据应当占主导地位。
这一局限性变得尤为关键,因为 AI 生成图像在语义和底层外观方面与自然图像均存在差异。在语义方面,自然图像预训练语料与 AI 生成输出之间的分布差异会放大语义不对齐问题(图 1(a))。在 AGIQA-3K [18] 和 AIGCIQA2023 [19] 上的实验表明,即使是先进的 BLIP [20] 特征与人类对齐判断的相关性也很弱(图 1(b)),这表明直接的图文匹配对于生成内容来说是脆弱的。在视觉方面,跨模态预训练主要优化实例级语义对应关系,缺乏对局部伪影、频率敏感失真和区域级退化的专门建模。这些细粒度缺陷往往对 AI 生成图像质量起决定性作用,但在全局多模态表示中很容易被抑制。
我们的方法基于会议版本 SC-AGIQA [21] 中提出的混合语义-视觉评估范式。为了区分保留组件与期刊版本新增内容,我们在此明确总结其演进过程。保留的基础:两个版本均使用多模态大语言模型生成的图像描述、BLIP/ImageReward 表示,以及基于 ViT 的 FFDPM(含 AQAFP 和 HVS 引导的频率加权);因此 FFDPM 是已有的会议版组件,而非期刊版新增模块。新的语义机制:会议版 TSAM 采用直接交叉注意力后接均值池化,而期刊版 THSAM 则引入 HSCM 来建立提示-描述 Token 之间的一对一对应关系并执行门控的逐 Token 融合。新的聚合机制:会议版使用传统的混合专家回归器,而 DREAM 则增加了共享的语义-视觉上下文、专家路由以及专家特定的特征路由。扩展的验证:期刊版增加了 AIGIQA-20K、对齐维度评估、跨数据集迁移、更强的基线方法、路由分析以及可控的多模态大语言模型描述案例研究。因此,期刊版扩展改变了语义证据的验证方式以及语义-视觉证据的自适应选择机制,同时保留了 FFDPM 作为视觉质量的基础。
基于上述思路,我们提出了一个统一框架——面向 AI 生成图像质量评估的语义一致性与视觉注意力聚合框架(SCVA-AGIQA)。SCVA-AGIQA 将 AGIQA 分解为三个耦合操作:层次语义验证、频域细粒度退化感知,以及自适应专家-特征聚合。我们期刊版的贡献总结如下:
• 我们提出了一种新颖的文本辅助层次语义对齐模块(THSAM),其核心为 HSCM,利用多模态大语言模型生成的描述,建立 Token 级的提示-描述对应关系,并执行选择性融合以实现稳健的图文对齐评估。
• 我们保留会议版的 FFDPM/AQAFP 作为视觉质量路径,并将其与新的语义验证机制集成,明确标注了哪些视觉组件是继承而来的以及它如何与 HSCM 形成互补。
• 我们引入了双路由专家聚合模块(DREAM),可同时选择适合的专家以及专家特定的语义-视觉特征,以实现图像自适应的质量预测。
本文是已被 2025 年 ACM 国际多媒体会议接收的工作 [21] 的扩展版本。两个真正的新机制是 HSCM 和 DREAM;FFDPM/AQAFP 以及整体的语义-视觉分解源自 SC-AGIQA 并作为期刊框架的基础予以保留。
章节摘要
盲图像质量评估:BIQA 旨在在无损预测的条件下预测失真图像的感知质量,模拟人类视觉偏好。早期研究主要利用自然场景统计(NSS)来建模空间和频域中的统计规律,包括 NIQE [22]、BRISQUE [23] 以及相关的 NSS 特征统计 [24]。深度学习的出现通过捕捉质量感知特征显著提升了性能,代表性方向包括 ImageNet 预训练……
概述:AGIQA 的目标是预测一个反映人类判断的质量分数(So),针对一张生成图像(Io)及其输入提示(Po)。形式化地,我们旨在学习一个函数 F: So = F(Po, Io)。现有方法往往因两个主要挑战而失败:一是准确评估细腻提示 Po 与生成内容 Io 之间的语义对齐,二是精确量化 AI 生成图像特有的细粒度视觉退化——这些退化会影响感知质量但会被标准方法忽略……
实验设置:基准数据集与划分。我们在四个 AGIQA 基准数据集上评估我们的方法:AGIQA-1K [35]、AGIQA-3K [18]、AIGCIQA2023 [19] 以及新引入的 AIGIQA-20K [36]。AGIQA-1K 提供来自两个早期模型的 1080 张图像。AGIQA-3K 在此基础上扩展为来自六个多样化生成模型的 2982 张图像,包括扩散模型、GANs 和自回归模型,并包含针对质量和文本对齐的独立 MOS 标注。AIGCIQA2023 提供来自六个近期模型的 2400 张图像,具有 MOS……
结论:在本文中,我们介绍了 SCVA-AGIQA,这是一个面向 AI 生成图像质量评估的新型框架,通过模拟多维度的专家评估过程实现了最先进的性能。我们的核心贡献在于"分而治之"的原则,即将复杂的 AGIQA 任务分解为专门针对不同挑战的模块:THSAM 用于稳健评估图文一致性,FFDPM 用于准确量化细微的视觉伪影,以及……
CRediT 作者贡献声明:
Yan Qingsen(严青松):写作–初稿撰写、方法论、资助获取、概念构思。Li Qiang(李强):验证、方法论、概念构思。Huang Haojian(黄浩健):可视化。Wu Peng(吴鹏):指导。Dong Wei(董伟):形式分析。Dai Duwei(代杜伟):资助获取。Bai Xue(白雪):写作–审阅与编辑、指导、概念构思。
利益冲突声明:作者声明他们没有已知的财务利益或个人关系可能影响本文所述工作。
致谢:本工作部分由国家自然科学基金(62301432、62306240)资助,部分由陕西省自然科学与技术基础研发计划项目(QCYRCXM-2023-057)资助,部分由中央高校基本科研业务费资助,部分由广东省基础与应用基础研究基金(2025A1515011119)资助。
Yan Qingsen(严青松)| Li Qiang(李强)| Huang Haojian(黄浩健)| Wu Peng(吴鹏)| Dong Wei(董伟)| Dai Duwei(代杜伟)| Bai Xue(白雪)
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号