基于认知启发的双向注意力机制的文本到图像生成方法

《Brain‐X》：Text-to-image generation method based on cognitive-inspired bidirectional attention mechanisms

　　

背景：人类视觉系统通过自下而上的初级视觉皮层特征提取与自上而下的前额叶皮层语义引导的协同作用，能够有效感知和理解复杂视觉场景。这一生物机制在捕捉细粒度细节与理解全局语义之间实现了最佳平衡，为多模态生成研究提供了宝贵的启示。

方法：受这一神经机制启发，本研究提出了一种面向文本到图像多模态任务的方法，并构建了一个新颖的扩散模型框架，该框架整合了自下而上与自上而下的注意力机制。自下而上机制采用全局形状卷积、局部关键聚合以及双曲空间映射，分层提取多尺度视觉特征，通过自适应突出显著图像区域，在保留全局结构完整性的同时维持局部细粒度细节。自上而下机制利用互信息（mutual information, MI）动态调节交叉注意力权重，以量化文本-图像语义相关性从而增强任务相关特征，并利用信息熵（information entropy, IE）衡量特征不确定性以抑制无关噪声。

结果：在Common Objects in Context (COCO)、Fill50K和Large Scale Scene Understanding (LSUN)数据集上开展的大量实验表明，研究人员的模型在生成质量和多样性方面相较于Stable Diffusion模型具有优势，在COCO数据集上取得了21.64的Inception Score (IS)和23.65的Fréchet Inception Distance (FID)。该模型还在LSUN Bedrooms上取得了3.06的FID分数，在LSUN Churches上取得了4.98的FID分数。消融研究进一步验证了双向框架的协同效应以及每个组件的独立贡献，在文本-图像对齐和细粒度细节处理方面观察到了显著改进。

结论：本研究表明，认知启发的双向注意力机制能够有效增强文本到图像生成，在结构保真度与语义一致性之间实现平衡。互信息与信息熵的整合为多模态融合任务提供了一种新颖的理论方法，并为提升生成模型的质量和适用性开辟了新方向。

**论文解读：基于认知启发的双向注意力机制的文本到图像生成方法**

**一、研究背景与问题**

近年来，神经网络领域在数据表示和处理方面取得了显著进展，长短期记忆网络在序列数据建模中表现出色，图神经网络也成为处理图结构数据的强大工具。在此基础上，扩散模型因其卓越的高质量内容生成能力而备受关注。扩散模型本质上是由双向马尔可夫状态链定义的概率模型，可自然适应数据特别是图像的归纳偏置，展现出强大的生成能力，包括无条件生成和文本到图像生成。在训练过程中，通常通过目标重加权、图像质量平衡和压缩能力来实现最优合成质量；基于U-Net架构的去噪模型集成了注意力模块，利用键/值/查询向量为条件图像生成提供灵活性。

自注意力机制在Transformer架构中普及以来，多头注意力（multi-head attention, MHA）已被广泛应用于图像生成领域。MHA的引入解决了模型在编码位置信息时过度关注自身表示的问题。尽管使用多个头可以提升模型精度，但并非所有头都包含等量信息，部分头可以在不降低模型性能的情况下被剪除。然而，MHA机制存在若干局限性：并非所有注意力头对信息处理的贡献均等，导致表示不均衡和冗余，这种不均衡往往造成关键信息利用不足，阻碍模型充分捕捉多模态任务中的复杂关系。

从认知心理学和神经科学引入的自上而下与自下而上（top-down and bottom-up, TDBU）注意力机制已在多种任务中得到研究：自上而下注意力能够加速对搜索目标的响应、减轻干扰噪声的影响；自下而上过程则负责处理显式特征，同时对模糊输入需要自上而下反馈的参与。人类视觉认知过程并非单向信息传递，而是涉及自下而上的数据驱动路径与自上而下的语义驱动路径的复杂交互过程。自下而上方式从原始感觉输入中自动提取分层视觉特征，涵盖从边缘、纹理等低级属性到形状和物体等高级结构；自上而下方式则根据先验知识、语义背景和任务目标动态调整感知处理，选择性地增强任务相关信息同时抑制无关干扰。然而，现有扩散模型往往依赖单向特征传播，缺乏这种协作的双向调节机制，导致物体结构扭曲和文本-图像对齐不佳等常见问题。因此，该研究旨在构建一种模仿生物高效设计的双向注意力扩散模型，以应对MHA机制中信息量与权重不匹配的挑战。

**二、研究方法概述**

该研究提出了一种整合自下而上与自上而下注意力机制的扩散模型框架。模型使用的主要技术方法包括：在自下而上通路中，采用全局形状卷积（global-shape convolution, GSC）模块提取多尺度层次特征图、局部关键聚合（local key aggregation, LKA）模块捕获长距离空间依赖，并通过指数映射与对数映射完成欧几里得空间到双曲空间的转换，利用Poincaré圆盘模型表示数据固有的层次结构。在自上而下通路中，基于贝叶斯推断推导了熵的偏差校正估计量，利用互信息（mutual information, MI）衡量文本与图像编码向量之间的语义相关性，并利用信息熵（information entropy, IE）量化特征表示的不确定性，从而动态分配各注意力头的权重。模型架构采用U-Net作为扩散器主体，结合变分自编码器（variational autoencoder, VAE）和对比语言-图像预训练（contrastive language–image pre-training, CLIP）文本编码器，并在推断阶段引入无分类器引导。实验使用了三个公开数据集：Fill50K（预训练）、Common Objects in Context (COCO，主要基准，含21,844张训练图像和3,234张测试图像)和Large Scale Scene Understanding (LSUN，辅助数据集用于普适性验证)。所有模型均基于PyTorch 1.12.1框架在NVIDIA RTX 3090 GPU上训练，采用AdamW优化器，学习率设为1×10??。

**三、研究结果**

**3.1 与Stable Diffusion模型的对比实验**

在Fill50K数据集上，研究人员的模型虽然采样时间较Stable Diffusion (SD)模型慢，但能够在更少的训练步数内实现“突然收敛”，获得基本可用的模型。在COCO数据集上的定性与定量对比实验显示，研究人员的模型在文本-图像相关性方面表现更强。定性分析表明，模型生成的图像更贴合文本描述：例如对于“两只鸭子漂浮在棕色水面上”的描述，该模型正确生成了两只鸭子而SD模型仅生成一只；该模型能够更准确地渲染红色砖块、细小树枝、苹果等细节元素，并更精准地描绘物体的主体位置关系。定量评估中，该模型取得了23.65的Fréchet Inception Distance (FID)分数（SD为23.31）和21.64的Inception Score (IS)分数（SD为20.03），表明两种模型的图像真实度相似，但该模型在生成内容的语义信息捕捉能力和多样性方面较基线模型显著提升。

**3.2 消融实验**

在COCO数据集上开展的消融实验验证了各组件在双向注意力框架中的有效性。在自上而下注意力通路中，MI加权主要增强文本与图像之间的语义对齐能力，而IE加权主要提升生成图像的多样性，二者有机结合使自上而下模块达到整体最优性能。仅使用MI的模型FID为24.01、IS为20.76；仅使用IE的模型FID为24.56、IS为21.12；完整自上而下模型的FID为24.32、IS为21.47。在自下而上注意力通路中，GSC优化了局部特征提取效率，LKA通过扩展感受野捕获长距离空间依赖，完整自下而上模块在保持良好图像质量的同时显著增强视觉特征表示能力。仅使用GSC的模型FID为23.89、IS为20.51；仅使用LKA的模型FID为24.15、IS为20.38；完整自下而上模型的FID为23.72、IS为20.89。融合双向注意力机制的完整BUTD模型取得了23.65的FID和21.64的IS，不仅继承了自上而下模块在语义对齐方面的优势，还通过自下而上模块的视觉细节增强能力有效弥补了FID指标的上升，在图像真实性与语义一致性之间实现了平衡。完整BUTD模型的性能优于两条独立通路的简单叠加，充分证明了自下而上视觉感知与自上而下语义引导机制之间的显著协同效应。

**3.3 LSUN数据集上的无条件生成评估**

在LSUN Churches和Bedrooms数据集上以2562分辨率对50k图像进行了基于FID的样本质量评估，并与Progressive GAN (ProGAN)、去噪扩散概率模型（denoising diffusion probabilistic model, DDPM）、图像双向自回归变换器和均匀离散扩散模型等先进方法进行比较。研究人员的模型在LSUN Bedrooms上取得了3.06的FID分数（ProGAN为8.34，DDPM为4.90，ImageBART为5.51，UDM为4.57），在LSUN Churches上取得了4.98的FID分数（ProGAN为6.42，DDPM为7.89，ImageBART为7.32），在两个数据集上均表现优越。在生成图像对比中，该模型在COCO数据集上对复杂场景的清晰度处理更为出色，能更准确地捕获自然物体的细节和纹理；在LSUN Bedrooms数据集上生成了结构更连贯、细节更自然的卧室图像，相较SD模型表现更好的结构连贯性和类别多样性。

**3.4 训练环境与计算效率**

训练中将图像尺度归一化至标准范围以加速训练并提升稳定性，使用AdamW优化器处理权重衰减，批大小设为8、精度为32位。计算效率对比显示，研究人员的模型单步训练时间与SD模型几乎一致（仅增加0.6%），100k步总训练时间增加约11%（61小时对比55小时），主要源于自上而下注意力模块中额外的互信息与信息熵计算；采样时间较SD模型更长（110.00秒对比46.94秒），原因是注意力机制需要在每个采样步骤进行实时权重调整。

**四、讨论与结论**

该研究提出的TDBU注意力框架在系统层面优化了扩散模型的多模态融合能力：在自下而上视觉特征通路中，GSC与LKA的整合拓宽了感受野并缓解了特征提取过程中信息熵的损失，解决了传统小核卷积逐层提取中固有的显著信息丢失问题；双曲流形映射利用非欧几里得几何解决了高维特征层次拓扑结构在传统欧几里得空间中的表示难题。在自上而下语义引导通路中，模型通过最大化MI对齐文本与视觉特征，并借助IE动态调整语义权重分布，克服了传统交叉注意力机制中语义引导模糊和权重分配均匀化的问题。两条通路通过U-Net的跳跃连接架构相互关联。

研究结论明确指出：该研究提出了一种整合自下而上与自上而下注意力机制的创新扩散模型，为多模态数据融合任务带来了显著益处。在自下而上注意力机制中，该研究利用双曲空间结合GSC和LKA从底层特征中提取更丰富的多模态信息，提升了对多模态数据集的感知能力；自上而下注意力机制使模型能够基于任务要求和背景信息选择性调节低层特征，强调与当前任务相关的关键细节同时减少无关干扰噪声。该模型通过引入MI和IE概念作为多模态任务的新方法论，利用这些指标量化跨模态的相关性和多样性，为多模态融合技术研究提供了创新的理论基础。尽管模型在性能上表现出显著改进，仍存在一些局限：计算复杂度较高、硬件资源需求可能限制其在资源受限环境中的应用；自上而下注意力机制依赖文本与图像编码之间MI的计算，模态对齐不准确或特征表示不足可能对性能产生负面影响；在部分复杂场景中生成图像的多样性和真实性仍有提升空间。综上，基于BUTD注意力机制的扩散模型在多模态数据融合任务中展现出优势，为多模态任务领域提供了新思路和新方向。