摘要
扩散模型（DMs）的发展极大地增强了文本到图像的生成能力，在图像质量和文本对齐方面超越了生成对抗网络（GANs）等先前方法。然而，准确生成人体图像仍然具有挑战性，常常导致人物比例失调和解剖结构错误，这限制了其在肖像生成等领域的实际应用。尽管HcP等先前方法已展现出良好的效果，但由于仅利用姿态相关信息进行全监督学习的特定设计，仍存在保留噪声先验、对人体表征理解有限以及泛化能力受限等问题。在本研究中，我们提出了一种新方法，通过引入双层次人体先验知识来增强预训练扩散模型，以实现逼真的人体图像生成。我们的方法包括利用原始提示中与人体相关的标记来学习形状级细节，以及通过向每个文本提示添加可学习的姿态感知标记来学习姿态级先验。我们采用两阶段训练策略，通过先绑定后泛化的过程修正交叉注意力，并结合多个新颖的目标函数和对抗训练。在相同提示和生成种子下，对SD1.5和SDXL进行配对比较，结果显示生成的人体比预训练模型和在同一图像上训练的LoRA基线更为连贯。在SDXL上的图像级指标有所提升，这些指标衡量图像质量、分布相似性和偏好。解剖结构比较通过配对图像和注意力图进行。
