用于基于自拍的身体满意度预测的跨模态一致性门控融合网络

《Scientific Reports》：Cross-modal consistency gated fusion network for selfie-based body satisfaction prediction

　　

摘要

准确预测用户对自己身体形象在自拍中的满意度，对于理解身体认知、预防心理问题以及开发个性化健康服务具有重要意义。为此，本研究提出了一种创新的基于自拍的身体满意度预测模型，该模型整合了双向 Transformer 编码器表征-卷积神经网络（BERT-CNN）。该模型旨在通过深度融合多模态信息，实现对心理状态的更精确推断。它采用双分支架构：文本分支利用预训练的 BERT 模型提取深层语义特征，捕捉描述中的情感倾向与自我评估；而图像分支则使用残差网络-50（ResNet-50）结合通道注意力机制，以关注自拍中的面部表情和身体姿势等关键视觉线索。一项核心创新在于跨模态注意力融合模块，该模块通过双向注意力机制实现了文本与图像特征之间的细粒度交互。一个自适应门控单元动态整合两种模态的信息，产生更具判别力的联合表示。在 Selfit 数据集上进行的实验表明，该模型在测试集上达到了 0.310 的平均绝对误差（MAE）和 0.211 的平均平方误差（MSE）。当将预测值转换为离散满意度水平进行分类任务时，该模型达到了 83.0% 的准确率和 0.828 的加权 F1 分数，显著优于单模态方法和现有的最先进多模态融合基线。本研究验证了深度文本-图像融合在预测身体满意度方面的有效性，同时也为多模态心理计算提供了方法学参考。该方法在数字心理健康评估和智能内容理解方面具有潜在应用价值。