基于生成增强的多模态神经情感解码用于产品评价：迈向神经反馈驱动的闭环协同设计

《Frontiers in Human Neuroscience》：Generative-augmented multimodal neuroaffective decoding for product evaluation: toward neurofeedback-driven human-in-the-loop co-design

　　

背景：感性工学（Kansei engineering）传统上依赖自我报告的产品印象评价，此类评价易受情境影响、回忆偏差和评估时机等因素干扰。多模态心理生理测量可为情感反应提供互补性见解，但整合异质信号并应对有限样本量仍具挑战。本研究提出生成增强多模态情感融合框架（Generative-Augmented Multimodal Affective Fusion, GAMAF），用于预测产品评价中的吸引力（attractiveness）、创新性（innovativeness）和友好性（friendliness）。 方法：GAMAF整合了带梯度惩罚的条件Wasserstein生成对抗学习（conditional Wasserstein generative adversarial learning with gradient penalty, cWGAN-GP）、跨模态注意力（cross-modal attention）、基于图的交互（graph-based interactions）和自适应模态加权（adaptive modality weighting）。50名参与者评价了三种汽车座舱设计，经多模态质量控制后共获得150次参与者–刺激试验。整合了脑电图（electroencephalography, EEG）、眼动追踪（eye tracking, ET）和外周生理信号，并采用嵌套参与者分组交叉验证（nested participant-wise cross-validation）进行评估。 结果：GAMAF在吸引力、创新性和友好性上的平均外层折R2值分别为0.810、0.850和0.840，标准差均为0.016。该表现超过了多模态Transformer基线（Multimodal Transformer baseline）的相应值（分别为0.75、0.78和0.76）。在三个预测目标上，GAMAF将聚合平均绝对误差（mean absolute error, MAE）和均方根误差（root mean squared error, RMSE）分别降低了约29.6%和29.7%。消融分析（ablation analyses）支持了整合架构的有效性，而自适应模态权重揭示了目标依赖的模式。 讨论：GAMAF展示了生成增强多模态融合在解码感性相关产品印象方面的潜力。然而，性能比较仍属描述性，因为基线变异性和参与者层面不确定性未被量化。未来需在未见产品设计和闭环设计优化上进一步验证，以确立其泛化能力和实际应用价值。

一、研究背景与问题

产品评价不仅涉及功能性能，还包括影响偏好、接受度和用户体验的情感印象。感性工学（Kansei engineering）通过语义评估和定量建模将这些印象转化为设计相关信息。然而，传统感性工学依赖自我报告的产品印象评价，这类方法易受情境影响、回忆偏差和评估时机等因素干扰。心理生理测量可为情感反应提供互补性见解，但不同信号在测量单位、维度、噪声特征和时间分辨率上存在差异，整合异质信号并应对有限样本量仍具挑战。此外，心理生理实验通常涉及较少的独立参与者，小样本和高维特征可能导致泛化估计不稳定，而预处理或参与者重叠造成的数据泄漏可能虚增性能。基于上述问题，研究人员提出生成增强多模态情感融合框架（Generative-Augmented Multimodal Affective Fusion, GAMAF），用于预测产品评价中的吸引力、创新性和友好性，并围绕三个研究问题展开：GAMAF是否优于代表性融合模型；各架构组件的预测贡献；模态权重是否因评价目标而异。

二、研究内容与结论

研究人员招募了50名健康成年人（男女各25名），每位参与者评价三种汽车座舱渲染图，共获得150次参与者–刺激试验，全部通过预设多模态质量控制标准。研究同步采集脑电图（EEG）、眼动追踪（ET）、皮电活动（EDA）和心电图（ECG）信号。结果显示，GAMAF在吸引力、创新性和友好性上的平均外层折R2值分别为0.810、0.850和0.840，均超过多模态Transformer基线（Multimodal Transformer baseline）的0.75、0.78和0.76。GAMAF将聚合平均绝对误差（MAE）和均方根误差（RMSE）分别降低约29.6%和29.7%。消融分析支持了整合架构的有效性，自适应模态权重揭示了目标依赖模式。该研究展示了生成增强多模态融合在解码感性相关产品印象方面的潜力，为神经反馈驱动的闭环协同设计提供了方法基础。

三、关键技术方法

GAMAF采用特征空间的条件Wasserstein生成对抗网络（cWGAN-GP）进行数据增强，以丰富训练分布并保留跨特征依赖。跨模态注意力通过缩放点积注意力实现模态间信息交换，图注意力网络（GAT）将三个模态表示作为节点进行信息聚合，自适应模态加权通过门控网络为不同评价目标分配归一化权重。特征选择采用随机森林（Random Forest）和XGBoost进行重要性排序，结合归一化互信息（NMI）去除冗余特征，最终通过LASSO回归获得稀疏特征子集。验证采用五折参与者分组交叉验证，内层验证用于超参数选择，外层测试用于性能评估，严格防止数据泄漏。

四、研究结果

4.1 预测性能比较：GAMAF在吸引力、创新性和友好性上的R2值分别为0.810、0.850和0.840，均优于多模态Transformer基线（0.75、0.78和0.76），MAE和RMSE分别降低约29.6%和29.7%。

4.2 消融分析：通过移除各架构组件，验证了条件生成增强、跨模态注意力、图交互和自适应加权对整体性能的贡献，结果支持整合架构的有效性。

4.3 模态权重分析：自适应模态权重在不同评价目标上呈现差异模式，表明不同产品印象可能依赖不同的模态表征，但权重被解释为计算诊断指标而非因果生理通路。

4.4 合成特征质量评估：采用最大均值差异（MMD）、Wasserstein距离和辅助下游任务评估合成特征质量，综合衡量分布覆盖、标签一致性和预测效用。

4.5 生理特征类别差异：对低、中、高评分类别的生理变量进行单因素方差分析（ANOVA）和Tukey事后检验，结果作为类别分离的描述性统计而非确证性证据。

五、讨论与结论

讨论部分指出，GAMAF展示了生成增强多模态融合在解码感性相关产品印象方面的潜力，但性能比较仍属描述性，基线变异性和参与者层面不确定性未被量化。研究将潜在权重解释为计算诊断而非因果生理通路，并强调注意力系数本身不构成对模型预测的完整解释。研究结论认为，GAMAF为基于多模态心理生理信号的产品印象预测提供了有效框架，但未来需在未见产品设计和闭环设计优化上进一步验证，以确立其泛化能力和实际应用价值。该研究为神经反馈驱动的闭环协同设计（neurofeedback-driven human-in-the-loop co-design）奠定了基础。