基于层次化知识增强提示学习的抑郁症多模态精细融合辅助诊断模型研究

为解决抑郁症诊断中特征学习困难及多模态融合不精准的问题，山东省级科研团队提出Hierarchical Knowledge-Enhanced Prompt Fusion (HKEPF)模型。该研究通过心理学知识嵌入和分层提示学习框架，实现文本、音频、视觉数据的细粒度融合，实验证明其诊断准确率超越传统方法，为精神健康领域提供可解释性更强的AI辅助工具。

　　

抑郁症作为全球范围内高发的复杂精神疾病，其诊断长期依赖主观性强的临床访谈和自评量表，存在诊断偏差大、症状评估片面等痛点。尽管AI技术已应用于单模态（如自然语言处理分析文本、声学特征识别语音异常、计算机视觉捕捉面部微表情）的抑郁症辅助诊断，但单一数据源难以全面反映患者状态，而现有跨模态融合方法又面临特征相关性低、模型"黑箱"等挑战。

针对这一难题，山东省自然科学基金资助团队在《Expert Systems with Applications》发表研究，提出创新性的层次化知识增强提示融合模型HKEPF。该模型通过三级架构突破技术瓶颈：左侧采用分层提示学习生成自适应提示词，分别指导单模态特征提取和多模态融合；中部构建跨粒度融合模块整合文本、音频、视觉数据；右侧引入精神科专业知识库优化特征选择。研究使用公开数据集EATD-Corpus和DAIC-WOZ进行验证，这些数据包含临床访谈的多模态记录。

关键技术方法包括：1）分层提示学习框架，通过底层单模态提示、中层融合提示、高层决策提示实现渐进式特征优化；2）心理学知识图谱嵌入，将DSM-5诊断标准等专业知识转化为特征筛选规则；3）跨模态注意力机制，建立文本韵律与面部表情的关联映射。

研究结果显示：

1. 抑郁症辅助诊断：相比传统CNN-LSTM基线模型，HKEPF在F1值上提升12.7%，特别在识别情感淡漠和认知迟缓等核心症状时表现突出。
2. 模型架构验证：消融实验证实，移除知识增强模块会使特异性下降9.3%，而去除分层提示则导致多模态特征对齐失效。
3. 临床可解释性：通过可视化提示词权重，发现"语速减缓_audio
   "与"眉心肌活动度_visual
   "的强相关性，这与精神科运动抑制症状的病理机制高度吻合。

结论部分指出，HKEPF模型通过知识引导的层次化学习，首次实现抑郁症多模态诊断的精度与可解释性双重突破。其创新点在于：将 psychiatric knowledge（精神病学知识）转化为可计算的提示向量，避免传统深度学习"端到端"模式的盲目性；采用granular fusion（细粒度融合）策略，在保留模态特异性的同时建立症状级关联。该研究为精神健康AI领域提供新范式，未来可扩展至双相障碍等共病诊断，但当前局限在于对文化差异因素的适应性不足，需通过多中心临床数据进一步验证。