FractalMM架构：基于分形特征融合的隐私保护多模态抑郁症识别新范式

《Knowledge-Based Systems》：FractalMM Architecture: Fractal Feature Fusion for Privacy-Preserved Multimodal Depression Recognition

本文提出FractalMM架构，创新性地采用希尔伯特空间填充曲线（HSFC）将一维时序行为信号转化为二维分形图像，通过HSFC增强双注意力模块（HSFC-EDA）和音频特征编码器（HSFC-AFE）实现多模态特征融合，在保护原始生物特征隐私的前提下，为抑郁症客观诊断建立了兼顾性能与隐私安全的新范式（PHQ-8）。

　　

Highlight

HSFC特性分析与性能影响

除4.3.1节展示的对比性能外，深入理解HSFC特性对阐明其在抑郁症量化任务中的优越性至关重要。抑郁症识别本质上依赖于捕捉行为信号中复杂的时序动态特征。HSFC作为一种独特的空间填充曲线，擅长将一维时间序列数据（包括 gaze features 和 acoustic features）映射到具有卓越局部性保持能力的二维分形空间——这意味着原始信号中时间上接近的点在分形图像空间中也保持邻近。这种特性对于保留细微但关键的短期行为模式（如凝视漂移或语音节律的瞬时波动）至关重要，这些模式被证实与抑郁状态显著相关。相比之下，格拉姆角场（GADF）或连续小波变换（CWT）等其他表示方法可能在局部结构保存上存在不足。此外，HSFC生成的分形图像呈现出丰富的多尺度纹理模式，这些模式隐式地编码了从瞬时变化到长期趋势的跨时间尺度依赖关系，使卷积神经网络（CNN）骨干（如ResNet）能够有效提取与抑郁相关的分层特征。

结论

本文介绍了FractalMM架构，一个用于隐私保护多模态抑郁症识别的新颖且鲁棒的框架。通过开创性地将HSFC变换应用于眼动和声学时序数据，我们成功地将原始一维数据转换为结构化的二维分形图像。这种创新表征在本质上保留了关键的局部和全局时序动态的同时，通过其不可逆的变换过程主动解决了隐私问题。该架构集成了专门设计的模态特定深度学习路径：用于眼动的、结合了HSFC增强双注意力（HSFC-EDA）模块的ResNet骨干网络，以及用于音频的HSFC音频特征编码器（HSFC-AFE）。这种设计，结合分形特征融合策略，显著提升了对细微抑郁相关行为模式的表征能力。在E-DAIC数据集上的评估表明，FractalMM架构在PHQ-8评分预测上达到了领先性能。此外，其在ChaLearn First Impressions V2数据集上为大五人格识别任务取得领先结果，进一步证明了其鲁棒性和泛化能力。这项工作共同为客观、鲁棒且具有隐私意识的心理健康评估建立了一个强大的范式，展示了基于分形的多模态学习的独特优势。

资助

本研究受中国国家级大学生创新创业训练计划项目资助（项目编号：202511057039）。

代码可用性

本工作的源代码已在GitHub上公开可用，仓库地址为：https://github.com/Yishilalala/FractalMM-Architecture.git。

CRediT作者贡献声明

Junyi Gu:概念化，软件，可视化，初稿撰写。 Xiang Guo:概念化，调查，方法论，监督，审阅与编辑。 Yang Liu:概念化，方法论，审阅与编辑。 Linyu Dong:软件，验证，可视化。

利益冲突声明

作者声明不存在任何已知的竞争性财务利益或个人关系，这些利益或关系可能影响本工作报告的工作。

致谢

作者向7LAB和NeuroSense实验室的所有成员表示诚挚的感谢，感谢他们宝贵的支持和富有见地的讨论。