《Sensors》：Vision-Based Facial Analysis for Screening and Symptom Estimation of Mental Health Conditions: A Critical Narrative Review
编辑推荐：
面部视频提供了行为测量和摄像机衍生的生理信号，可能补充心理健康评估。然而，其临床解释取决于采集条件、参考标签、人群和评估方案。本批判性叙述性综述考察了用于心理健康筛查和症状估计的面部分析，区分了抑郁症、焦虑症状、实验性诱发压力及其他特定疾病评估任务。研究人员区
面部视频提供了行为测量和摄像机衍生的生理信号，可能补充心理健康评估。然而，其临床解释取决于采集条件、参考标签、人群和评估方案。本批判性叙述性综述考察了用于心理健康筛查和症状估计的面部分析，区分了抑郁症、焦虑症状、实验性诱发压力及其他特定疾病评估任务。研究人员区分了问卷定义的筛查标签、症状严重程度、实验性诱发的情感或压力以及临床医生确定的诊断。研究人员回顾了图像采集与预处理、面部动作单元（AU）与运动、远程光电容积描记法（rPPG）、时间架构和多模态融合。数据集资源根据证据用途进行分类，代表性定量结果均附有其目标、模态和验证条件，而非作为跨研究排名呈现。综合结果指出了三个反复出现的局限性：尽管视频帧数众多，但独立参与者数量较少；跨人群和记录领域的验证有限；基准预测与临床应用之间存在差距。准确的平均脉率估计并不能建立可靠的逐拍变异性或疾病特异性有效性。因此，研究人员强调参与者水平评估、概率校准、依赖于患病率的预测值、采集质量、知情同意和前瞻性临床评估。基础模型和纵向监测仍为研究方向，其增量价值必须与适当的基线进行比较来确定。当前证据支持对补充性筛查和决策支持工具的研究，而非自主诊断或已证明的疾病发作预测能力。
**1. 引言**
**1.1 范围与动机**：面部视频可提供行为测量和摄像机衍生的生理信号，可能补充心理健康评估，且无需接触式传感器。其临床解释取决于采集条件、参考标签、人群和评估方案。本文重点考察面部分析在抑郁、焦虑和压力研究中的应用，并强调不同目标（如筛查标签、症状严重程度、状态识别和诊断）之间的区别，同时指出预测疾病发作是独立的纵向任务。
**1.2 与以往综述的关系**：与已有视觉或音视频综述相比，本文强调采集约束、标签的临床意义以及结果解释的条件，并将远程光电容积描记法（rPPG）作为补充传感途径纳入讨论。
**1.3 综述方法与证据选择**：本文为批判性叙述性综述，通过多个数据库检索2019–2026年主要文献，尤其关注2022–2026年。证据按作用分类，并强调独立参与者数与视频帧数不能等同。定量结果仅在可识别任务和评估设置下报告，不进行跨研究排名。
**2. 临床任务、参考标准与解释**
**2.1 筛查、症状估计、状态识别与诊断**：筛查用于识别可能需要进一步评估的个体；症状估计预测特定症状量表得分；状态识别估计短暂或实验诱发的状态；诊断通过适当的临床评估建立。预测问卷定义的群体应称为筛查标签预测而非诊断。
**2.2 参考标准测量的内容**：不同工具如PHQ-8、PHQ-9、GAD-7和DASS-21具有不同量程和阈值，不能互换。数据集报告应包含工具版本、量表范围、阈值、评估者及评估时间。
**2.3 面部行为：依赖情境的关联**：面部测量是情境依赖的，而非疾病特异性。例如，一项纵向临床访谈研究发现头动幅度和速度随抑郁严重程度降低，但AU12、AU15、AU14的方向不一致，说明固定动作列表不能作为普适的抑郁面部特征。
**2.4 生理测量是一个独立的验证层**：rPPG需要接触式参考评估生理参数，针对预期症状或压力目标进行验证，并研究临床效用。药物、活动、睡眠和心血管状态应作为混杂因素记录。
**2.5 焦虑、急性应激与特定疾病任务**：急性应激识别和焦虑障碍是不同的目标。例如，一项实验研究用AU特征进行急性应激识别；另有研究用面部解析框架评估青少年焦虑，但其情感识别组件仅在CK+和FER2013上评估。双相障碍状态分类与在人群中检测双相障碍不同。
**3. 面部感知与特征提取**
**3.1 采集模态与测量约束**：摄像头是测量模型的一部分；rPPG需要检测微小的皮肤反射变化，对压缩、帧率、曝光、白平衡等敏感。压缩实验表明，编码格式和压缩级别显著影响心率平均绝对误差（MAE），匹配训练可部分缓解但严重压缩仍造成退化。其他传感器如近红外、热成像、深度和事件相机提供额外信息，但未建立精神病学筛查有效性。
**3.2 人脸定位、对齐与测量质量**：人脸检测、关键点估计和跟踪流程需文档化。对齐可去除相机相对运动，但也会移除可能是分析目标的头动。低质量帧的排除可能引入选择偏倚。
**3.3 行为特征与微表情资源**：OpenFace等工具提供关键点跟踪、头部姿态、AU识别和注视估计。AU是面部运动的描述，而非精神病学类别。微表情数据集如CASME II和SAMM支持方法开发，但不提供精神病学参考标准。
**3.4 学习到的空间、时间与关系表示**：空间编码器（如VGG-Face、ResNet）和时间模型（如C3D、I3D、视频Transformer）各有假设；图模型（如ME-GraphAU）显式建模AU关系。这些方法提供了建模途径，但不保证心理健康有效性。
**3.5 远程光电容积描记法（rPPG）**：算法包括经典方法（Poh、CHROM、POS）和深度学习方法（DeepPhys、PhysNet、RhythmNet、PhysFormer）。自监督方法如Contrast-Phys利用光谱一致性，但需检查周期性照明或运动伪影。验证分层假设：平均心率准确不等于逐拍变异准确；生理准确不等于疾病特异性。一项贝克抑郁量表第二版（BDI-II）回归研究中，rPPG特征仅在特定融合配置下显示互补性，且窗口长度仅6秒，解释长期变异需谨慎。皮肤色调鲁棒性需明确子组测试；在MMSE-HR中，皮肤类型VI组的MAE从8.77降至1.57 bpm。应激识别数据集如UBFC-Phys提供从生理恢复到实验压力的桥梁，但参与者分组细节仍需明确。
**4. 学习范式与架构权衡**
**4.1 目标与时间聚合**：目标应先行选择；二分切分、症状分数回归和压力状态识别目标不同。参与者水平分数附在多个短片段上时，片段不能视为独立个体。聚合属于模型设计的一部分。
**4.2 架构差异可以解释什么**：架构差异不是性能等级；预训练2D编码器、3D卷积、Transformer和图模型各有特定建模先验。要归因于某个成分，需固定参与者分割、预训练、输入时长和优化预算。
**4.3 多模态融合与缺失信息**：早期、中期和晚期融合各有优劣。在临床访谈中，语言可能直接包含症状报告，因此高多模态分数不证明面部信号独立性强；需与音频、文本及组合基线比较。
**4.4 预训练、数据稀缺与解释**：迁移学习和预训练可减少监督需求，但可能引入身份、人口统计或采集相关信息。虚假归因可能来自记录相关线索；例如，在AVEC 2014视频中，解释强调耳机和麦克风而非临床机制。
**5. 数据集与评估**
**5.1 数据集：人群、标签与适当使用**：数据集大小应以独立人数、会话数和帧数分别报告。DAIC-WOZ、E-DAIC等较小，FACES较大但人群不同。社交媒体数据集如D-Vlog使用内容派生的代理标签而非PHQ-9，因此“PHQ-9代理”是不准确的描述。影响预训练数据集有助于特征初始化，但不提供精神病学证据。
**5.2 定量证据及其可比性**：代表性结果按目标和基准分组，但作者未独立复现。例如，AVEC 2014官方协议保证会话分离但不保证参与者独立。研究内消融比跨研究排名更有信息量。不同指标可能产生不同结论：在AVEC 2019 E-DAIC上，多模态融合降低了RMSE约20.5%但CCC略有下降。vlog分类中，跨语料库实验使用了自定义分割，不能直接比较。FACES的结果受筛选策略影响，不能归因于架构改进。
**5.3 参与者水平验证与不确定性**：所有帧、重叠窗口、增强剪辑和重复会话必须保留在同一参与者的分割内。分类报告应包含正类定义、F1类型、灵敏度、特异性等；回归报告应说明量表和范围。不确定性应与推断单元匹配；参与者级引导优于逐帧重采样。
**5.4 患病率、阈值与临床解释**：预测值依赖患病率。示例计算：敏感性和特异性均为0.80时，患病率5%的阳性预测值（PPV）为17.4%，患病率20%时PPV为50.0%。阈值应反映随访路径和后果。问卷切分不是临床诊断的完美参考。
**6. 应用场景与证据要求**
**6.1 远程会诊与辅助筛查**：面部分析可用于支持已获同意的临床互动，但需证明其增量价值。压缩可能衰减生理信号，因此需在实际端到端路径上分别评估行为分析和rPPG。
**6.2 个人与纵向监测**：自然主义智能手机采集的缺失可能与症状或日常习惯相关。治疗反应预测、症状监测和未来恶化预测是不同端点，前瞻性研究必须避免使用结局之后收集的特征。
**6.3 社交媒体与真实世界研究**：vlog数据集可支持方法研究，但代理标签和编辑内容影响性能，且二手使用需要伦理和同意声明。
**6.4 特定人群解释**：学校筛查、住院评估和社区监测涉及不同人群和后果。狭窄样本的增益不能外推到其他年龄或合并症人群。
**7. 泛化、伦理与部署中的挑战**
**7.1 混杂与可迁移性**：模型可能利用人口统计或采集差异，而非临床变异。应报告协变量，进行分层和负对照分析。外部评估应区分人群、语言、设备、照明和压缩的变化。
**7.2 知情同意、二次使用与潜在危害**：面部记录可识别身份和健康信息。公开视频不构成精神病学推断的同意。部署评估应包括误报、错误否定、人口统计差异错误和不恰当使用。
**7.3 监管范围取决于预期用途**：欧盟人工智能法案禁止工作场所和教育中的情绪推断，但有医疗和安全例外。医疗软件资格和分类遵循医疗器械法规（MDR）框架；美国食品药品监督管理局（FDA）的临床决策支持指南定义了非设备排除标准。“决策支持”不自动豁免监管。
**8. 未来研究优先事项**
**8.1 基础模型与语言辅助系统**：大型预训练模型可减少标注需求，但其增量价值需与传统模型、转录基线和面部视频模型比较。语言解释需可追溯，防止幻觉。
**8.2 信号保持的适应与隐私**：域适应应保持目标测量信号，隐私技术需在具体威胁模型下评估效用。
**8.3 增量效益的前瞻性评估**：预先注册、临床指定的评估是下一步；需定义人群、比较器、参考标准、阈值和转诊路径。
**9. 结论**
面部视频提供了多种测量，技术潜力明显，但进展取决于透明数据溯源、参与者级评估、匹配比较、采集感知验证、校准和知情同意。应将其开发为补充筛查或决策支持工具，而非自主诊断系统。
