《Technologies》：Edge-Based Facial Emotion Recognition for Nurse-Assistive Robots Using a Compact CNN
编辑推荐：
面部情绪识别（FER）可为人机交互提供补充性情感信息，但在资源受限的辅助机器人上部署需在识别性能与计算效率间取得平衡。研究人员提出一种基于边缘计算的FER框架，采用紧凑卷积神经网络（CNN）处理48×48灰度人脸图像，保留FER-2013全部七类表情。为缓解类
面部情绪识别（FER）可为人机交互提供补充性情感信息，但在资源受限的辅助机器人上部署需在识别性能与计算效率间取得平衡。研究人员提出一种基于边缘计算的FER框架，采用紧凑卷积神经网络（CNN）处理48×48灰度人脸图像，保留FER-2013全部七类表情。为缓解类别不平衡，采用平方根平滑逆频率加权，避免过度强调稀有类。在留出FER-2013测试集上，所提模型准确率达63.78%、宏F1达59.32%，优于所评估的ImageNet预训练MobileNetV2与MobileNetV3-Small基线。INT8训练后量化（PTQ）使模型相对FP32减小74.13%，准确率与宏F1仅分别下降0.91与0.50个百分点。在Raspberry Pi 3 Model B+上，INT8平均纯模型推理延迟19.30 ms、吞吐51.82 FPS。在演员不交叠的RAVDESS协议（416段视频）下，指数移动平均（EMA）稳定化使留出测试演员的预测切换减少54.86%。结果表明紧凑边缘FER用于辅助机器人交互可行，但框架仅提供补充情感线索，非临床诊断或自主决策。
研究背景与动机
现代护理团队在时间压力下需兼顾给药、换药、记录与交接，同时维持有效床边沟通；可观察的情绪线索能为理解患者情感状态提供上下文，但医院环境中光照变化、侧卧、偏离轴视角、遮挡与运动模糊使传统基于相机的感知难以稳定识别细微动态表情。现有医院机器人多用于送药、远程医疗与物流，缺乏情感感知能力。边缘计算可在本地完成推理，降低通信延迟与对外传输原始人脸视频的需求，但树莓派等资源受限平台对内存、算力与功耗有严格限制。因此，研究人员开展一项面向护士辅助机器人、兼顾七类识别性能与嵌入式效率的紧凑FER框架研究，论文发表于《Technologies》。
主要关键技术方法
研究人员使用FER-2013（35887张48×48灰度图，七类）按固定种子分层划分训练/验证/测试；对比ImageNet预训练MobileNetV2与MobileNetV3-Small（输入重缩放到96×96×3）。网络为从零训练的紧凑CNN（四卷积块32-64-128-256滤波器，3×3卷积+ELU+批归一化+最大池化+Dropout，全局平均池化（GAP）后128维全连接，Softmax七类输出，约1.21M参数）。训练采用Adam、标签平滑ε=0.1、平方根平滑逆频率类加权；用±30°旋转、剪切、缩放、平移、水平翻转增强。部署端转TensorFlow Lite的FP32/FP16/INT8（INT8中ELU走float32回退）；树莓派3B+用XNNPACK测纯模型延迟。视频端用OpenCV Haar Cascade检脸，帧级概率经EMA稳定；RAVDESS取演员不交叠开发/测试集（416视频）评跨域时序；另用Rapoo C260相机单被试试点。
研究结果
3 所提FER框架
框架含检脸与预处理、紧凑CNN推理、EMA时序稳定化、可选痛苦敏感辅助线索（Sad+Fear概率≥0.30触发）。Haar Cascade取最大脸，转48×48灰度归一到[0,1]，无关键点对齐。
3.3 紧凑CNN
由四卷积块逐级升通道降分辨率至3×3×256，GAP压成256维，经128单元ELU全连接后Softmax。纯帧级分类器，非时序模型。
3.4 不平衡感知训练
平方根平滑逆频率加权将Disgust权重由线性逆频率的9.3966降至2.4382，避免少数类主导。配合标签平滑。
3.5 时序预测稳定化
对帧级Softmax向量做EMA，α∈{0.2,0.4,0.6,0.8}在RAVDESS开发演员选优，仅稳时间不长判别力。
3.6 痛苦敏感辅助线索
τ=0.30由验证集选定，Sad+Fear概率和过阈得二值线索，不改七类输出。
3.7 嵌入式机器人集成
转TFLite部署于树莓派3B+；INT8非全整数（ELU float32回退）。树莓派基准仅测CNN推理，不含检脸与前处理。
5.1 类加权策略
P1无加权/P2线性逆频/P3平方根平滑：P3测试准确率63.78%、宏F1 59.32%最优；P2因Disgust权重过大致Fear/Sad召回崩塌，P3平衡恢复。
5.2 七类性能
Happy（F1 86.47%）、Surprise（75.94%）易分；Fear召回仅35.06%最难；Neutral高召回低精度，承接不确定样本；Disgust测试支持仅111张须谨慎。
5.3 对比MobileNet基线
P3准确率与宏F1超MobileNetV2（+2.97%/+2.39%）与MobileNetV3-Small（+8.40%/+8.38%）；参数量约为MobileNetV2的53.4%，但FLOPs更高，优势来自48×48灰度专用设计而非通用碾压。
5.4 TFLite量化
INT8存1223.8KB（较FP32减74.13%），准确率降0.91%、宏F1降0.50%；各类召回有升有降，决策边界微扰非均匀退化。
5.5 树莓派3B+推理
INT8均值延迟19.30ms（较FP32降42.70%）、吞吐51.82FPS、P95 20.60ms、峰值RSS最低；FP16仅省存储不提速。数据为纯模型推理，非端到端相机到情绪吞吐。
5.6 痛苦线索阈值
τ=0.30验证集F1 67.80%最高，测试集F1 67.10%；误报多来自Neutral/Angry，属概率辅助非诊断阈。
5.7 RAVDESS跨域时序
留出演员片段准确率49.52%、宏F1 49.01%；Happy跨域召回100%，Fear/Disgust/Surprise低于30%；EMA α=0.4使切换降54.86%（20.726→9.356/视频），准确率微升0.48%，证明EMA主效为稳时非提判。
5.8 机器人代表试点
Rapoo C260单被试56视频前脸检测率100%；但盲审发现Sad八段均无可视悲伤、Disgust无特异线索、39段目标表情持续过6s端点且27段未回Neutral，故3–6s窗诊断准确率39.09%仅作管线演示，非泛化估计。
5.9 总体讨论与局限
识性能与嵌入效率存在权衡：平方根加权+P3优于线性逆频与MobileNet基线；INT8仅微损精度换存储与延迟；跨域RAVDESS暴露Fear/Disgust/Surprise泛化弱；EMA稳时不补判别；局限含单随机种子、纯模型基准、RAVDESS为摆拍非患者、试点单被试标签不稳。框架为交互用情感感知原型，非临床级。
结论部分翻译
本研究提出一种面向资源受限护士辅助机器人平台的基于边缘计算的面部情绪识别框架。所提紧凑CNN处理48×48灰度人脸输入并保留全部七类FER-2013表情。为应对FER-2013严重类别不平衡，引入平方根平滑逆频率加权作为常规逆频率加权的缓和替代。所得P3配置在留出FER-2013测试集获准确率63.78%、宏F1 59.32%，且避免直接逆频率加权下的类级退化。在采用协议下，所提模型准确率与宏F1均高于所评估ImageNet预训练MobileNetV2与MobileNetV3-Small基线，尽管其估计FLOPs仍高于两移动架构。嵌入部署中，冻结模型转FP32/FP16/INT8 TFLite；FP16存减约49.74%且精度近无损，INT8 PTQ存减74.13%（4730.4KB→1223.8KB），准确率与宏F1仅降0.91与0.50个百分点。树莓派3B+上INT8均纯模型延迟19.30ms、吞吐51.82FPS，较FP32延迟降42.70%、吞吐升74.54%，为测试嵌入式平台最优精度–延迟–存储折衷；该测量仅含CNN推理，非相机到情绪全管线吞吐。RAVDESS跨域评估中EMA时序稳定化大幅降低帧间波动：开发演员选定α=0.4后，留出演员预测切换降54.86%，片段准确率与宏F1微升，证实EMA主职为时序稳定而非提升判别。机器人代表试点在前向Rapoo C260几何下检脸可靠，但数据审计暴露表情诱发与时序标注局限，使试点不能作主泛化指标。该框架应被视为人机交互用嵌入式情感感知原型而非临床决策系统；七类输出与痛苦敏感线索仅提供补充上下文，不支持诊断、分诊或自主治疗决策。未来工作应在装配机器人上测全相机到推理管线、测系统级功耗与电池自治、做重复种子实验、采可控多被试视频并独立校验表情与时序标注，并在代表医疗环境评估后方可考虑患者面临床使用。
