《Future Internet》：Comparative Analysis of Transfer Learning Architectures for Human Posture Classification Using Silhouette Images
编辑推荐：
人体姿态分类是智能监控、康复、辅助系统与人机交互领域的一项重要计算机视觉任务。本研究在统一实验协议下，对四种迁移学习配置TL-ResNet-18、TL-ResNet-50、TL-MobileNet与TL-Xception进行了对比评估，用于从剪影图像中分类四种
人体姿态分类是智能监控、康复、辅助系统与人机交互领域的一项重要计算机视觉任务。本研究在统一实验协议下，对四种迁移学习配置TL-ResNet-18、TL-ResNet-50、TL-MobileNet与TL-Xception进行了对比评估，用于从剪影图像中分类四种人体姿态（站立、坐姿、躺卧与弯腰）。各架构在相同数据集划分、预处理、数据增强流程及主要训练设置下进行评估，同时保留各架构特有的微调配置。研究采用准确率（Accuracy）、F1分数（F1-score）与受试者工作特征曲线下面积（ROC-AUC）对训练集、验证集与测试集上的性能进行评估。在评估的架构中，TL-MobileNet取得了最强的整体留出集分类性能，测试准确率为93.47%，F1分数为93.00%，ROC-AUC为99.25%。TL-Xception取得了相同的测试ROC-AUC（99.25%），但测试准确率较低，为92.08%；TL-ResNet-18与TL-ResNet-50的测试准确率分别为91.81%与90.00%。结果表明，所评估的迁移学习配置之间存在性能差异。在所评估的ResNet配置中，网络深度的增加并未在评估条件下带来分类性能的提升。基于剪影的姿态分类在支持未来以人为中心的智能应用方面展现出潜力，同时可减少对外观丰富图像的依赖。跨数据集泛化能力、计算效率及实时部署性能仍需进一步评估。
一、研究背景与研究动机
人体姿态识别是计算机视觉领域的重要研究方向，在智能监控、康复医疗、辅助技术、运动分析与人机交互等场景中具有广泛应用价值。准确区分站立、坐姿、躺卧与弯腰等基本身体构型，可为观察或响应人体物理状态的系统提供重要的上下文信息。在实际应用中，姿态识别系统需在身体构型与图像质量存在变化的情况下保持可靠的分类性能。
视觉姿态识别的一个核心问题在于人体表征方式的选择。传统RGB图像不仅包含姿态相关信息，还包含服装、纹理、光照、面部或外观信息以及背景上下文。这些视觉线索可能辅助分类，但也可能引入干扰性变化，并暴露与身体构型识别无关的信息。剪影表征提供了一种替代方案：在保留人体轮廓与整体几何结构的同时，抑制大部分外观与场景信息。剪影因此为姿态分析提供了紧凑的表征形式，并适用于注重隐私的视觉监控场景。然而，去除外观信息也使得识别高度依赖身体几何形态与剪影质量。遮挡、身体可见性不完整、截断、肢体重叠以及几何上相似的姿态，均可能对基于剪影的分类构成挑战。
深度卷积神经网络（CNN）在视觉识别领域取得了显著进展，但从头训练深度网络通常需要大规模标注数据集与大量计算资源。姿态识别任务的数据集往往远小于通用图像数据集，迁移学习为此提供了可行的替代方案：将大规模源数据集学习到的表征迁移适配至目标分类问题。
已有研究对多种预训练CNN架构进行了姿态分类探索，包括VGG、Inception、DenseNet、ResNet、MobileNet与Xception等。这些架构在深度、连接方式、卷积运算与计算设计上差异显著。然而，既有研究采用的数据集、类别定义、图像表征、预处理流程、增强策略与验证协议各不相同，独立研究报告的性能差异无法归因于架构选择还是实验条件差异。这一局限在基于剪影的姿态识别中尤为突出：现有迁移学习文献多关注RGB图像、姿态表征、瑜伽图像或传感器信号，对剪影表征下迁移学习架构的受控比较关注有限。此外，既有比较研究多强调最终分类准确率，对泛化行为与分类错误特征关注不足。
基于上述研究空白，本研究提出三个研究问题：RQ1，在统一实验协议下，TL-ResNet-18、TL-ResNet-50、TL-MobileNet与TL-Xception在剪影图像四类人体姿态分类中的表现如何比较；RQ2，综合考虑训练、验证与测试性能，哪种迁移学习配置展现出最强的泛化行为；RQ3，各迁移学习配置在剪影姿态识别中呈现何种类别级错误模式。
二、研究内容与主要结论
为回答上述问题，研究人员对四种迁移学习配置在四类人体姿态分类任务上进行了受控对比评估。模型使用同一剪影数据集与统一实验协议，包括相同的预处理与增强流程、70%/15%/15%的训练-验证-测试划分、40轮训练计划及相同的评估标准。实验结果显示四种架构在分类与泛化行为上存在有意义的差异。TL-MobileNet取得了最强的整体测试性能，准确率为93.47%，F1分数为93.00%，ROC-AUC为99.25%。TL-Xception取得了最高的验证准确率95.56%，并与TL-MobileNet共享99.25%的测试ROC-AUC。TL-ResNet-18与TL-ResNet-50的留出集准确率较低。混淆矩阵分析进一步显示，四种姿态类别中均存在分类错误，为考察类别级错误模式提供了基础。
本研究的主要贡献包括：在统一实验协议下对四种CNN架构进行对比评估；通过训练、验证与测试三个分区的Accuracy、F1-score与ROC-AUC指标考察模型泛化行为；通过混淆矩阵与类别特异性Precision、Recall与F1-score刻画类别级预测行为；在评估条件下，TL-MobileNet取得了最高的测试Accuracy与F1-score，TL-MobileNet与TL-Xception取得了相同的测试ROC-AUC。
三、关键技术方法
研究人员采用了以下主要技术方法：其一，使用来自Kaggle仓库的人体姿态数据集，包含4800张剪影图像，四类姿态各1200张，图像标准化为512×512像素后统一缩放至96×96像素输入；其二，采用Keras ImageDataGenerator对训练图像进行数据增强，包括15°旋转、0.1的宽高位移、0.8–1.2亮度范围、0.15剪切、0.1缩放及水平翻转；其三，数据集按70%/15%/15%进行类别分层划分，测试子集在训练与调参过程中严格保持不可见；其四，采用ImageNet预训练权重的迁移学习框架，冻结浅层特征提取层并对选定深层进行微调；其五，四种架构均采用Adam优化器、初始学习率0.0003、批大小32、稀疏分类交叉熵损失函数，训练上限40轮，早停机制监测验证准确率。
四、研究结果
4.1 总体性能对比
测试集上，TL-MobileNet取得了最高Accuracy（93.47%）与F1-score（93.00%），TL-Xception以92.08%的Accuracy与92.00%的F1-score位居其后。TL-ResNet-18的Accuracy为91.81%，F1-score为92.00%；TL-ResNet-50两项指标均为90.00%。ROC-AUC方面，TL-MobileNet与TL-Xception共同取得最高测试值99.25%，两种残差架构均为98.50%。实验未跨多个随机种子重复，结果应视为描述性而非统计显著性证据。
4.2 训练、验证与测试行为
TL-ResNet-50的训练、验证与测试准确率分别为92.20%、91.81%与90.00%，训练与测试差异为2.20个百分点。TL-ResNet-18的训练准确率为91.55%，验证准确率为93.06%，测试准确率为91.81%，测试准确率高于训练准确率0.26个百分点。TL-MobileNet的训练准确率为96.70%，验证准确率为95.42%，测试准确率为93.47%，训练到测试的差异为3.23个百分点。TL-Xception的训练准确率为95.18%，验证准确率为95.56%，测试准确率为92.08%，训练与测试差异为3.10个百分点。TL-Xception取得了最高验证准确率，而TL-MobileNet取得了最高测试准确率，说明仅依据训练或验证结果无法全面评估模型行为。
4.3 Accuracy、F1-score与ROC-AUC对比
三种指标提供了互补的评估视角。TL-MobileNet在Accuracy与F1-score上均排名第一，TL-Xception的测试Accuracy位居第二，TL-Xception与TL-ResNet-18的F1-score相同（92.00%），TL-ResNet-50两项指标均为最低（90.00%）。ROC-AUC方面，所有架构均取得较高值（98.50%–99.25%），TL-MobileNet与TL-Xception共同取得最高值99.25%。TL-MobileNet在ROC-AUC上并未超越TL-Xception，说明相对排名取决于所考虑的评估标准。
4.4 模型特异性分类行为
TL-ResNet-50取得了最低的测试Accuracy与F1-score（均为90.00%），但测试ROC-AUC仍达98.50%。TL-ResNet-18的测试Accuracy为91.81%，F1-score为92.00%，ROC-AUC同为98.50%。在评估条件下，TL-ResNet-50配置相对于TL-ResNet-18并未提升留出集分类性能。TL-MobileNet取得了最高整体测试性能（Accuracy 93.47%，F1-score 93.00%，ROC-AUC 99.25%），但结果不应被解读为计算效率优越的证据。TL-Xception的测试Accuracy为92.08%，F1-score为92.00%，ROC-AUC为99.25%，测试Accuracy较TL-MobileNet低1.39个百分点。
4.5 错误与误分类分析
混淆矩阵分析显示，站立到坐姿的误分类是四种配置中最一致的定向错误。TL-ResNet-50将180个站立样本中的15个（8.33%）分类为坐姿，其余三种架构各将13个（7.22%）站立样本分类为坐姿。反向的坐姿到站立错误则不对称：TL-ResNet-50误分类15个（8.33%），TL-ResNet-18为6个（3.33%），TL-MobileNet为1个（0.56%），TL-Xception为4个（2.22%）。TL-ResNet-18将8个躺卧样本分类为站立、8个分类为弯腰（各占4.44%）。TL-MobileNet将7个躺卧样本分类为坐姿（3.89%）、5个分类为站立（2.78%）。TL-Xception的站立类别Recall最低（0.84），除13个站立样本分类为坐姿外，还有8个分类为躺卧（4.44%）、7个分类为弯腰（3.89%）。类别特异性指标显示，TL-ResNet-50的坐姿F1-score最低（0.85），TL-ResNet-18的躺卧Recall最低（0.88），TL-MobileNet与TL-Xception的弯腰F1-score最高（分别为0.96与0.95），TL-Xception的站立F1-score最低（0.89）。
五、讨论与结论
讨论部分指出，实验结果表明网络深度增加并不必然带来剪影姿态分类性能的提升。TL-ResNet-50未超越较浅的TL-ResNet-18，TL-MobileNet取得了最高留出集Accuracy与F1-score。TL-MobileNet与TL-Xception均采用深度可分离卷积，取得了最高测试ROC-AUC。研究强调，独立研究间性能值的直接数值比较应谨慎对待，因为数据集、输入表征、姿态定义、模型配置与评估协议均存在差异。研究结果描述的是评估数据集、划分与实现的迁移学习配置，不构成统计显著或普适的优越性证据。
研究结论为：本研究在统一实验协议下对比评估了四种迁移学习配置用于剪影图像四类人体姿态分类。TL-MobileNet取得了最高测试Accuracy（93.47%）与F1-score（93.00%），并与TL-Xception共同取得最高测试ROC-AUC（99.25%）。TL-ResNet-18与TL-ResNet-50的测试准确率分别为91.81%与90.00%。在评估条件下，TL-ResNet-50配置相对于TL-ResNet-18未提升留出集分类性能。类别级分析显示站立到坐姿的混淆是最一致的定向错误。研究存在若干局限，包括图像级而非经核实的受试者独立划分、单一实验划分未进行多随机种子重复、架构特异性微调配置、固定96×96输入分辨率未进行多分辨率分析，以及未评估计算效率与设备级部署性能。未来工作应包括受试者独立评估、多随机种子重复实验、更大规模独立数据集验证、多分辨率分析、自动分割剪影评估、标准化微调配置，以及在移动、嵌入式与IoMT平台上的计算基准测试。
