《Applied Sciences》：Automated Feature-Level Analysis of the Draw-a-Person Test Using a Hybrid CNN and Rule-Based Framework
编辑推荐：
绘人测验（Draw-a-Person, DAP）长期以来是心理与发展评估中广泛使用的实用工具，通过人形图画测量儿童的认知发展。然而，其传统评分过程依赖专业人员的手动检查，主观性高且难以规模化。为解决这些问题，本研究提出了一种混合方法，结合基于深度学习的视觉识别
绘人测验（Draw-a-Person, DAP）长期以来是心理与发展评估中广泛使用的实用工具，通过人形图画测量儿童的认知发展。然而，其传统评分过程依赖专业人员的手动检查，主观性高且难以规模化。为解决这些问题，本研究提出了一种混合方法，结合基于深度学习的视觉识别与基于规则的结构推理，用于儿童DAP图画的自动化评估。具体而言，该模型基于40个特征对图画进行评估，包括解剖部位、外观衍生属性以及高层结构绘图关系。基于ResNet-50模型的多标签卷积神经网络（Convolutional Neural Network, CNN）预测可见特征，而基于规则的几何推理用于推断结构，包括连接、比例、对称性和位置。这两个方面被融合为单一的混合表征，产生与发育评估标准一致的、可解释的特征评分。所提出的框架在多个特征分析中表现优异，在测试数据集上达到微观F1（Micro-F1）95.32%和宏观F1（Macro-F1）91.72%，即使在罕见特征上也展示了稳健的多标签分类能力。该方法为评估绘人图画提供了有前景的方法，同时提供可靠的特征分析与评分能力，能够准确检测解剖特征并合理检测结构和高层特征，尽管儿童绘画风格具有挑战性多样性。强制的基于规则的结构推理提高了可解释性和客观性。研究人员未来的工作包括将框架扩展以涵盖更详细的DAP特征。
研究背景与动因方面，绘人测验自1926年由Florence Goodenough开发以来，一直是教育、临床和心理环境中评估儿童发育与认知成熟度的常用工具，其相对简便、经济、对言语智力依赖低等优势使其广受欢迎。然而，传统评分系统要求经验丰富的专业人员手动分析图画的多种解剖和结构元素，评估身体部位的存在性、比例、连接正确性等细节，这一过程耗时耗力且主观性强，评估者间的一致性难以保证，尤其涉及比例、维度表现和结构连续性等复杂发育特征时变异更大。此外，早期认知技能评估需求日益增长，传统方法难以满足大规模测试需求，且在专业人员短缺的农村或偏远地区难以实施。人工智能、计算机视觉和深度学习的发展为改进基于图画的心理测验提供了可能途径，已有研究表明卷积神经网络能有效学习抽象手绘图像的判别性表征。
研究人员开展的这项研究旨在将DAP图画的传统手动评估流程改进为自动化评估技术。研究基于Goodenough绘人测验评分表，从52个属性中筛选出40个可可靠映射到现有图像数据和注释信息的属性进行自动化，其余12个因需要更细粒度的注释和视觉信息而被排除。这40个特征按视觉清晰度和检测复杂度分为三个层级：高层特征（16个，包括头、躯干、四肢等基本身体部位）、中层特征（24个，涉及服装细节、手指计数、关节活动和身体比例规则）和低层特征（更精细的解剖特征和运动协调细节，如眼睛细节、耳朵位置、侧视图描绘和整体对称性，本研究未纳入）。研究同时建立了另一种层级组织——基于计算提取策略的组织：高层特征对应基于规则的结构推理，中层特征对应混合外观衍生特征（CNN视觉检测与基于规则的推理结合），低层特征对应纯CNN外观特征。研究采用948幅儿童手绘DAP图像的数据集，每幅图由专家按8个发育阶段评估（对应4至11岁心理年龄），图像经手动标注10个主要解剖特征的边界框。数据集分为训练集（594幅）、验证集（128幅）和测试集（128幅），并针对类别不平衡问题设置了1.0至10.0的正类权重。
研究得出的核心结论包括：所提出的混合架构在独立测试集上达到Micro-F1 0.9532和Macro-F1 0.9172的优异性能；五折交叉验证显示稳定性能（Micro-F1 0.952±0.005，Macro-F1 0.914±0.006）；三类特征分类别分析显示CNN视觉特征平均F1 0.93、混合外观衍生特征F1 0.89、基于规则的结构特征F1 0.87；与专家注释的分类一致性达到精确率0.872、召回率0.852、F1 0.862和准确率0.848。研究意义在于提供了首个完全自动化的DAP评估方法，无需人工参与即可实现40个解剖和结构特征的客观一致评估，混合推理框架兼具深度学习的表征能力和规则推理的可解释性，为发展心理学中的自动化认知评估提供了可扩展的解决方案。该论文发表于《Applied Sciences》。
研究采用的主要关键技术方法包括：基于ImageNet预训练的ResNet-50骨干网络进行迁移学习，提取2048维外观表征，早期卷积层冻结、第3和第4层解冻以适应手绘图像；多标签CNN同时检测10个主要解剖结构（头、颈、眼、鼻、耳、口、发、躯干、手、腿）；基于边界框的几何推理模块计算12维结构描述向量（包括解剖部分密度、细节分布、头躯干比、臂躯干比、腿躯干比、重叠一致性、连接指标等），通过坐标分析、重叠计算、空间包含、对称约束和比例测量评估空间关系和比例一致性；特征级融合将CNN外观表征与几何结构向量拼接为2060维混合特征向量，经全连接层和Sigmoid激活实现40个二元发育特征的同步预测；采用Adam优化器、数据增强（水平翻转、小角度旋转、缩放、亮度对比度调整）、早停策略和特征特定阈值优化（基于验证集F1最大化）。
研究结果部分依据原文小标题展开：
CNN-based Primary Visual Feature-Detection Performance：10个CNN基础视觉特征检测性能显示，眼睛（F1=1.000）、头（F1=0.996）、躯干（F1=0.996）、腿（F1=0.996）、手（F1=0.991）等视觉显著、结构稳定的特征表现近乎完美，而头发（F1=0.887）、鼻（F1=0.849）、颈（F1=0.842）、耳（F1=0.786）等小而多变的特征表现相对较低。
Hybrid Appearance-Derived Feature Performance：混合外观衍生特征提取平均精确率、召回率、F1和准确率约为0.89、0.91、0.89和0.89，服装、透明度、完整服装等视觉清晰特征表现良好，关节相关和比例特征也表现较强，但拇指对指（opposition of thumb）、鼻孔、手指细节等细微模糊特征准确性较低。
Rule-Based Structural-Reasoning Performance：基于规则的结构推理在头位于躯干上方（F1=0.992）、手臂连接躯干（F1=0.980）、腿连接躯干（F1=0.992）、面部特征在头区域内（F1=0.970）等空间关系清晰的特征上表现优异，但颈部连接、头部比例正确、插入区正确、颈部轮廓连续性等需要更精细结构推理的特征表现相对较弱。
Overall Hybrid-Framework Performance：整体混合框架在所有40个特征上达到准确率0.933、精确率0.931、召回率0.943、F1 0.933，Micro-F1 0.9532，Macro-F1 0.9172，2360个真阳性和2504个真阴性，138个假阳性和118个假阴性。
Feature-Detection and Scoring Performance：展示了特征检测和评分的完整流程，包括从输入DAP图画到解剖特征检测、外观和结构特征提取、混合特征融合，最终生成40维特征向量和可解释评分（示例中30/40分），整个过程无需人工输入。
讨论部分，研究人员对系统行为进行了全面的特征层级分析。视觉显著、结构简单且一致性高的特征（如眼睛、头、躯干、腿、手、口）达到近乎完美的检测准确度（F1 0.992-1.000），这归因于其大尺寸、一致的空间位置和清晰的视觉表征。依赖视觉细节或绘画风格多变的特征（如鼻、发、肩指示、服装完整性、双侧肢体、鼻孔）获得中等性能，系统在儿童绘画差异中仍保持稳定。需要精确空间和比例推理的特征（如耳、颈、手指细节、颈部轮廓连续性、肩指示、 limbs-trunk连接、头部比例正确、插入区正确）表现较低，因其依赖边界框精度和儿童绘画的变异性，但基于几何和空间推理的自动化方法仍有助于提升结构分析的准确性。这些结果证实了混合模型结合视觉检测和结构推理进行可靠DAP评估的有效性。
研究结论部分翻译如下：本工作介绍了一种层级混合架构，通过结合基于深度学习的视觉特征提取与基于规则的结构推理，实现儿童绘人测验图画的自动化评估。所提出的模型检测、分析并评估DAP图画的40个特征，分为三类：CNN提取的视觉特征、基于外观的特征和基于规则的结构特征。所建议的层级结构使模型能够检测视觉解剖存在性和结构组织。实验结果表明在该领域具有前景和可靠能力，所提出的方法在独立未见过测试数据集上获得Micro-F1和Macro-F1分别为0.9532和0.9172。按特征类别分析进一步显示所有三类特征组性能优异，CNN视觉特征平均F1 0.93，混合外观衍生特征F1 0.89，基于规则的结构特征F1 0.87。这些结果证实结合深度学习与几何推理可提高稳健性和可解释性。基于特征的分析结果显示，对头等易见身体部位实现完美识别，而对耳、鼻、手指细节、颈部连接等较小特征观察到中等结果，这可归因于儿童绘画的差异性，表明需要整合视觉检测和结构推理方法。此外，五折交叉验证显示稳定性能（Micro-F1 0.952±0.005，Macro-F1 0.914±0.006），证实了所提出框架的稳健性和泛化能力。
然而，当前研究存在若干局限性。首先，儿童绘画内部变化多样，细微结构难以检测。另一可能局限是与类似计算机视觉研究相比数据集规模较小。基于规则模型的性能可能受边界框精度影响，在部分绘制的图画中可能受损。此外，当前特征提取模型设计仅涵盖52个Goodenough–Harris特征中的40个。未来研究方向包括：开发分析其余12个Goodenough–Harris特征的新方法；使用包含更多图像变化的不同数据集；以及实现基于深度学习的先进方法，如transformer或可解释AI模型。总体而言，所提出的混合方法证明对绘人测验结果的自动化评估有效且灵活，将视觉特征识别与规则推理相结合，标志着发展性绘画自动化分析领域的重要里程碑。
