《Electronics》：Visual-Type Detection of Yuxian Paper-Cut Opera Figures for Digital Preservation of Intangible Cultural Heritage: A YOLOv8-SCSA-Based Approach
编辑推荐：
蔚县剪纸是中国剪纸中具代表性的区域性形式，已被列入联合国教科文组织认定的人类非物质文化遗产代表作名录。其戏曲人物图像因依赖人工专业知识进行解读与编目，难以实现规模化整理，而用于初步标注与检索的自动化工具仍较为有限。研究人员构建了域特定目标检测任务，建立包含92
蔚县剪纸是中国剪纸中具代表性的区域性形式，已被列入联合国教科文组织认定的人类非物质文化遗产代表作名录。其戏曲人物图像因依赖人工专业知识进行解读与编目，难以实现规模化整理，而用于初步标注与检索的自动化工具仍较为有限。研究人员构建了域特定目标检测任务，建立包含926张原始图像的数据集，涵盖976个标注实例，划分为三类操作性视觉类别：披甲人物、着袍人物与女性角色人物。研究人员基于YOLOv8n检测器，集成空间与通道协同注意力（Spatial and Channel Synergistic Attention, SCSA）模块与Inner-IoU回归策略进行改进。在测试集上，所得配置达到95.8%精确率、92.9%召回率、98.8% mAP@0.5与89.6% mAP@0.5:0.95，较YOLOv8n基线分别提升3.0、3.6、2.9与2.9个百分点，并在所述GPU配置下实现92.3 FPS的前向推理吞吐量。在评估的配置中，SCSA放置与Inner-IoU的结合在当前数据集与实验方案下取得最高整体检测性能。结果支持其用于蔚县剪纸戏曲人物资源的初步视觉类别标注、检索与整理。然而，发现基于小规模域特定数据集，需在替代数据划分与更广泛遗产集合上进一步验证。
研究背景方面，蔚县剪纸是源自中国河北北部的民间艺术形式，具有鲜明地域特征，于2006年列入首批国家级非物质文化遗产代表性名录，并于2009年作为中国剪纸的重要组成部分被列入联合国教科文组织人类非物质文化遗产代表作名录。与以单色为主的剪纸传统不同，蔚县剪纸主要采用阴刻刀工结合多色手染工艺，形成色彩鲜艳、结构清晰的手绘着色剪纸风格，反映地方民间信仰、伦理价值与审美传统。在其题材中，戏曲人物是最具代表性的图像类型之一，服饰结构、身体姿态、道具与色彩关系通常编码人物身份、特征与叙事角色，体现地方戏曲、民间美学与手绘剪纸工艺的融合。然而纸质作品易褪色、破损与遗失，相关图像资料分散于博物馆馆藏、图录与民间私人收藏中。现有整理方法主要依赖人工分类与专家判断，阻碍大规模保存、检索与系统管理。因此建立计算机辅助的视觉类别检测与结构化图像整理方法，成为数字化保存、数据库建设与后续活化的重要任务。现有蔚县剪纸研究多集中于民间艺术、民俗学、非遗保护与技术史，关注历史发展、工艺特征、题材谱系、艺人传承与文化内涵，为理解其历史、艺术与遗产价值提供重要基础，但对图像结构、类别边界与视觉特征的标准化标注与计算分析仍较有限。剪纸数字化研究已从图像采集、三维展示、虚拟传播扩展至深度学习、风格迁移、生成式人工智能与交互设计，计算机视觉也被应用于文化遗产语境下的图像分类、识别、检索与数字化管理，但现有工作多聚焦数字展示、图像生成与辅助设计，较少关注区域特定剪纸图像的数据集构建、视觉类别定义、特征提取与自动识别，限制其在结构化整理与语义检索中的应用。传统戏曲常用生旦净丑角色体系描述表演身份、唱腔、戏剧功能与舞台惯例，提供重要文化背景，但与本研究使用的目标检测类别处于不同概念层面，传统角色类别可能依赖人物身份、叙事语境、演唱实践或表演惯例，无法仅凭单张剪纸图像可靠判定。研究人员据此建立独立于传统角色体系的操作性检测方案，依据服装、头饰、武器或道具、身体姿态与角色相关外观等可从图像内容一致感知与标注的特征定义三类：披甲人物代表以盔甲、武器、背旗、护肩、武服或战斗相关姿态为特征的武将配置；着袍人物代表以官帽或冠冕、长袍、礼服、长髯、朝笏及其他文官视觉特征为特征的文官、官员或典礼配置；女性角色人物代表以裙装结构、披巾、凤冠、发饰及与戏曲女性角色常规相关姿态为特征的显性女性角色配置。类别标准由设计学、艺术学与戏曲相关视觉文化领域研究人员协商制定，基于可观察视觉线索综合判定，明确女性角色线索可见时优先归为女性角色，其余模糊案例经联合评审决定，评审后仍难归属者排除出最终数据集。
研究人员开展的研究为在926张原始图像上构建边界框标注数据集，划分披甲人物、着袍人物与女性角色人物三类操作性视觉类别，在YOLOv8n基线检测器中集成空间与通道协同注意力（SCSA）模块与Inner-IoU边界框回归损失进行改进，通过对比实验、组件消融、激活图可视化与错误分析评估所得配置在初步标注与遗产图像整理中的可行性与局限性。结论是所得YOLOv8n-SCSA结合Inner-IoU配置在测试集上精确率达95.8%、召回率92.9%、mAP@0.5达98.8%、mAP@0.5:0.95达89.6%，超过YOLOv8n基线，前向吞吐量为92.3 FPS，SCSA置于骨干网络P5层后及颈部选定上采样与拼接路径的组合放置策略取得最优整体检测性能，Inner-IoU辅助框缩放比ratio=0.6时总体检测性能最佳，五次独立训练运行均值精确率95.6%、召回率92.8%、mAP@0.5为98.7%、mAP@0.5:0.95为89.5%，标准差为0.2至0.4个百分点，表明固定数据划分下性能稳定。该研究意义在于提出面向蔚县剪纸戏曲人物的任务特定视觉类型检测方案，构建带边界框标注的三类数据集，将成熟目标检测技术适配于该遗产领域的视觉与记录需求，通过任务形式化、文化视觉特征转化、数据集构建与专家辅助工作流设计为初步视觉类别标注、检索与资源整理提供支持，论文发表于《Electronics》。
关键技术与方法方面，研究人员通过多源采集、人工筛选与质量评估获得926张蔚县剪纸戏曲人物原始图像，来源包括权威蔚县剪纸图录、博物馆资料、民间收藏与公开在线资源，按操作性视觉类别定义进行矩形边界框标注，以可见人物范围为边界框，包含可识别服饰结构、武器、道具与身体轮廓，多人物图像逐人标注，争议样本与边界不清者经二次评审仍模糊则排除。数据按7:2:1分层划分为训练集648张、验证集185张、测试集93张，仅对训练集中女性角色样本做光度增强以缓解类别不平衡，采用图像变暗、变亮与椒盐噪声三种光度增强模拟光照、扫描质量、老化与局部损伤变化，未用几何变换以避免破坏类别相关线索。模型以YOLOv8n为基线，在骨干网络P5层后与颈部选定路径插入SCSA模块，SCSA由共享多语义空间注意力（Shareable Multi-Semantic Spatial Attention, SMSA）与渐进通道自注意力（Progressive Channel-wise Self-Attention, PCSA）顺序组成，用于细化与类别相关区域的时空与通道响应；边界框回归阶段以Inner-IoU替代原CIoU重叠项，通过辅助框缩放比控制内部重叠区域权重，评估ratio为0.4、0.5、0.6、0.7、0.8。实验在NVIDIA RTX 4060 Ti GPU、Python 3.8、PyTorch 1.10、CUDA 11.0、Ultralytics YOLO 8.0.141环境下进行，输入尺寸640×640，训练200轮，批量大小8，优化器为随机梯度下降（Stochastic Gradient Descent, SGD），采用COCO预训练权重初始化，五次不同随机种子独立训练以评估稳定性，以精确率、召回率、F1分数、平均精度（Average Precision, AP）、均值平均精度（mean Average Precision, mAP）及每秒帧数（Frames Per Second, FPS）为评价指标。
研究结果部分保留原文小标题并说明研究与结论如下：
- 3.
Results，研究人员通过归一化混淆矩阵、精确度置信曲线、召回率置信曲线、精确度召回率曲线、F1置信曲线与训练验证损失曲线进行分析。测试集归一化混淆矩阵中披甲、着袍与女性角色对角值分别为93%、96%与97%，着袍与女性角色对角值较高，披甲人物类别混淆略多，可能与武器、背旗、装饰图案及背景干扰有关。精确度置信曲线显示三类精确度随置信阈值提高而上升，在约0.892时均达1.00。召回率置信曲线显示低置信阈值下召回率高，随阈值提高逐渐下降，女性角色在高置信阈值下下降更早，可能与着袍人物存在视觉重叠有关。精确度召回率曲线中三类AP分别为0.992、0.985、0.985，整体mAP@0.5约为0.988。F1置信曲线显示总体F1分数在置信阈值约0.641时达0.94峰值。单次代表训练运行中训练与验证损失总体下降，检测指标渐趋平稳，最终mAP@0.5与mAP@0.5:0.95分别约98.8%与89.6%，未见明显验证损失反弹。结果表明在现有测试集与固定划分下模型取得较高指标，但在人物不完整、服饰特征重叠、装饰密集或边界弱样本中仍可能存在混淆与漏检。
3.1. Detection Performance and Training Convergence，研究人员通过前述曲线与矩阵得出模型在三类上保持精确度与召回率良好平衡，披甲类稍易混淆，女性角色在严格置信过滤下更易漏检，训练收敛稳定，但未证明可推广至所有剪纸图像或文化遗产领域。
3.2. Ablation Study，研究人员在固定数据划分与设置下做消融实验，YOLOv8n优于YOLOv5，YOLOv10n优于YOLOv8n基线但在所提组合前仍较低，Faster R-CNN指标与吞吐量更低。仅加Inner-IoU（ratio=0.6）时精确率93.2%、召回率90.3%、mAP@0.5为96.5%、mAP@0.5:0.95为87.4%，较基线提升0.4、1.0、0.6、0.7个百分点，吞吐量微降至94.6 FPS。仅加SCSA时精确率94.5%、召回率91.8%、mAP@0.5为97.6%、mAP@0.5:0.95为88.3%，较基线提升1.7、2.5、1.7、1.6个百分点，吞吐量降至93.1 FPS。SCSA仅放骨干、仅放颈部、同时放骨干与颈部的实验显示同时放置性能最优，精确率94.5%、召回率91.8%、mAP@0.5为97.6%、mAP@0.5:0.95为88.3%。Inner-IoU缩放比敏感分析显示ratio从0.4增至0.6时指标渐增，0.7与0.8时下降，ratio=0.6总体最优。最终YOLOv8n-SCSA结合Inner-IoU达最高指标：95.8%精确率、92.9%召回率、98.8% mAP@0.5、89.6% mAP@0.5:0.95，较YOLOv8n提升3.0、3.6、2.9、2.9个百分点，较YOLOv10n提升2.0、1.8、2.1、2.0个百分点，吞吐量92.3 FPS。五次独立运行均值与标准差表明固定划分下性能稳定。代表性检测结果示例显示SCSA与Inner-IoU在类别预测与边界框放置上较基线有所改善。
3.3. Attention-Response Visualization，研究人员对同一输入图像与目标类别生成YOLOv8n基线与此SCSA增强配置的类别激活热图并独立归一化。披甲人物示例中基线激活分散于人物、图像边界与背景，SCSA增强后在抬臂、手持道具、头饰与部分肢体区域响应更明显；着袍人物示例中基线响应分布于身躯、下摆与边界，SCSA增强后在头饰、面部、肩部与上身袍服结构更集中；女性角色示例中基线响应分散于头饰、上衣、手部与边界，SCSA增强后在头饰、面部、肩袖结构、手部及腰裙区域响应更连续广泛。结果显示SCSA增强配置在所选样本中于特定服饰、头饰、肢体与人物结构区域响应更明显，但未完全消除周边与背景激活，属定性互补证据而非定量因果评估。
讨论部分总结如下：研究人员指出在相同数据集与方案下YOLOv8n-SCSA结合Inner-IoU取得最高指标但有适度吞吐量降低，YOLOv10n为较强轻量参考，Faster R-CNN较低。消融显示SCSA对精确率与召回率提升更大，Inner-IoU对召回率与mAP@0.5:0.95提升更大，与各自用于特征细化与边界框回归的意图一致，但不独立确立内部机制。Inner-IoU缩放比在0.4至0.8间差异适中，ratio=0.6最优仅限所测范围与设置，非普适最优。激活热图提供SCSA增强在所选样本中与类别相关区域更局部化响应的定性互补证据，非定量因果证据。结合配置将mAP@0.5从95.9%提至98.8%，mAP@0.5:0.95从86.7%提至89.6%，吞吐量从95.2降至92.3 FPS，FLOPs从8.9增至9.1 G，因应用侧重离线或半自动标注检索而非实时推理，准确度与吞吐量权衡可接受但需依部署评估。三类为对象检测操作性视觉类别，不等同传统戏曲角色体系，前者依单图中可观察一致标注配置定义，后者描述表演身份等。归一化混淆矩阵对角值93%至97%，女性角色对角值最高但在高置信阈值下召回下降更早，可能与着袍人物视觉重叠及裙、披巾、头饰不完整有关；披甲人物对角值较低可能与武器、盔甲、背旗或肢体被遮挡、破碎或与装饰融合有关。类别级TP、FP、FN统计显示测试集98个标注实例中TP为91、FP为4、FN为7，总体精确率95.8%、召回率92.9%。错误来源包括武器盔甲被遮挡融合、女性与着袍线索不完整、低对比度、纸张损坏、背景干扰等。数据集来自图录、博物馆、民间与在线资源，带来质量与条件变异，也限制全面覆盖视觉多样性。增强仅用光度操作避几何变换以防破坏类别线索与语义完整，但未显式训练对几何变化的不变性，未在极端方向尺度下评估鲁棒性，也未分别评估各增强操作贡献。增强仅用于训练集且验证测试集用原始图像以保证评估无偏，但未在独立收集博物馆或实地图像上做外部验证，结果限于当前数据集与划分。该方法不替代专家解释，可为大或分散图像集定位人物区与赋初步视觉类别标签，支持数字化收藏初步标注、按类别检索及作为进一步专家标注初始层。在100张图像子集的人机循环标注效率初步评估中，平均标注时间从手动18.6秒每张降至AI辅助6.4秒每张，减少65.6%。局限包括数据集规模小、三类范围、测试集93张、无外部验证、SCSA放置与Inner-IoU缩放比仅限离散范围、未做受控鲁棒性评估、激活图仅代表性样本、未建细粒度错误分类体系、比较限于选定配置与YOLOv8n基线、FPS仅单硬件测得、仅解决视觉类别检测未连多级标注与多模态。未来应扩大数据集、评估受控退化下鲁棒性、比较替代注意力与回归损失、做交叉验证与外部测试集、在多环境评估效率、建多级标注框架连服饰道具戏曲来源人物身份文本记录。
结论部分翻译如下：本研究采用基于YOLOv8n并集成现有SCSA模块与Inner-IoU策略的配置，开发了面向蔚县剪纸戏曲人物的任务特定视觉检测流程。构建了926张原始图像的数据集，标注为三类操作性视觉类别：披甲人物、着袍人物与女性角色人物。研究贡献在于面向该域特定遗产图像资源的操作性任务形式化、标注方案与专家辅助工作流。在测试集上，所评估配置达到95.8%精确率、92.9%召回率、98.8% mAP@0.5与89.6% mAP@0.5:0.95，在相同评估方案下超过YOLOv8n基线。敏感性分析确定ratio=0.6为所测值中最优Inner-IoU缩放比。五次重复运行得出均值精确率、召回率、mAP@0.5与mAP@0.5:0.95分别为95.6%、92.8%、98.7%与89.5%，标准差为0.2至0.4个百分点。该流程可支持分散蔚县剪纸图像的初步标注、基于类别的检索与元数据整理，旨在辅助而非替代对模糊人物、人物身份、历史语境与文化含义的专家解读。主要局限为小规模域特定数据集、三类范围、93张测试集与缺乏外部验证。未来工作应在更多收藏中扩展数据集，评估受控图像退化下的鲁棒性，比较替代注意力模块、回归损失与嵌入策略，并可建立连接视觉类别与服饰元素、人物身份、戏曲来源及文本记录的多级标注框架。
