《Pattern Recognition Letters》：SigConvNeXt: An improved lightweight ConvNeXt for Offline Signature Verification
编辑推荐：
•SigConvNeXt在CEDAR、BHSig-B和BHSig-H数据集上的EER值分别为0.00%±0.00%、8.74%±0.24%和8.48%±0.88%。•ARM通过注意力机制增强对签名特征的关注，同时抑制背景噪声。•MSBFM通过双向融合方式捕捉多粒度特征。•该模型在
- •
SigConvNeXt在CEDAR、BHSig-B和BHSig-H数据集上的EER值分别为0.00%±0.00%、8.74%±0.24%和8.48%±0.88%。
- •
ARM通过注意力机制增强对签名特征的关注，同时抑制背景噪声。
- •
MSBFM通过双向融合方式捕捉多粒度特征。
- •
该模型在跨数据集及存在噪声的条件下具备更强的泛化能力和稳定性。
引言
离线签名验证是一种广泛应用于金融、法律和合同签署领域的生物识别技术[1]，它通过扫描或数字捕获的方式处理静态签名图像，无需依赖能够记录动态特征的专用设备[2]、[3]。与在线验证相比，这种技术具有更广泛的适用性；但由于书写者之间的差异较大（同一人不同签名的自然差异）、高水平的仿冒行为、扫描带来的图像质量下降以及不同文化或语言体系下的书写差异[4]，离线签名验证面临着诸多挑战。这些因素使得特征提取（如形态轮廓、笔触角度和尺寸比例等）以及查询签名与参考签名之间的相似度测量变得十分复杂，从而增加了区分真实签名与伪造签名的难度。本文针对离线签名验证中的这些难题，提出了一种能够提升对不同书写者和各类伪造签名的识别能力的算法。
如图1所示，签名特征的提取在整个离线签名验证过程中至关重要，其质量直接影响最终验证的效果。目前，自动提取签名特征的主流方法包括卷积神经网络（CNN）[5]和基于Transformer的模型（如VIT）[4]、[6]。CNN能够自动学习签名图像中像素之间的局部关联，而VIT则通过多头注意力机制高效捕捉全局特征。不过，离线签名验证的核心挑战在于准确捕捉签名图像的局部细节和全局结构一致性。因此，结合CNN和视觉Transformer的优势，全面捕捉签名的多尺度特征被认为是一种极具前景的解决方案。
近年来，越来越多的模型将CNN与VIT相结合，例如ConvNeXt模型就将CNN的优势与Transformer架构相融合，通过分层设计和卷积操作增强局部特征的提取能力，同时保留全局特征学习功能[7]。虽然ConvNeXt已被应用于图像分类和目标检测等视觉任务，但尚未被用于签名验证领域。基于此，我们以ConvNeXt为基础设计了一个轻量级的离线签名验证模型SigConvNeXt，旨在全面提升离线签名验证的整体性能。本文的主要贡献如下：
- •
我们提出了SigConvNeXt，这是一种基于ConvNeXt V2-T的轻量级离线签名验证模型，它被嵌入到孪生网络中以实现端到端的对比学习，在降低计算成本的同时保持了特征的丰富性。
- •
我们设计了注意力优化模块（ARM）和多尺度双向特征融合模块（MSBFM），前者通过注意力机制强化对关键签名特征的识别，后者则通过自下而上和自上而下的交互整合多粒度特征，从而捕捉全局语义和局部细节。
- •
在CEDAR、BHSig-B和BHSig-H数据集上的实验显示，该模型的EER值分别为0.00%±0.00%、8.74%±0.24%和8.48%±0.88%（为5次实验的平均值±标准差），且仅包含3200万个参数，其跨数据集泛化能力优于现有基准模型。
现有的方法存在多尺度特征提取不完整、跨语言泛化能力差以及模型复杂度高等问题。本研究通过将ConvNeXt V2集成到孪生框架中，并结合创新的ARM和MSBFM模块，成功解决了这些问题，即便只有3200万个参数，仍能实现更优异的识别效果。
章节摘要
签名特征提取模型
离线签名验证技术的发展可分为两个阶段：1996年至2020年的早期发展阶段（见表1）以及2021年至2025年的最新进展阶段（见表2）。然而，目前的各种方法仍然存在三个主要缺陷：首先，由于未能有效融合签名的全局特征和局部特征，特征提取工作仍较为零散；其次，这些方法的泛化能力较差，尤其是在跨语言场景下。
研究方法
离线签名验证模型SigConvNeXt的整体架构如图2所示，该模型采用孪生网络结构，可同时对两幅离线签名图像进行处理。SigConvNeXt由三个核心组件构成：首先使用ConvNeXt V2-Tiny[29]高效提取签名图像的特征，接着由注意力优化模块（ARM）负责识别关键区域并提取详细特征，最后通过多尺度
实验设置
在本文中，我们以ConvNeXt V2-T作为基础构建了SigConvNeXt模型。所有实验均在NVIDIA 4060-Ti 16G显卡上进行，批量大小设置为32，每个数据集的实验均独立重复5次，以确保结果的可靠性。模型的训练采用AdamW优化器，学习率为1e-4，权重衰减值为1e-3。如3.3节所述，我们将超参数m（边界值）设定为1.0。
目前有许多开源数据集可供使用
结论
本文提出了一种基于ConvNeXt V2-Tiny的轻量级离线签名验证模型SigConvNeXt，该模型被嵌入到孪生网络中。它引入了注意力优化模块（ARM）来聚焦具有区分度的区域并抑制噪声，同时还配备了多尺度双向特征融合模块（MSBFM）用于整合全局特征和局部特征。这些设计有效解决了以往基于CNN和ViT的模型所存在的多尺度特征提取不完整、跨数据集泛化能力弱等问题。
CRediT作者贡献说明
吴悦：论文撰写——审阅与编辑、论文撰写——初稿撰写、结果验证、概念构思。唐驰：论文撰写——审阅与编辑、论文撰写——初稿撰写、结果可视化。李帆：论文撰写——审阅与编辑、结果验证、方法设计。刘佩瑶：结果验证、资金筹集。
利益冲突声明
作者声明存在以下可能被视为利益冲突的财务利益/个人关系：
吴悦表示获得了中国国家自然科学基金的资助；吴悦还提到得到了西华大学首批研究生教育质量工程项目的相关支持；刘佩瑶则表示获得了四川省科技计划的关键项目资助。
致谢
本项研究部分得到了中国国家自然科学基金（项目编号61602389）、西华大学首批研究生教育质量工程项目（项目编号YJG202519）、四川省科技创新创业种子计划的关键项目（项目编号2024JDRC0084）以及西华大学本科生创新创业训练计划项目（项目编号D202406011722212837）的支持。
吴悦|唐驰|李帆|刘佩瑶
