基于视觉变换器的掌纹图像增强与深度特征表示融合方法

《Scientific Reports》：A CLAHE–Gabor–vision transformer pipeline for palmprint image enhancement and deep feature extraction

　　

摘要

掌纹增强是一种适用于生物特征识别的技术，而生物特征识别提供了一种可靠的个体识别手段；然而，低质量的图像采集（如光照不均、对比度低以及纹路线条不连续）使得这项技术在实际应用中难以落地。现有的手工设计描述符无法很好地适应这些采集条件的变化，尽管深度学习模型能够从大型数据集中学习到高判别性特征，但它们仍然对输入图像质量较为敏感，并且在退化掌纹上的泛化能力较差。为了应对这些挑战，本研究提出了一种综合方法，将图像增强与通过视觉变换器（ViT）进行深度特征表示相结合。该流程首先应用对比度限制自适应直方图均衡化（CLAHE）来增强局部对比度，同时抑制噪声放大，随后对CLAHE的输出结果应用多方向Gabor滤波以增强纹线和纹理结构。滤波后的输出通过加权叠加方法进行融合，生成在对比度保真度与纹理保留之间取得平衡的增强图像。一个自定义的视觉变换器（ViT）随后从增强的掌纹图像中提取全局判别性特征，利用多头自注意力机制捕捉细粒度的纹理细节和长距离像素关联。该方法在一个包含100张原始灰度掌纹图像（512 × 512像素）的数据集上进行评估，所提出的技术取得了平均均方误差（MSE）为440.24、峰值信噪比（PSNR）为22.01 dB、结构相似性（SSIM）为0.8481以及多尺度结构相似性（MS-SSIM）为0.8211的性能，显著优于五种基准增强方法（模糊增强、伽马校正、同态滤波法、带色彩恢复的多尺度视网膜照度法以及传统基线方法），其中与表现最佳的替代方法相比，平均MSE降低了78.6%，平均PSNR提高了38.2%。