基于图像信号点特征的微对象识别、辨识与分类

《Mathematics》：Identification, Recognition, and Classification of Micro-Objects Based on Signal-Point Characteristics of an Image

　　

研究人员提出并解决了问题，并利用面向问题的图像处理系统，结合图像结构组件特征、动态模型和神经网络，开发了用于识别、辨识和分类微对象的方法与算法。所研究的微对象包括花粉粒和单细胞微生物，其应用在孢粉学、环境保护、生态学和医学领域有需求。模型、算法和软件是基于点图像信号的统计、动态、形态测量、纹理和亮度特征开发的。本工作的主要贡献是结合了Daubechies小波函数（4阶和8阶）与卷积神经网络的混合模型，该模型提供了高达97.7%的平均花粉粒识别与分类准确率，以及98.2%的总体分类准确率。为了进行比较评估，研究人员将YOLO11m模型用作独立的基线深度学习模型，在包含280张图像的验证集上实现了88.6%的总体准确率。该软件包括用于高斯滤波、中值滤波、Sobel和Canny算子，以及基于硬控制和软控制规则的缺陷点阈值校正的工具。该软件包包含用于训练卷积神经网络的模块。该研究是在用于作物育种和环境污染评估的微对象图像真实数据库上进行的。

**论文解读：基于图像信号点特征的微对象识别、辨识与分类**

**一、 研究背景与意义**

人工智能和数字控制系统的发展极大地扩展了信息处理的潜力，特别是在微对象（如花粉粒、单细胞微生物、有用矿物颗粒等）图像的识别、辨识与分类问题上。这些处理结果在孢粉学、环境保护、生态学、农业、医学和工业等众多领域具有重要应用需求。然而，传统的基于计算机视觉系统（CVSs）的显微样本计数、分析和手动图像处理方法，通常具有劳动强度高、主观性强以及可视化结果准确性低等缺点。

微对象通常尺寸微小、形状复杂、图像点信号变化显著，且易受外部变量（如光照不均、噪声、异物、模糊、点位移、复杂背景等）影响，这导致其描述模型和组件结构属性具有独特性。这些因素使得微对象的识别、辨识和分类过程变得复杂，同时也凸显了在非理想成像条件下，开发面向问题的图像信息处理系统的必要性。因此，研究和开发基于图像结构组件特征（如统计、动态、形态测量、几何、纹理、颜色、亮度和点信号特征）的微对象识别方法与算法，具有重大的科学和实际意义。本研究旨在开发一个结合动态模型、神经网络（NN）和混合NN模型的面向问题的信息处理系统，以提高微对象识别的稳定性、精度和处理效率，同时降低对传统CVSs的依赖和成本。本研究成果发表于《Mathematics》期刊。

**二、 关键技术方法概述**

为开展研究，研究人员构建了一个面向微对象信息处理的六阶段预处理流程，并开发了核心的混合识别模型。研究所用的真实数据集来源于作物育种（如小麦）和环境污染评估领域的花粉粒图像数据库，总计2896张图像，均匀分为四个形态类别：正常榛属花粉、异常榛属花粉、正常桤木属花粉以及碎片（非花粉颗粒）。数据集被划分为训练集（2336张）、验证集（280张）和测试集（280张）。关键技术方法包括：
1. **六阶段图像预处理流水线**：包括图像归一化（调整至128×128像素）、感兴趣区域分割、图像点滤波与缺陷点校正（使用高斯滤波、中值滤波和M算子）、微对象边界检测（使用Sobel算子）、特征提取（动态、形态测量、纹理特征及角点、斑点、边缘）以及为神经网络准备输入数据。
2. **混合识别模型**：核心创新是结合了Daubechies小波函数（4阶和8阶）与卷积神经网络（CNN）的混合模型。该模型利用小波分解进行数学预处理和特征提取，然后将特征输入CNN进行分类。
3. **动态模型与特征表示**：将微对象图像轮廓点序列建模为动态随机时间序列（RTS），并应用多项式、样条函数、傅里叶变换和小波分析等动态模型来提取点信号的低频和高频分量特征。
4. **神经网络训练与优化**：研究采用了VGG16和VGG19两种CNN架构，使用基于ImageNet权重的两阶段迁移学习策略进行训练。优化器采用AdamW，并应用了标签平滑、Dropout、早停等正则化技术以防止过拟合。
5. **缺陷点校正与滤波工具**：实现了基于高斯算子、中值变换、Sobel算子的滤波方法，以及基于“软”和“硬”阈值的失真点信号阈值校正工具，用于提升图像质量。
6. **并行计算加速**：为提升计算效率，应用了基于GPU图形适配器的多网格近似方法，利用共享内存工具和循环多网格算子来加速图像识别过程。

**三、 研究结果分析**

研究人员通过一系列实验验证了所提方法的有效性，主要结果如下：

**1. 混合模型识别性能**
* **总体性能**：提出的结合Daubechies小波与CNN的混合模型，在花粉粒识别与分类任务中取得了最佳性能，平均准确率达到97.7%，总体分类准确率达到98.2%。
* **消融分析**：通过系统性的消融实验（表5）评估了各组件贡献。单独使用Daubechies小波分解或CNN，准确率约为84-85%。将两者结合但不使用滤波工具，准确率提升至91.2%。加入高斯滤波后准确率达96.4%，再加入软阈值缺陷点校正器后提升至97.8%。完整的混合模型（包含所有组件）实现了98.2%的最高准确率，F1分数为97.5%。这比作为独立基线模型的YOLO11m（88.5%准确率）高出9.7个百分点，且统计显著性检验（p < 0.05）证实了性能差异显著。

**2. 与基线及传统方法对比**
* **与YOLO11m对比**：YOLO11m模型在验证集上取得了88.6%的总体准确率（图3，图4），其训练过程中的损失函数和准确率指标变化显示模型收敛稳定且未出现过拟合（图7）。然而，本文提出的混合模型在准确率上显著优于该基线模型。
* **与传统CVS对比**：与传统计算机视觉系统（CVS）相比，基于混合模型和阈值控制工具的软件包（SP）对加性高斯噪声、缺陷点引起的误差和信息失真表现出更强的鲁棒性。在处理时间上，由于采用了动态Daubechies样条函数模型、缩放工具和点信号形态特征，SP的处理时间相比传统CVS显著减少（表6，表7）。

**3. 滤波与校正工具效果**
* 实验表明，采用软阈值检查图像缺陷点的工具比硬阈值工具具有更好的视觉特性和性能，特别是在微对象识别过程中出现间断点时（表2）。
* 工具的性能增益通过增益系数K进行量化。图5a显示，使用滤波和校正工具的混合模型获得了98%的增益，而未使用这些工具的模型则出现图像识别精度损失（图5b）。

**4. 计算效率与鲁棒性**
* **计算复杂度**：所提混合模型的计算复杂度为O(N ln ε^-1)，其中N为图像总大小，ε为轮廓控制点的近似误差。通过使用GPU并行计算（NVIDIA RTX 4060），实现了计算加速。
* **噪声鲁棒性**：在多个信噪比（SNR）水平下，混合模型对加性高斯噪声保持了高于97%的分类准确率，而传统CVS在相同条件下准确率下降至0.81-0.94（表2）。

**5. 与现有文献结果比较**
* 与当前文献中报道的微对象和花粉粒分类方法相比（表8），本文提出的混合模型的准确率（98.2%）比现有先进方法高出6-12个百分点。这主要归功于六阶段数学预处理流水线能够在神经网络分类前提取图像信号点的动态、形态测量、纹理和亮度特征，这是大多数现有方法所缺乏的。

**四、 讨论与结论**

**讨论部分**总结指出，本研究开发并测试了一套用于微对象图像识别、辨识、分类和系统化的完整方法、模型、算法和软件。系统在孢粉学、环境保护、医学和农业（特别是小麦、水稻等谷物作物的育种和种子生产问题）以及利用花粉粒预测环境污染等领域得到了验证。研究的关键优势在于其混合架构，它通过数学预处理（小波分析）增强了神经网络的特征提取能力，从而实现了高精度和鲁棒性。同时，实现的基于I类错误（漏报）和II类错误（误报）概率的缺陷图像点管理规则，进一步提升了系统的可靠性。软件包集成的滤波和校正工具（高斯滤波、中值滤波、Sobel算子、阈值校正器）被证明能有效提升处理质量。

**研究结论**如下：研究人员开发了用于识别、辨识、分类和系统化显微物体图像的方法、模型、算法和软件。成果已在孢粉学、环境保护、医学和农业领域，特别是在解决谷物作物（小麦、水稻）育种与种子生产以及利用花粉粒预测环境污染等问题中进行了测试。本工作的主要贡献是一个结合了Daubechies小波函数（4阶和8阶）与多层CNN的混合模型。一个包含随机时间序列分解、多网格近似和样条插值的数学预处理流水线作为特征提取阶段。所提出的混合模型实现了高达97.7%的平均花粉粒识别与分类准确率，而平均微对象分类准确率达到98.2%，优于传统计算机视觉系统（CVSs）1-2%。YOLO11m深度学习模型被用作独立的对比基线模型，在包含四个形态类别的280张图像验证集上实现了88.5%的总体分类准确率。所提出的混合模型比基线模型高出9-10个百分点，证实了数学预处理流水线作为特征提取步骤的有效性。通过基于I类（遗漏）和II类（误报）错误概率的校正器，实现了缺陷图像点的管理规则。该软件包使用高斯滤波器、中值滤波器、Sobel算子和缺陷点阈值校正器进行了测试。所开发的工具被证明能够以比传统CVS低得多的成本提供高精度、稳定性和数据处理速度。通过使用新的深度学习方法、数据增强以及多模型组合，可以取得进一步的改进。