便携式785 nm拉曼光谱结合双主成分PCA-KNN实现Ib型HPHT实验室培育钻石颜色等级客观无损分级及仪器波数偏移识别

《Materials Today Communications》：Classification of Diamond Color Grades Based on Portable 785 nm Raman Spectroscopy

　　

•便携式785 nm拉曼光谱（Raman spectroscopy）结合主成分分析-近邻算法（principal component analysis–K-nearest neighbors, PCA-KNN）支持高温高压（high-pressure high-temperature, HPHT）钻石的客观颜色分级。
•14颗未知钻石中13颗被正确分级；仅D与E等级发生混淆。
•1354 cm^?1谱带是1332 cm^?1金刚石谱线经校准偏移后的结果。
•双组分主成分分析（principal component analysis, PCA）去除了不可迁移的钻石个体与仪器特异性信号。
•无损拉曼分级是对目视分级的可重复辅助检查。

研究背景与问题：钻石颜色是4C（color, clarity, cut, carat）质量评价的关键指标。传统目视分级需在中性色调环境、专业比色石和标准光源（色温控制在5000–7200 K且无紫外干扰）下进行，高度依赖分级师经验，主观判断会引入误差；肉眼无辅助比色石时难以可靠分辨小色差。熟练分级师在D–Z全范围内仅约五分之一色级内一致，无色至近无色相邻色级的重复性更差。为降低操作者依赖，基于成像的颜色分级系统已在宝石贸易中应用十余年，自动仪器通过比较钻石图像与校准图像数据集，在D–Z范围内可达到约十分之一色级的重复性，但仍依赖钻石视觉颜色外观，并对光照、切工几何和荧光敏感。微波、毫米波、紫外–可见（ultraviolet–visible, UV–Vis）和红外光谱已用于抛光钻石颜色分级；UV–Vis曾用于化学气相沉积（chemical vapor deposition, CVD）培育钻石分级，约80%准确率在一個色级内，但不适用于强荧光钻石。拉曼光谱（Raman spectroscopy）作为无损分析技术，通过测量散射光频移提供分子振动与材料结构信息，已用于宝石鉴定等领域。因此，研究人员考察全拉曼光谱与Ib型HPHT实验室培育钻石颜色等级的相关性，结合便携785 nm拉曼光谱仪与训练集、测试集分离的机器学习流程，对每颗钻石赋予颜色等级。

关键技术方法：参考色级主石由Henan National Jewelry Inspection and Testing Co., Ltd.提供，标记为LG-D、LG-E、LG-F、LG-G、LG-J；预测集为同一机构提供的14颗钻石D1–D8、E1–E3、F、G、J，均附International Gemological Institute（IGI）证书。采用QEPRO-RAMAN-785便携拉曼光谱仪，785 nm激发，光纤探头，光谱范围200–3000 cm^?1，分辨率7 cm^?1，激光功率100 mW，积分时间1 s；每颗参考样采集100条谱，每颗预测样采集50条谱；经自动基线校正、平滑、降噪和min–max归一化；按80/20分层划分，训练集三倍增强；使用主成分分析（PCA）降维，比较支持向量机（SVM）、随机森林（RF）、K近邻（KNN）、极端梯度提升（XGBoost）、卷积神经网络（CNN）、逻辑回归（LR）和决策树（DT）；以网格搜索五折交叉验证优化；最终以PCA-KNN外验证，并以PCA-RF作比较。

研究结果：3.1 样品的拉曼光谱特征：五个参考样主带位于名义1354 cm^?1，洛伦兹拟合均值为1353.9 ± 0.4 cm^?1，相对金刚石一阶拉曼线1332 cm^?1存在+21.9 ± 0.4 cm^?1系统偏移；半高全宽（full width at half maximum, FWHM）为7.1 ± 0.6 cm^?1，接近仪器分辨率。该偏移不符合应力位移，而符合便携系统波长校准误差；所有波数按未校准名义值解释。低波数侧弱不对称经双洛伦兹拟合为退化解，不是独立氮相关带；Ni相关荧光位置不相符。色级信息主要编码于归一化全谱强度分布，主带强度份额从LG-J的0.25到LG-D的0.61，峰位本身几乎无色级信息。

3.2 原始拉曼光谱结合机器学习分类：500条原始谱采用同一80/20分层划分，KNN、SVM、LR、DT、RF、XGBoost、CNN准确率分别为95.0、80.0、64.0、86.0、94.0、93.0、39.0%，KNN最高。

3.3 训练集增强对分类性能影响：对训练谱加入高斯噪声、?2至+2数据点移位和0.95–1.05强度缩放并三倍增强，测试集保持未扰动。准确率KNN为95.0%、SVM为60.0%、LR为60.0%、DT为87.0%、RF为93.0%、XGBoost为94.0%、CNN为91.0%。DT、XGBoost、CNN分别增益1、1、52个百分点；KNN不变；SVM、LR、RF分别损失20、4、1个百分点。CNN获益于训练样本扩大，SVM和LR对移位与缩放敏感。

3.4 增强训练集上的超参数优化：经网格搜索五折交叉验证优化后，KNN、SVM、LR、DT、RF、XGBoost、CNN准确率分别为96.0、93.0、88.0、87.0、92.0、92.0、82.0%。KNN最高，精确率96.7%、召回率96.0%、F1-score为96.1%；RF表现稳定。因KNN内测最高，选择PCA-KNN进行外验证。调参相对增强默认最多提高33个百分点、最受影响模型降低9个百分点；默认参数已接近最优，受石材特异光谱限制大于参数调优。

3.5 未知样品预测结果：PCA-KNN用全部500条参考谱训练，保留累计解释方差超过95%的两个主成分，占99.2%，KNN参数为k=7、均匀权重。五级在二维空间形成紧凑簇，单因素方差分析（one-way analysis of variance, ANOVA）显示PC1的F=3.3×10³、PC2的F=2.8×10²，p<0.001。14颗未知石每颗50条谱，经多数投票，13/14正确，精确色级准确率92.9%，Clopper–Pearson 95%置信区间为66.1–99.8%。唯一错误为E1预测成D，40/50条谱支持D。外样本D级占8/14，E级3颗，F、G、J各1颗；D召回8/8，E召回2/3。PCA-RF正确12/14，为85.7%，将E1和E2错分为D。单谱水平KNN为73.7%，低于RF的86.4%，但石级多数投票KNN更优。D7和D8投票25:25平局，按固定参考标签顺序判为D。RF硬标签使每石投票近乎一致，D–E边界系统偏差会整石错判；KNN投票分布保留局部类平衡。方法92.9%精确色级准确率高于毫米波光谱70%和UV–Vis对CVD钻石约80%在一个色级内的准确率，但度量不可直接比较。内部96.0%与外部92.9%差距源于每级单参考石和特征空间差异。全671通道内部96.0%但外部仅8/14；丢弃669个组分内部79.0%但外部3/14；两个保留主成分内部77.0%但外部13/14。丢弃通道并非噪声，含可重复但不迁移的个体与仪器特异信号；双主成分投影去除不可迁移分量并保留色级信息。该方法快速、无损、无需样品制备，可作为珠宝检测实验室目视分级的客观辅助检查。

讨论与结论翻译：讨论部分表明，PCA-KNN优于PCA-RF，源于分级投票反映主成分空间局部类平衡，避免单谱硬标签造成的D–E边界偏差；控制特征空间实验说明PCA降维以内集准确率换取外样本可迁移性；洛伦兹拟合识别+21.9 ± 0.4 cm^?1仪器波数偏移，1354 cm^?1表观峰对应真实1332 cm^?1金刚石一阶拉曼带；限制包括外验证集小、每级单参考石、测量期间无车载波长标准、未与实验室校准拉曼系统交叉验证。研究结论翻译：本研究证明，使用便携式仪器785 nm拉曼光谱结合机器学习，对Ib型HPHT宝石级实验室培育钻石进行快速、无损颜色等级判别的可行性。PCA-KNN流程在14颗未见钻石上达到92.9%精确色级准确率，优于PCA-RF参考模型85.7%；误分类仅发生于视觉相似的相邻D和E等级。PCA-KNN的优越泛化来自每石分级投票，反映主成分空间局部类平衡，避免刚性单谱硬标签造成的D–E边界系统偏差。控制特征空间实验确认，PCA降维以内集准确率换取对未知宝石样品的可迁移性。洛伦兹拟合识别出系统仪器波数偏移+21.9 ± 0.4 cm^?1：便携设备测得的1354 cm^?1表观峰在计入该偏移后对应真实金刚石一阶拉曼带1332 cm^?1。明确报告该校准偏移为光谱分级结果提供物理依据。本工作受限于外部验证集小、每级单块参考石、测量期间无车载波长标准以及与实验室校准拉曼系统交叉验证缺失。未来工作将实施常规波长校准、扩大样品库、在更大数据集采用留一石交叉验证，并探索多模态光谱，面向珠宝检测实验室的实用拉曼分级工作流。