一种基于相似性的可解释深度学习框架，用于结晶过程中粒子的监测与表征

《Powder Technology》：A similarity-based interpretable deep learning framework for monitoring and characterization of particles during crystallization processes

　　

•基于相似性的可解释深度学习框架用于化学颗粒分析。•忠实的像素级归因图与人类工程专家经验相吻合。•弥合了深度学习与工业结晶过程监控之间的鸿沟。•准确量化二维晶体尺寸、长宽比和投影面积。

**引言**

化学结晶过程监控系统在制药、化工和食品加工行业具有重要意义[1]。在这些多相流中，分散相颗粒（DPP）的物理属性包含颗粒尺寸分布（PSD）、数量、形貌和团聚程度[2]、[3]。这些物理属性直接影响关键质量属性（CQAs）。这些属性进一步影响下游操作，如过滤、干燥和最终产品的生物利用度[4]。因此，在化学结晶过程中，精确监控、测量和分析颗粒尺寸至关重要[5]。随着过程分析技术（PAT）在结晶等化学工程中的全面应用，实时图像分析技术已成为一种测量晶体形貌的新方法[6]。

历史上，颗粒表征难以实现监控，严重依赖于取样后通过显微镜或激光衍射进行离线分析[7]、[8]。这本质上打断了操作员对过程变化的干预，意味着它无法快速介入以纠正过程。除了时间延迟外，物理取样的行为通常还会扰动颗粒的原始状态[9]。因此，所得数据可能无法准确反映颗粒在未受干扰的反应器环境中实际存在的情况。为了解决离线方法的延迟问题，第一代PAT工具如聚焦光束反射测量（FBRM）被引入[10]。FBRM是通过提供实时弦长分布（CLD）来追踪过程趋势（如成核起始）的标准工具[10]。然而，它将三维颗粒显著简化为了一维信号，这限制了其全面描述颗粒几何形状的能力[11]。维度的丧失使其难以准确量化复杂的形貌特征，如长宽比或特定投影面积。为了获得更清晰的视图，高速成像硬件如EasyViewer实现了对过程中颗粒的直接可视化[12]。早期自动化分析的尝试使用了传统计算机视觉算法，如Canny边缘检测[13]。然而，这些方法在工业应用中往往很脆弱。基础PAT方法对噪声高度敏感，需要持续手动调优，在面对实际化学浆料中典型的失焦模糊和光照变化时经常失效[2]。尽管如此，所得图像往往包含失焦模糊、不均匀照明和重叠晶体，使得稳健的自动化分析变得困难[2]。

为了捕获真正的多维颗粒形貌，人们开发了多种基于图像的过程分析技术，包括原位、流通式和离线/在线系统。对于原位过程监控，EasyViewer 400等高速探头式成像系统能够在未受扰动的浆料中直接可视化晶核形成、多晶型转变和团聚动力学[14]、[15]。为了消除高密度结晶系统中探头干扰和景深约束，非侵入式虚拟立体成像装置使用外部远心视觉系统进行了原位三维特征追踪[16]。对于连续液相和多相监控，流体成像显微镜和流通系统（如FlowCam和在线微流成像）能够在动态流动下实时表征不均匀颗粒、析出液滴和微塑料[17]、[18]。对于干法和湿法颗粒动态表征，QICPIC等高速动态图像分析（DIA）软件和硬件系统利用高频脉冲照明来评估复杂的团聚行为和颗粒破碎动力学[19]、[20]。

此外，先进的基于深度学习的模型，如Mask-RCNN[12]和UNet[2]，后来被应用于监控结晶过程并测量颗粒形貌（尺寸和长宽比）。最先进的模型如Segment Anything Model（SAM）也被应用于结晶过程中[17]。YOLO11-seg实例分割模型被应用于冷却结晶过程[21]。然而，这些深度学习模型往往严重缺乏可解释性，充当"黑箱"，阻碍了其在严格工业应用中的信任度和可靠性[22]、[23]。这些现有模型主要为预测准确性而优化，缺乏可解释性，而单个决策背后的物理证据并未明确表示。此外，传统黑箱网络的视觉解释通常是事后生成的，可能无法忠实反映模型的实际决策过程。这一局限性对于结晶监控尤为重要，因为工程师需要判断一个预测是基于相关的形貌证据还是背景伪影。

为解决这些空白，本研究开发了一个统一的基于相似性的可解释深度学习框架，用于多相颗粒分析。所提出的PSIC模型通过将输入图像与类代表性支持特征进行比较来进行颗粒分类，从而通过保持对齐的变换提供基于案例的推理和忠实的像素级归因图。对于像素级分割，PSIG模型在空间块内构建局部语义中心，并通过基于图的消息传递将其整合为全局类表示。这种设计使模型能够在分割晶体、团聚体、气泡和液滴时结合局部光学证据与全局形貌一致性。该框架的核心新颖之处在于基于相似性的匹配机制，旨在为分类和分割决策提供透明且具有物理意义的证据（可解释性），并具有较高的精度。这些模型通过最大化类内相似度并最小化类间相似度来主动正则化潜在特征空间。因此，这种统一的基于相似性的可解释架构显著改进了空间定位，使模型能够准确分辨复杂的物体边界，有效区分重叠的团聚体，并精确描绘传统算法始终无法捕获的液滴。其实用相关性在open-CMD数据集上进行评估，并在MET-HCl反溶剂结晶实验中进行了验证。该框架用于在现实形貌和成像干扰下量化投影面积、晶体尺寸和长宽比。

二甲双胍是治疗2型糖尿病（T2DM）的一线药物，盐酸二甲双胍（MET-HCl）是其最常见的临床形式[24]。成盐显著提高了二甲双胍的水溶性和溶解行为，为制剂开发提供了基础[25]。热力学稳定的Form A MET-HCl的单元胞（COD ID: 4505342）如图1所示。沿（100）方向（a轴），每个单元胞含有两个Cl?离子和两个N?H基团，形成连续的氢键网络。相比之下，沿（020）方向（b轴），每个单位长度只有一个Cl?离子，导致氢键位点密度显著降低。因此，（100）晶面表现出明显的生长优势，导致典型的棒状或针状形貌[26]、[27]。然而，这种针状习晶导致粉末流动性差和高吸湿性，不利于直接压片和长期储存，通常需要制粒等后处理步骤[28]。因此，控制MET-HCl的晶体形貌具有重要的研究价值，而准确识别长宽比是评估不同处理条件下形貌差异的关键。

然而，这种针状习晶使MET-HCl晶体在制片过程中容易相互交错和堆叠，形成致密的伪聚集体，对分割模型构成挑战，尤其是在酒精体系中，较高的成核势垒促进了以生长为主的机制，产生极度细长的针状晶体。在丙酮体系中，高过饱和下的爆发成核产生大量精细晶粒，这些晶粒倾向于重叠和聚集。这些不同的机制为模型在不发生过度合并或过度分割的情况下分离接触物体的能力提供了严格的测试。此外，样品制备方案引入了现实的成像伪影：正丙醇的蒸发可能留下类似晶体边缘的液滴残留物，而时间分辨丙酮实验中使用的盖玻片会在较大晶体周围困住气泡。这些伪影要求模型能够区分真正的晶体与非晶体信号（图2）。MET-HCl体系共同提供了一个严格的测试平台，涵盖颗粒重叠、尺寸多分散性和常见的制备伪影，从而验证了所提出框架的抗干扰能力和形貌准确性。

为此，本研究开发了一种基于计算机视觉（CV）的图像分析方法，用于自动和准确地测量形貌参数。该算法在MET-HCl晶体识别的实际条件下进行了验证。实验结果表明，所提出的CV模型对这些背景干扰表现出稳健的抗噪性，能够实现准确的特征提取，并克服了传统图像分析方法对样品制备缺陷敏感性的限制。

**颗粒数据集**

本研究使用的数据集来源于开放获取的化学微粒图像数据库（open-CMD）[12]。通过原位高速显微镜（如EasyViewer）在动态多相流环境中捕获，这些图像提供了颗粒在实际反应器条件下行为的真实表征。open-CMD数据集涵盖了多种典型的化学多相流过程，特别关注结晶和乳化场景[12]。

**数据集预处理**

在任何数据增强之前，open-CMD数据集中的原始颗粒图像在原始图像层面随机划分为互斥的训练集和验证集，采用80/20划分。2.2节中描述的所有随机数据增强和图像增强操作，包括非线性强度校正、CLAHE、拉普拉斯锐化和多尺度Retinex，均仅应用于训练集。验证集保持其原始状态。

**化学颗粒可解释分类结果**

可视化结果由最佳PSIC模型和配置提供。

表2显示，所有比较模型在化学颗粒数据集上都达到了很高的分类准确率。最佳基线模型Mamba达到了0.9964的准确率，而PSIC达到了0.9988。因此，PSIC相对于最强基线的绝对准确率提升幅度适中（0.0024），这对于基线模型已经接近饱和的任务来说是在意料之中的。PSIC的主要优势在于……

**结论**

本研究成功建立了一个基于相似性的可解释深度学习框架，用于化学结晶过程的监控。通过用基于相似性的推理替代传统卷积层，所提出的框架弥合了高性能深度学习与工业过程分析技术（PAT）所需透明度之间的关键鸿沟。

本研究的技术核心在于两个定制的架构：PSIC和PSIG。PSIC模型实现了……

**CRediT作者贡献声明**

Peiran Yan：初稿撰写、可视化、软件、方法论、形式化分析、数据管理。Zipeng Qi：初稿撰写、可视化、验证、方法论、调查研究。Jingtao Wang：审阅与编辑、监督、项目管理、经费获取。

**利益冲突声明**

作者声明不存在已知的竞争性经济利益或个人关系可能影响本文所报告的工作。

**致谢**

本工作得到了国家重点研发计划（2023YFC3207104）和中国国家自然科学基金（22078229）的支持。

Peiran Yan | Zipeng Qi | Jingtao Wang