《Aggregate》：Advances and Challenges in Machine Learning-based Image Analysis for Monitoring and Predicting Organic Crystal Formation
编辑推荐：
人工结晶实验长期以来始终具有较高挑战性，需要丰富的过程开发经验，且常产生不可预测的结果。结晶过程在高质量有机材料的开发中发挥关键作用，而此类材料对于制药、材料科学与电子等多个产业均至关重要。因此，结晶实验迫切需要创新方法，以保证一致性、效率与可扩展性。近期研究
人工结晶实验长期以来始终具有较高挑战性，需要丰富的过程开发经验，且常产生不可预测的结果。结晶过程在高质量有机材料的开发中发挥关键作用，而此类材料对于制药、材料科学与电子等多个产业均至关重要。因此，结晶实验迫切需要创新方法，以保证一致性、效率与可扩展性。近期研究表明，机器学习能够有效辅助晶体检测与分割，从而为优化有机结晶过程提供新路径，并提升晶体形成的速度与精度。然而，针对基于机器学习的有机结晶过程监测方法，当前仍缺乏系统性综述。因此，有必要对相关机器学习技术、当前应用、技术挑战及发展蓝图进行回顾。本文聚焦于基于图像检测与分割的机器学习方法在有机晶体结晶过程高效监测中的应用场景、基本原理与常用工具，尤其关注人工智能（AI）技术在晶体尺寸与形貌检测、结晶过程监测及优化中的研究进展。通过本研究，研究人员旨在为相关领域研究者提供理论参考与实践指导。
1 Introduction
引言部分首先阐述了有机晶体在多个工业领域中的基础性地位。文章指出，有机晶体凭借独特的物理化学性质被广泛应用于超导、光电与药物等方向，其中晶体结构可直接影响药物的溶解度、生物利用度与稳定性。对于分子晶体而言，溶液结晶是最常用的方法之一，而有机结晶过程通常经历过饱和、成核、晶体生长及生长后演化等阶段，并受到温度、浓度、pH、溶剂配比及搅拌速率等因素的共同影响。这些因素决定了最终晶体产物的形貌、粒度分布及相关性质，因此，为保障有机晶体产品质量，必须对结晶过程实施监测，并结合自动控制与实时优化。
随后，文章从人工智能（AI）与机器学习的发展切入，说明其在结晶学中的应用价值。传统计算机视觉（CV）方法依赖人工特征工程，既需要领域知识，又高度依赖具体任务与数据集；相比之下，深度学习可通过端到端训练实现自动特征提取。文章指出，随着实时显微成像的大规模应用，有机结晶过程积累了大量图像数据，研究重点因此逐步转向基于机器学习的图像分析技术，以简化传统建模、加快表征速度、降低成本，并利用实验与工业过程数据提升自动化与智能化水平。
本节还明确了综述的定位与贡献。与多数聚焦无机晶体的研究不同，本文专门讨论有机晶体，强调两者在组成、形成条件、键合作用与有序程度上的差异。在目标层面，文章提出四个重点：系统回顾过去20年基于CV的有机晶体图像分析研究；从晶体尺寸与形貌表征、晶体生长过程监测、结晶阶段分类与过程优化、结晶结果预测四个方面梳理应用；总结有机结晶研究中常见的机器学习与深度学习方法及其数据集和模型；并综合评估数据集、模型结构、性能指标、局限性与未来方向。
2 Current Research and Applications
本节将机器学习驱动的有机结晶图像分析归纳为“四项任务”：晶体尺寸与形貌表征检测、晶体生长过程监测、结晶阶段分类与过程优化、结晶结果预测。文章强调，这四项任务在研究对象、输出形式、方法重点与应用目的上存在显著差异，但又构成由低层感知到高层决策的递进式技术链条。例如，晶体尺寸信息可为形貌分类提供依据，而阶段分类结果又可进一步用于工艺优化。
作者指出，这一任务划分有助于系统理解机器学习在有机结晶监测中的应用边界与方法演化。整体上，四类任务共同构成了基于图像检测、分割与分析的核心框架，为有机结晶过程的高效监控提供了关键支撑。文章也在本节提示，后续讨论不仅关注模型名称和结果，还会围绕数据集、输入输出形式、实验结果及关键发现展开对比分析。
3 Crystal Size and Morphology Characterization Detection
本节围绕晶体尺寸与形貌表征检测展开。文章指出，尺寸与形貌在实际研究中紧密耦合：尺寸与轮廓提取为晶体级视觉分析提供几何基础，而形貌识别则在更高语义层次上解释晶体习性与形态状态。传统方法包括人工检测、经典图像处理及聚焦光束反射测量（FBRM），但前者费时费力，后者虽可实时监测粒子群变化，却只能提供弦长分布，难以直接反映真实轮廓、尺寸与形貌，尤其不利于各向异性或不规则有机晶体。
在此背景下，基于机器学习的图像分析成为主流技术路径。文章指出，大多数研究仍聚焦于图像分割，因为后续尺寸测量与形貌识别的准确性高度依赖于晶体轮廓能否与背景及邻近颗粒可靠分离。长期存在的关键难点包括重叠晶界的区分，以及从二维（2D）投影图像中提取几何可靠信息。由于晶体本质为三维（3D）对象，其在2D图像中的表观轮廓与投影尺寸会随朝向、视角与深度变化而改变，因此部分新近研究开始结合双目成像与方向感知检测框架，以引入深度与视角信息，提升测量可靠性。
在模型演化方面，文章详细梳理了实例分割、语义分割、旋转检测与实时目标检测等路径。以Mask R-CNN为代表的实例分割模型能够同时输出位置、类别与像素级轮廓，适合晶体级表征，但在高密度悬浮体系、边界模糊、重叠严重及形貌异质性较高场景中性能会下降，且标注成本与计算复杂度较高。随后，研究逐渐转向更轻量且边界敏感的像素级分割模型，如U-Net，其在低对比度图像中的连续边界恢复表现较好，更适合分布层面的分析。与此同时，围绕细长、各向异性及任意方向晶体，S2A-Net、Oriented R-CNN等旋转感知模型被引入，以改进粒子长度分布与尺寸测量。
文章还总结了YOLOv4、YOLOv6、YOLOv8及基于ResNet50的RECDet等检测模型在在线监测中的优势。这类模型在推理速度与测量精度之间提供了更好的平衡，尤其在主要目标为分布层面估计而非精确轮廓恢复时，往往比复杂分割框架更具实用性。除尺寸检测外，本节进一步强调形貌分类的重要性，尤其是在形貌转变体系中，形貌不仅描述晶体外观，更可反映晶体演化与过程状态。以L-谷氨酸（LGA）为代表，α型与β型晶体具有较清晰的工业相关形貌差异，因此成为形貌分类研究的典型体系。相关研究从ART2神经网络、核函数分类器发展到Mask R-CNN，对形貌转变过程中的晶体数量、表面积、粒度分布及形貌描述符进行跟踪。文章同时指出，形貌标签在过渡状态下存在模糊性，高固含量条件下分类更难，这也是当前工业在线监测的重要瓶颈之一。
4 Crystal Growth Process Monitoring
本节讨论晶体生长过程监测，强调与阶段分类不同，生长监测关注的是粒径、数量、形貌与群体结构的连续变化。作者指出，生长阶段的主要挑战是生长速率检测，而生长后演化阶段的重点问题则转向团聚检测。传统以平均粒径变化估算生长速率的方法容易受极端值干扰，且人工监控晶体边缘变化不仅效率低，还易受搅拌、流体动力学与成像瞬态模糊影响。
在生长速率测量方面，文章回顾了基于Mask R-CNN、U-Net与SAM的研究。Mask R-CNN能够在重叠晶体与模糊图像中实现较准确的像素级分割，但计算与标注成本较高；U-Net更加轻量，适合连续监测晶体尺寸分布随时间的变化；而分割大模型（SAM）则被用于β-LGA晶体不同晶面的生长速率测量，并取得与人工测量接近的结果，显示出基础模型在适应复杂图像分割任务中的潜力。文章也提到，添加剂会改变晶面生长动力学、晶习与团聚行为，近期研究已开始将机器学习辅助图像分析用于添加剂作用下的定量结晶行为监测，从而使相关研究由定性观察走向数据驱动的定量分析。
在团聚检测方面，文章指出，必须区分晶体重叠与真实团聚，否则会影响计数、尺寸测量及形貌表征。早期方法主要依赖尺寸、形状及图像描述符结合支持向量机（SVM）、多层感知机（MLP）或反向传播神经网络（BPNN）进行分类，其性能较大程度取决于人工特征设计。随后，研究开始采用深度学习方法提升自动化与实时性，如基于YOLOv4的实时现场分析结合边界框重叠比指标进行团聚识别，Mask R-CNN用于L-丙氨酸图像中的单晶与团聚体区分，以及BiseNetv2对单晶与团聚体轮廓进行轻量级分割。总体而言，本节认为该领域已从手工特征模型过渡到深度检测与分割框架，但在实例级分离、跨体系泛化与实时部署方面仍有提升空间。
5 Crystallization Stage Classification and Process Optimization
本节讨论结晶阶段分类与过程优化，指出连续生长监测提供的是动态演化信息，而实际过程控制还需要对这些变化进行更高层次的解释。文章以有机结晶过程的四阶段框架——过饱和生成、成核、晶体生长、生长后演化——为背景，说明机器学习图像分析在该领域的两项关联性功能：识别当前处于何种结晶状态，以及利用该状态信息支持条件筛选与过程优化。
关于阶段分类，文章指出，其首要难点在于缺乏统一标准，不同体系和研究往往依据实验目标与视觉准则采用不同划分方式。因此，该任务的难度不仅取决于模型本身，也受标签定义方式影响。早期研究多进行“有晶体/无晶体”的二分类，后续逐步发展为“清澈/沉淀/晶体”的三分类，乃至四分类、多分类与更细粒度的过程状态划分。传统方法包括线性判别分析（LDA）、k近邻（k-NN）、随机森林（RF）、SVM与MLP等；深度学习阶段则引入CrystalNet、Inception-v3、EfficientNet、VGG16及多模型集成框架。文章认为，这一演进体现了阶段分类从粗粒度视觉识别向更具过程意识的图像解释发展，但类别越细，标注模糊性、类间相似性与数据需求也越高，因此更细的分类并不必然更有意义。
在过程优化方面，文章强调，相比阶段分类，该方向在图像机器学习研究中仍处于较早阶段。原因在于许多关键工艺变量并不能直接从图像中观察到，优化往往还需整合视觉信息、过程变量、结晶动力学与实验目标。已有研究展示了若干方向：其一，利用图像形貌识别支撑条件筛选，例如在微流控水凝胶液滴中对吲哚美辛结晶形貌进行高通量识别，并将识别结果映射回溶剂/反溶剂条件；其二，通过关联规则挖掘分析性质—条件—结晶结果之间的规律；其三，采用评分模型优先筛选最可能得到期望晶体的实验。文章据此认为，该领域正从被动结果识别向主动条件探索支持转变，但未来真正的进展有赖于CV与实验元数据、理化描述符及机理知识的深度融合。
6 Crystallization Result Prediction
本节聚焦结晶结果预测，即判断实验是否成功生成有用晶体，并评估产物是否具备目标特征。文章指出，现代高通量结晶使人工逐一审查结果变得不现实，因此研究者开始利用机器学习模型基于结晶图像特征预测实验结果。早期常用特征包括最长线段长度、线段数量及线性面积比等几何属性，常见方法包括人工神经网络（ANN）、决策树、SVM与判别分析。
文章回顾了若干代表性工作：一类研究关注成功/失败二分类，另一类则进一步判断所得晶体是否适于衍射，或通过评分形式衡量图像中形成高质量晶体的可能性。这表明，结晶结果预测并不仅是简单的图像分类问题，而是服务于实验决策、样本优先级排序与筛选效率提升的应用任务。进一步地，文章指出，结果预测也可扩展为晶体质量评估，包括是否达到采集标准、是否存在缺陷、是否过度成核等。相关研究采用多尺度注意力网络（MANet）对β-LGA晶体缺陷进行分类，也有研究利用SqueezeNet等深度网络对多类别蛋白晶体结果进行细粒度分类。作者强调，随着任务复杂度提升，模型价值的衡量标准已不再只是准确率，而是其是否能够支持更细致的下游实验判断。
7 Challenges and Prospects
本节系统总结了该领域面临的挑战与发展方向。首先，在7.1 Organic Crystal Morphology Data Resources中，文章指出高质量有机晶体形貌数据集的获取仍是核心瓶颈，问题包括数据量不足、标注错误、类别不平衡以及公共数据资源有限。虽然MARCO等数据库推动了相关研究，但由于不同研究常使用私有数据集，成像条件、噪声水平、标注准则与类别定义差异显著，导致不同研究之间的性能结果缺乏可比性。因此，领域内不仅需要扩大公共数据资源，更迫切需要标准化基准数据集、统一评价指标与一致报告规范。
在7.2 Crystal Image Acquisition and Analysis Techniques中，文章讨论了二维图像、灰度化处理、单目成像下的重叠与边界模糊问题，以及高分辨率显微图像的高维性、冗余性与任务依赖性。作者认为，双目视觉与多视角成像能够利用视差原理提升重叠晶体定位与三维测量能力；在特征处理方面，可通过主成分分析（PCA）、自编码器、特征选择及自动化特征工程缓解“维数灾难”，提升建模效率与泛化能力。
在7.3 Crystal Morphology Recognition Techniques中，文章强调形貌识别在制药领域的重要性，因为晶型或形貌差异会显著影响溶解度、稳定性与生物利用度。作者通过药物案例说明，如果不能严格控制晶体形貌，可能导致疗效不一致甚至安全风险。因此，未来需要进一步优化机器学习模型对复杂细微形貌特征的提取与分类能力。
在7.4 Crystal Generation Condition Control中，文章指出，目标晶型的获得依赖于温度、压力、溶剂、浓度与搅拌速率等条件的精确控制，而条件筛选本质上是对庞大“结晶条件空间”的系统探索。借助过程分析技术（PAT）、在线显微镜、ATR-FTIR与拉曼光谱，可实现关键参数的实时监测，并结合自动控制与AI开展反馈调节，未来有望形成更加智能的结晶系统。
在7.5 Interpretable Machine Learning Methods for Organic Crystallization Process中，文章讨论了模型可解释性问题。部分传统模型如决策树与线性回归具备天然可解释性，而深度学习结构复杂、参数众多，预测过程不透明。为增强透明度，可采用事后解释方法，如局部可解释模型无关解释（LIME）、Shapley加性解释（SHAP）及注意力权重分析等。文章认为，未来研究需要在性能与可解释性之间取得平衡，并根据不同应用场景提供分层次解释，以增强用户信任与模型可用性。
8 Conclusion
结论部分指出，基于图像检测与分割的机器学习，尤其是深度学习，已成为有机结晶过程监测与预测中的关键技术。过去20年中，其在晶体尺寸与形貌表征、晶体生长监测、阶段分类与过程优化、结果预测四个核心任务中均显示出显著价值。本文通过系统综述梳理了该领域的研究热点、技术进展、主要挑战与未来方向，并强调未来应重点推进高质量数据集建设、图像采集与分析技术升级、形貌识别能力提升、结晶条件控制优化以及模型可解释性的增强，以进一步促进机器学习图像分析在有机晶体研究中的深入应用。
