《Pharmaceutics》：Multimodal AI and Process Analytical Technology for Solid-Dosage Quality Inspection: A Narrative Review
编辑推荐：
背景/目标：当视觉与过程信号可映射至关键质量属性（CQA）时，自动化检查具有重要价值。本叙述性综述评估计算机视觉（computer vision, CV）及互补性过程分析技术（PAT）在表面完整性、包衣结构、化学分布、内部缺陷及释放相关质量中的应用。方法：研究
背景/目标：当视觉与过程信号可映射至关键质量属性（CQA）时，自动化检查具有重要价值。本叙述性综述评估计算机视觉（computer vision, CV）及互补性过程分析技术（PAT）在表面完整性、包衣结构、化学分布、内部缺陷及释放相关质量中的应用。方法：研究人员采用针对性叙述性方法，综合选定的关于固体制剂检查、多模态传感、机器学习（ML）及混合数字孪生（hybrid digital twins）的文献。结果：可见光成像支持快速表面检查；光学相干断层扫描（OCT）与太赫兹（THz）方法可解析包衣及亚表面结构；拉曼（Raman）、近红外（NIR）及高光谱成像（HSI）方法补充化学或空间证据。任务特异性制药研究报告了有前景的性能，但罕见缺陷、数据泄漏、域偏移、校准、输入缺失、通量及生命周期漂移限制泛化。CQA驱动的融合需要产品特异性验证、校准不确定性、人工复核、变更控制及可追溯数据。结论：混合数字孪生可支持前瞻性情景分析与过程理解，但当前证据尚不支持自主批放行。检查输出仍属于过程内证据，除非在控制策略或针对特定放行属性的替代关系中得到验证。
1. 引言
固体制剂制造质量评价正由终产品破坏性检测转向生产过程中的风险检测。机器视觉已从片剂识别和表面检查扩展至更广制药应用，照明几何、片剂处理、图像采集、分割与分类共同决定模型检测信号的制药相关性。薄膜包衣片研究显示，实时机器视觉可估计包衣厚度并识别包衣缺陷，光学相干断层扫描（OCT）图像的卷积分析可检测常规视觉检查之外的亚表面包衣特征。工业4.0议程强调整合数据流、自动化、可追溯性与控制。许多视觉可及特征是产品性能的间接替代指标。过程分析技术（PAT）工具有助于将单元操作测量与连续过程验证相联系，太赫兹脉冲成像（TPI）将包衣分析扩展至层厚、界面质量及水合相关结构。包衣PAT需处理采样几何、移动床动力学、校准转移以及外观信号与释放限制屏障的区别。包衣时间影响片间和片内包衣均匀性，TPI可量化受片剂运动和包衣过程动力学影响的分布。多单元微丸系统、流化床包衣颗粒及OCT/X射线计算机断层扫描比较表明，产品架构和层厚影响模态选择。压缩力被提出作为片重均匀性的100% PAT信号，而实时放行检测（RTRT）综述强调溶出替代需验证过程测量、中间质量属性与最终性能之间的联系。监管经验表明，接受取决于模型可信度、过程理解和生命周期控制，而非仅模型准确性。本综述旨在形成释放相关的计算机视觉与人工智能（AI）驱动质量检查框架，界定视觉和光谱系统可辩护支持的质量属性，检查光学、化学和亚表面成像模态如何映射至包衣完整性、组分分布和溶出行为机制，评估模型架构、异常检测、不确定性量化及稀有缺陷和域偏移条件下的验证，并概述机制约束的混合数字孪生框架如何整合检查输出、受控动作、审计轨迹和前瞻性释放相关决策支持。此处“释放相关”指检查信号可贡献于经验证的控制策略或替代模型，不意味着图像分类本身构成RTRT或批放行。研究人员采用针对性叙述性检索，证据分为直接证据、相邻制药证据及仅作方法学类比的非制药制造研究。与早期机器视觉、单元操作PAT或RTRT综述相比，本综述增加以CQA为中心的整合，将模态选择与不确定性、人工裁决、生命周期治理及前瞻性混合模型/数字孪生决策支持相联系。
2. 视觉检查的释放相关质量空间
释放相关视觉系统应从CQA而非相机开始。表面裂纹、缺片、斑驳和异物重要，因其可指示过程偏差、处理损伤或污染，但其质量意义取决于制剂功能和患者风险。内部裂纹即使外观正常也可能影响崩解和机械稳健性。薄膜包衣产品需不同逻辑，因为包衣厚度、粗糙度、孔隙、针孔和颜色均匀性可能关系掩味、防潮、肠溶延迟或调释，而非仅外观。含量均匀性和溶出增加化学、空间和动力学层面，粒度限制、体外溶出预测和实时溶出替代需证据表明测量特征与性能机制相连。CQA优先框架影响模型设计：区分可接受与缺陷片照片的分类器可能足以外观分选，但当决策涉及包衣屏障功能或活性药物成分（API）微分布时不足。胶囊表面检查、包装缺陷检测、扫描电子显微镜基辅料分类及药物乳剂计算机视觉分析显示视觉AI可跨产品和过程状态运行，但每个用例的测量对象和失败后果不同。数字化和PAT整合研究主张实施优先级包括数据完整性、可追溯性、治理、过程连接和用户能力，智能制造框架强调端到端数据谱系是可信释放决策前提。相关比较说明检查读数应解释为CQA证据而非孤立图像标签。
3. 片剂检查中的图像形成与深度视觉模型
计算机视觉在推理之前即已开始。照明、传送速度、片剂位姿、包衣光泽、粉尘、镜头畸变和传感器老化可制造表观缺陷或掩盖真实缺陷。片剂检查与识别综述强调，受控图像采集和产品处理并非辅助工程细节，而定义模型学习的统计对象。深度卷积模型可提取边缘、纹理和形状的分层特征，高效模型缩放和分层Transformer设计扩展高通量检查的设计空间，但视觉Transformer和自监督视觉特征并不消除制药学标签、受控采集和明确性能边界的需要。在释放相关检查中，模型输出应解释为情境化测量而非独立裁决。类激活映射和相关显著性方法可显示分类器关注缺陷、片缘、反射或夹具伪影，该区分在预测缺陷可能触发批次隔离或调查时至关重要。可迁移视觉—语言表征可帮助检索相似缺陷模式或支持稀疏样本学习，但须通过受控词表、经验证提示和人工复核约束，因为制药质量类别不同于普通自然图像概念。直接制药研究说明性能报告需带数据集和验证背景：X射线计算机断层扫描内部裂纹分析在七个批次、每批39–55片片剂上约达94%平均准确率；一项薄膜包衣片研究报告25,200张增强图像上的99.7%多类准确率，但公开摘要未说明划分是否先于增强，故不能视为已确认无泄漏的独立测试性能；胶囊表面检测器报告约21–22帧率下92.91%平均精度。上述数值因产品、缺陷构造或患病率、成像物理、增强和验证设计不同而不可互换。
4. 从表面到潜在关键质量属性的多模态过程分析技术成像
单一成像模态不能覆盖完整固体制剂质量空间。可见光相机提供快速、低成本、高分辨率表面信息，但表面特征可能与API分布或亚表面包衣结构弱相关。OCT可解析包衣和近表面界面；在一项在线制药OCT数据集中，卷积神经网络从7254张图像获得5998个包衣层检测，而椭圆拟合为1007个检测，离群值分别为0.08%和2.88%。太赫兹（THz）方法提供更深结构信息，已用于制药薄膜包衣分析，比较性包衣厚度研究表明模态选择取决于膜厚、几何和穿透深度。拉曼和NIR方法增加化学特异性：拉曼可识别组分域和多晶型，NIR和HSI可量化片剂组成并支持质量分类。机制价值在于围绕同一质量问题融合这些信号，而非简单增加传感器数量。多模态检查最有力时，每种模态在机制证据链中有明确角色：可见缺片可能指示机械损伤；拉曼图可揭示崩解剂定位是否可能改变溶出；OCT厚度图可评估包衣沉积均匀性；THz测量可探测影响释放的水合相关屏障。当机器学习（ML）从化学图、压缩力、粒度分布、超声或光谱特征预测溶出时，模型仅在潜在特征受制剂科学约束并针对独立产品性能测量验证时有用。此处“潜在质量状态”指从同步过程和传感器数据推断并明确映射至一个或多个CQA的多变量状态，并非新的监管质量属性。
5. 受监管视觉的数据架构、标注与基准设计
制药视觉的瓶颈常非模型架构而是可辩护数据。关键缺陷在合规生产中本就不频繁，原材料属性和加工历史随批次变化，商业线故意制造严重缺陷常不现实。因此，制药缺陷检测研究需要区分缺陷身份、严重度、位置、根因合理性和预期动作的标注协议。工业异常检测研究为低缺陷场景提供基准数据集、块分布建模、基于记忆的最近邻检索、重建嵌入策略、归一化流和毫秒级延迟模型等方法。这些方法适用于标签缺陷样本稀缺的制药检查，但须适应良好生产规范（GMP）预期：仅因在对象、缺陷物理和照明与片剂无关的公共基准上表现良好，不能接受仅正常样本模型。受监管基准应产品特异且面向生命周期，包括跨批次、设备设置和供应商的代表性正常变异；稀有缺陷的刻意挑战集；独立留出时段；定义图像质量接受标准；预设动作阈值。深度工业异常检测综述和制造视觉综述显示，先进算法可定位缺陷，但也暴露域转移、未知缺陷严重度和可解释性等弱点。域泛化尤为重要，因为在一个相机、包衣颜色或湿度范围下训练的模型可能在另一条件下失败而无明显性能崩溃。验证还应挑战不完整或噪声输入、设备间校准转移、照明和环境变异、稀有缺陷不平衡及时间或场地漂移。过拟合控制应包括按批次分层和时间留出、防止增强或重复图像泄漏、与简单基线比较及预设挑战集。假阳性和假阴性率应按缺陷类型和严重度在预期动作阈值下报告，并附概率校准及对超出验证操作域输入的弃权或回退规则。
6. 缺陷决策中的不确定性、域偏移与人工复核
缺陷分数不等于缺陷知识。制药线在粉末性质、照明、包衣颜色、粉尘负荷、工具磨损和相机校准方面存在变异，模型可能因与产品质量无关的原因而自信。深度集成、贝叶斯 dropout、基于能量的分布外检测、共形化分位数回归和校准方法提供表示认知不确定性、偶然噪声和分布陌生性的互补方式。制造故障检测研究表明，不确定性可用于操作而非仅统计：不确定预测可触发额外传感、人工复核或临时保守控制。在制药检查中，这最适用于动作阈值附近，假阴性可能放行缺陷单元，假阳性可能触发不必要调查或浪费。不确定性也决定人工专业何时进入工作流。复核者不应仅作为模型将证据压缩为二分类标签后的最终签名；复核者应看到图像、模型注意或解释、校准分数、相关过程背景及相似病例历史邻域。Shapley加性解释式归因和视觉解释在作为诊断证据而非因果证明时有用。验证回路应检查数据集偏移，从少量样本学习稀有缺陷，以不确定性分数将不确定或高风险病例路由至人工复核，并将经验证病例返回模型更新过程。该回路兼容连续过程验证，因其形成模型何时有足够证据行动、制造系统何时需要额外证据的可审计记录。
7. 从模型输出到良好生产规范生命周期控制
制药制造中的模型部署是生命周期承诺。开发中表现良好的视觉模型可在相机更换、包衣供应商变更、片剂压印修改或清洁程序改变表面残留后变得不可靠。连续制造和RTRT的监管经验表明，接受取决于过程理解、经验证替代关系、变更管理及批准后维持模型性能的能力。数字制药科学和数字化论文进一步强调，数据完整性、版本控制、电子记录和治理须设计入系统而非模型训练后补加。RTRT综述同样表明，替代模型仅在分析有效、机制合理、统计监测并链接至定义控制策略时可信。GMP使用时，验证单元是决策系统而非仅算法，包括采集硬件、预处理、模型权重、阈值规则、操作员界面、数据保留、调查程序和再训练触发。联邦学习可能帮助公司从分布式制造场地学习而不集中专有图像，但制药使用还需场地不平衡、模型更新授权、聚合后验证和可复现审计轨迹的额外控制。实际实施路径应从预期CQA和动作开始，继而进行适用性传感器确认、校准和配准、代表性挑战集、模型和阈值验证、线速/延迟测试、受控部署及预设再确认触发。部署前应评估与现有可编程逻辑控制、制造执行、实验室信息和电子记录系统的兼容性。总拥有成本应包括资本设备、校准维护、计算存储、数据整理、人员培训、再确认、调查负担及各新增模态的增量价值。长期稳健性需监测供应商、批次、设备、软件、维护、清洁、包衣颜色、温度、湿度和场地变化。模型更新应版本化、影响评估、再验证、授权和部署后监测，而非不受控在线学习。操作员界面应显示源证据、校准分数或区间、相关过程背景及明确升级路径；可问责人工监督、 override authority 和调查责任仍属制药质量体系。跨学科实施需要制剂/工艺科学家、PAT和分析专家、自动化和数据工程师、质量保证和验证人员、信息安全专业及受训操作员。环境和可持续考虑也支持采用能增加CQA相关信息的最小传感器集，因为冗余模态可增加计算延迟、能耗、维护、验证负担和电子废弃物足迹而不改善质量决策。监管锚定应明确：ICH Q8(R2)、Q9(R1)和Q10提供药物开发、风险管理和质量体系框架；ICH Q13涉及连续制造生命周期管理；ICH Q14涉及与多变量方法相关的分析程序开发和生命周期概念；FDA PAT指南支持基于科学和风险的过程测量使用；EU GMP Annex 11涉及计算机化系统；2025年Annex 22人工智能文本为草案咨询文件，非有效GMP要求。对关键GMP应用，该草案限于输出确定性的静态模型；持续适应模型、随机输出模型及生成式AI或大语言模型不在其范围，不应用于关键应用。基于不确定性的弃权仅当冻结推理管线对相同输入产生可复现分数和决策时符合该边界。基础模型或视觉—语言特征仅在实施模型静态、确定且经验证时可考虑用于关键用途；生成式AI或大语言模型输出在草案下仍不在关键用途内。联邦学习若部署产物冻结、经验证且确定，可支持离线开发，而持续在线聚合或适应不在草案边界内。良好自动化生产规范5为GxP计算机化系统提供互补行业良好实践。正式变更控制和风险相称再确认是作为基于这些生命周期原则提出的实施框架，而非通用监管要求。
8. 混合数字孪生与前瞻性情景测试
混合数字孪生提供连接过程理解、PAT信号和基于模型决策支持的前瞻性整合层。现有制药文献将数字孪生描述为过程知识、数据整合、PAT和虚拟模型的演进组合，而非成熟替代经验证质量系统。较新工作考察药物工艺设计和运行的互补机制、数据驱动和混合建模策略，2025年综述识别持续实施障碍。一般制造研究描述高斯过程质量预测、物理感知替代模型及数字孪生/替代架构。催化剂线孪生提供参数预测的相邻流程工业示例，而非制药验证。在连续制药制造中，混合建模可结合停留时间行为、进料器变异、压缩力、包衣条件和传感器信息。数字孪生能独立授权固体制剂放行的证据仍有限。前瞻性情景测试也应与经验证因果主张区分。因果表征学习将预测关联与干预有意义结构分离。除非数字孪生模型明确干预变量、关于混杂和可识别性的假设及支持这些关系的独立证据，降低喷速、改变锅速或修改压缩力等替代方案应描述为用于决策支持的虚拟what-if情景而非因果证明。因此，提出的机制约束混合框架应明确分离过程与物料变量、多模态PAT证据、不确定性、人工复核、CQA预测、前瞻性情景、受控动作和审计轨迹。
9. 研究重点与转化展望
下一阶段制药视觉检查应优先机制数据集而非更大但弱标注图像集合。产品特异数据集应包括正常变异、已知过程偏移、破坏性参考测量和临床相关严重度分级。基础视觉特征可减少标注负担，大型视觉—语言异常模型显示文本条件缺陷推理在工业环境渐可行。可打印药物ML的相邻工作也显示模型引导制造正从检查扩展至制剂和剂型设计，强化制药AI应用共享验证语言的需要。然而，这些模型应视为表征引擎而非未经验证的放行权威。研究应在相同片剂或胶囊数据集上比较经典监督模型、异常检测模型和基础模型特征，性能按CQA特异性风险与动作阈值报告，而非汇总图像准确率；单一聚合F1分数可掩盖对患者风险最相关的稀有关键缺陷低敏感性。第二优先是带明确不确定性的多模态融合。红绿蓝、OCT、拉曼、NIR、HSI、THz和超声信号可在特征、潜在状态或决策层面组合，但融合应由所保护CQA的机制证明。对包衣依赖释放，层厚和水合结构可能比颜色均匀性应获更大证据权重；对含量均匀性，光谱和化学图可能占主导；对机械缺陷，可见和亚表面形态可能具决定性。第三优先是监管级生命周期证据：研究应报告采集设置、校准转移、模型更新、人工复核和审计轨迹在部署后如何维持。无此证据，即使高准确模型仍为研究演示而非制药质量系统。多模态融合在空间未配准、非同步采样、校准不良或缺失时也可失败；挑战测试应包括模态缺失和配准误差，并将融合模型与更简单单模态基线比较。部署决策还应考虑采集延迟、校准负担、维护、能耗及新增模态对CQA相关动作的影响。
10. 结论
计算机视觉与制剂科学、PAT证据和生命周期治理相联系时，可显著增强制药质量检查。综述文献显示，可见光检查、OCT、THz成像、拉曼成像、HSI、NIR光谱、超声和ML各自贡献固体制剂质量的部分视图。核心任务是将每种信号分配至其可合法支持的CQA，并针对产品性能证据验证所得替代关系。释放相关架构应结合受控图像采集、多模态传感、制药学有意义标签、异常检测、不确定性量化、人工复核、前瞻性混合数字孪生决策支持及审计就绪控制动作。该方法避免两个弱极端：仅将视觉AI视为外观分选，或将模型置信度视为过程理解替代。最具辩护性的未来系统应能解释观察到什么、为何机制上重要、不确定性如何处理、采取何种动作及决策如何跨产品生命周期重建。只有当检查或模型输出构成相关释放属性的经验证替代或控制策略一部分时，才应声称RTRT。
