《Image and Vision Computing》：Caps-ViT: A synthetic-free capsule vision Transformer for reconstruction based anomaly detection and localization
编辑推荐：
Caps-ViT（Capsule Vision Transformer）是一种无需合成数据（synthetic-free）的胶囊视觉Transformer，用于基于重建（reconstruction-based）的异常检测与定位。该模型仅利用真实正常图像即可检
Caps-ViT（Capsule Vision Transformer）是一种无需合成数据（synthetic-free）的胶囊视觉Transformer，用于基于重建（reconstruction-based）的异常检测与定位。该模型仅利用真实正常图像即可检测缺陷；衰减噪声（decaying noise）与局部加权结构相似性指标（Level-Weighted SSIM，LW-SSIM）可加速收敛；胶囊层（capsule layers）通过动态路由（dynamic routing）捕获用于缺陷检测的空间关系；潜空间几何（latent space geometry）为模型行为提供了可解释性见解；该方法在具有挑战性的工业检测基准上超越了此前最优方法。
**论文解读：Caps-ViT——面向工业异常检测与定位的无合成数据胶囊视觉Transformer**
**一、研究背景与动机**
随着工业4.0的推进，智能自动化已成为现代生产线的核心，计算机视觉（Computer Vision，CV）在其中扮演关键角色。工业环境中的异常检测（Anomaly Detection，AD）与定位旨在识别产品外观显著偏离正常数据统计特性的图像或区域，对于质量控制和缺陷定位至关重要。然而，工业异常检测面临两个根本性挑战：缺陷样本极度稀缺，以及异常形态高度多样，从MVTec AD、VisA等数据集中的大尺度结构缺陷（如缺失部件）到MVTec AD 2中的细微表面瑕疵（如微小划痕）均有覆盖。这使得传统监督学习方法不切实际，因为收集每种异常类型的足够缺陷样本往往不可行。因此，研究转向仅使用正常样本进行训练的無監督学习范式，主要分为重建（reconstruction-based）、嵌入（embedding-based）和合成（synthesis-based）三类方法。
重建方法假设仅在正常数据上训练的模型无法准确重建异常区域，通过计算输入与重建结果之间的差异来检测缺陷。然而，该类方法存在关键局限：当网络过泛化时可能成功重建异常输入，导致假阴性；此外，基于视觉Transformer（Vision Transformer，ViT）的架构通常数据需求大、收敛缓慢，在数据有限的工业场景中部署困难。嵌入方法依赖大型预训练骨干网络的特征，可能无法很好地迁移至与自然图像差异显著的工业纹理，且记忆库方法推理成本高、基础模型对提示工程敏感且计算开销大、多数方法可解释性有限。合成方法通过生成人工异常训练判别器，但合成异常难以完全反映真实缺陷的复杂性和纹理特征，生成缺陷的分布高度依赖合成策略，无法保证覆盖实际生产缺陷空间。
针对上述问题，研究人员提出了Caps-ViT（Capsule Vision Transformer），一种新型重建策略，集成了DigitCaps层进行层次化编码、高斯混合密度网络（Gaussian Mixture Density Network，GMDN）中的衰减噪声调度，以及水平加权结构相似性（Level-Weighted SSIM，LW-SSIM）损失以加速纹理收敛。该架构显著推进了VT-ADL框架，解决了其主要收敛和数据效率限制，仅使用真实正常训练数据即可实现有效异常检测，无需合成生成或外部预训练。
**二、研究内容与主要技术方法**
研究人员开展了一项系统的异常检测与定位研究，在五个公开工业基准数据集上评估Caps-ViT：MVTec AD、BTAD、KSDD、VisA和MVTec AD 2。模型仅用正常样本训练，异常样本留作评估。实验采用三种随机种子重复，报告均值和标准差。所有实验在NVIDIA GeForce GTX 1080 Ti GPU上进行，基于PyTorch 2.7.1和CUDA 12.8实现。
研究采用的主要关键技术方法包括：
（1）**分块掩码与ViT编码器**：输入图像被划分为64个64×64大小的补丁（patch），训练时以概率0.4进行随机块状掩码，迫使编码器从部分观测重建全局结构，增强潜在表示判别力。ViT编码器包含6个Transformer层、8个注意力头，MLP隐藏维度为1024。
（2）**DigitCaps胶囊层**：在ViT编码器后引入DigitCaps层，将潜在表示重塑为4096个维度为8的主胶囊（primary capsules），通过可学习的权重矩阵投影为预测向量，并经过3次动态路由迭代精炼耦合系数。该层捕获部分与整体之间的层次关系及空间姿态信息，对区分微小结构偏差至关重要。
（3）**GMDN与衰减噪声调度**：采用含有150个高斯分量的高斯混合密度网络对正常数据的潜在分布建模。引入衰减噪声调度σ_noise(t)=σ0·α/(α+t)，其中σ0=0.2、α=100，在训练早期提供正则化，后期逐渐衰减以保证精确重建，解决了固定噪声损害后期收敛的问题。
（4）**混合重建损失**：结合均方误差（Mean Squared Error，MSE）与水平加权结构相似性（LW-SSIM）损失，权重分别为λ1=5、λ2=0.5。LW-SSIM在SSIM中引入空间自适应权重，加速颜色和纹理收敛。
（5）**训练策略**：采用AdamW优化器（学习率10
-4，权重衰减10
-4），以验证集AU-PRO
0.30为监控标准，早停耐心为15个epoch，多数类别在约100个epoch后自然终止训练。
**三、研究结果**
**定量性能**：
在39个产品类别上的评估显示，Caps-ViT在挑战性最强的MVTec AD 2数据集上达到60.4%的AU-PRO
0.30，超过此前最优方法EfficientAD 1.7个百分点（pp），并大幅超越RD++和PatchCore等嵌入方法。与VT-ADL相比，Caps-ViT在31个类别中的27个上胜出，平均AU-PRO
0.30从80.88%提升至84.59%，总体提升+3.71 pp。最大增益出现在MVTec AD（+6.37 pp），BTAD和VisA分别提升+2.08 pp和+2.83 pp。在BTAD上三个产品类别均一致提升；KSDD上Commutor类别在epoch 40即达到70.83%，超过基线+3.53 pp；VisA上12个类别中10个超过VT-ADL，食品检查类别表现强劲。
**收敛行为分析**：训练动态分析揭示了三类收敛模式与产品结构复杂性的相关性：具有随机纹理或高频表面模式的类别（如Carpet、Leather、Transistor）在40-100个epoch内达到峰值；中等复杂度类别（如BTAD/03、VisA Fryum）在100-200个epoch达到最优；复杂全局几何或结构化异常的类别（如Pill、Screw、Toothbrush）需要长达400个epoch的渐近改进。多数类别标准差低于1%，验证了框架的稳定性。
**消融研究**：通过对比完整模型与三种简化变体（去除DigitCaps、去除衰减噪声、去除LW-SSIM），研究确认三个组件在时间上互补：LW-SSIM主导早期阶段，衰减噪声调度在后期重要，DigitCaps在全程贡献且随训练边际扩大。去除DigitCaps在MVTec AD上平均差距从epoch 40的-1.26 pp扩大至epoch 400的-4.09 pp，影响最大的是结构性异常类别。去除衰减噪声在后期造成-1.53 pp（MVTec AD）和-2.01 pp（BTAD）的损失。去除LW-SSIM在epoch 40时损失最大（MVTec AD -3.78 pp，BTAD -4.94 pp），至epoch 400时影响几乎消失，表明其作为收敛加速器而非提升渐近上限。
**潜空间分析**：通过t-SNE可视化对测试样本的潜在嵌入进行聚类分析，发现检测性能与正常/异常样本在潜空间的几何可分离性高度相关。高检测精度出现在模型将正常数据映射到紧凑流形、而异常投影到明显分离区域时（如BTAD/01，AU-PRO
0.30 92.62%）；当异常与正常样本共享结构或语义特征时（如MVTec AD/metal_nut，71.03%），异常样本在潜空间中与正常分布重叠，导致检测困难。
**四、结论与意义**
Caps-ViT作为一种无需合成数据和预训练提取器的重建架构，通过随机掩码、LW-SSIM损失和潜层DigitCaps层，有效地同时捕获了低层纹理和高层结构语义。在39个类别上的大量实验证明了其有效性，在MVTec AD 2上取得60.4%的AU-PRO
0.30，验证了基于真实正常数据统计的重建方法能够为现代工业自动化提供所需的鲁棒性和准确性。值得注意的是，嵌入方法在经典基准上的优势可能部分反映了分布对齐的有利性而非架构的根本优势，因为MVTec AD 2的专门成像条件超出了自然图像预训练覆盖的分布。研究还发现DigitCaps层对结构语义的影响：纹理异常受益于LW-SSIM的快速收敛，而结构异常需要延长训练以让胶囊模块完全解析复杂的部分-整体关系。未来工作将探索几何一致性损失、替代归一化层（如DyT或Derf）以及领域特定的教师-学生框架，以进一步提升重建保真度和边界精度。
