冻结预训练编码器驱动的无训练视频二维语义嵌入：编码器主导类别结构而降维方法主导保真度

《Journal of Visual Communication and Image Representation》：Understanding and overcoming the breakdown of direct video embedding through pretrained representations

　　

原始视频难以直接嵌入；冻结编码器可恢复语义邻域。该工作提出无训练两阶段流程：先采用冻结编码器，再采用主成分分析（Principal Component Analysis，PCA）、t分布随机邻域嵌入（t-distributed Stochastic Neighbor Embedding，t-SNE）或均匀流形近似与投影（Uniform Manifold Approximation and Projection，UMAP）。编码器决定二维图中的类别结构，降维方法决定其对输入几何的保真度。两个数据集上，视频编码器较图像编码器给出更清晰的类别结构。紧凑三维卷积神经网络（three-dimensional convolutional neural network，3D CNN）在质量与计算量之间提供最佳折中。

研究背景与问题：视频已成为视觉信息的默认载体，将大规模高维视频集合转化为二维语义图，可支持浏览、基于内容的检索和异常片段发现。PCA、t-SNE和UMAP在其他领域可常规生成此类图，但直接作用于原始视频时语义结构较弱。原始视频维度可达10⁸至10⁹， pairwise距离趋于集中，PCA所需协方差谱变平，样本数与维度比极低。更关键的是，像素欧氏距离主要由光照、背景、相机运动与编码伪影等外观因素支配，近邻常按拍摄条件而非动作组织。因此，Rahim Pasbanigoloojeh等研究无训练两阶段框架，以冻结预训练编码器提取紧凑描述符，再在描述符空间中进行流形学习。

研究开展与结论意义：研究人员形式化两阶段嵌入框架，将语义特征提取与流形学习分离；不进行目标任务训练或微调，所有编码器均使用已发布检查点，后续分类器仅用于测量表示质量。研究在UCF101与HMDB51上评估16个冻结编码器形成的20种特征配置、三种随机种子和三种嵌入方法，并采用预先固定的比较、置信区间和效应量。结论是：直接嵌入原始视频不可靠；冻结编码器能显著恢复语义邻域；二维图的类别结构主要继承自编码器，降维方法主要决定保真度；视频编码器在两个数据集上优于图像编码器；紧凑3D CNN在质量与计算成本间折中最佳；Transformer读出方式需谨慎选择；评估应保持同源视频位于划分同一侧。该研究为资源受限下的无训练视频探索、检索与可视化提供实证指南，并发布代码、配置和提取特征。

关键技术方法：使用UCF101（13,320片段，101类）与HMDB51（6,766片段，51类；1个不可解码，余6,765），UCF101用官方划分1，HMDB51按源视频类内70/30划分。16个冻结检查点（图像模型用ImageNet-1 K权重，视频模型用Kinetics-400权重）构成20种特征配置；描述符取最终分类器前张量，经PCA统一至512维，再以PCA、t-SNE或UMAP降至二维，t-SNE与UMAP各3种子。评价分三层：k近邻（k-nearest neighbor，k-NN）与线性探针测表示质量，Trustworthiness、Continuity、邻域保持、RNX与Shepard相关测保真度，二维k-NN与Silhouette测类别结构；统计用配对McNemar或Wilcoxon检验、Holm校正与匹配对秩双列效应量，并记录GMACs成本。

研究结果：
6.1 原始视频的直接嵌入：通过按相同协议对原始片段（每片段16帧、64×64像素，196,608维）作PCA-512投影后嵌入，线性探针与二维k-NN准确率低，Silhouette为负；结论是直接嵌入类别结构弱，像素空间近邻更多反映录制条件而非动作。
6.2 特征配置比较：通过20种配置在两个数据集和三种嵌入方法上比较，UCF101上线性探针均值在图像编码器、视频CNN、视频Transformer分别为80.2%、93.6%、95.4%，HMDB51为45.9%、66.1%、68.0%，VideoMAE均值池化最强（96.9%与73.7%）；Level 3变化大而Level 2变化小；结论是编码器设定类别结构，降维设定保真度。TimeSformer与ViViT的CLS token在两个数据集上给出更好类别结构，VideoMAE无分类token，其首token读取在UCF101 Level 3仅42.3%，而token均值达95.3%。RNX曲线显示UCF101视频编码器在K约10²、接近类均大小时出现第二峰，HMDB51仅弱峰或平台。
6.3 统计比较：通过11项预注册比较，图像对视频编码器在Level 1和Level 3上效应显著，Level 2方向混合；图像家族内ConvNeXt-B在Level 1有小优势，Level 3近期架构间无显著差异；TimeSformer与ViViT的CLS在Level 1和Level 3占优，随机pooler与CLS不可分；t-SNE在相同描述符上优于UMAP；种子变异远小于配置差距。
6.4 计算成本：通过实测GMACs，图像编码器按采样帧计费，ViT-B/16每片段281 GMACs，高于VideoMAE-B的180和TimeSformer-B的196，但UCF101 Level 1低12点；X3D-M与EfficientNet-B0同为6.2 GMACs，却达到94.3%对80.4%（UCF101）和69.2%对45.1%（HMDB51）；结论是固定预算下紧凑视频CNN为合理默认，嵌入阶段成本较低。
6.5 图像模型的时间聚合：通过比较16帧描述符晚期融合、编码前帧平均和中间帧单帧，九种图像编码器在两个数据集上均由晚期融合胜出；编码前平均在UCF101损失20至31点，中间帧保留较多精度但被X3D-M在成本-质量上支配；结论是晚期融合最优但计算代价高。
6.6 嵌入设置下的稳定性：通过五种代表配置在八种替代设置下重复，以Kendall τ衡量排序稳定性，类别结构在UCF101八种设置中六种τ=1.0，在HMDB51四种；最低为0.6（5个UMAP近邻及HMDB51 perplexity 100）；Level 2在t-SNE下稳定，在UCF101的UMAP下不稳定，原因是五种编码器AUCRNX差距仅0.031；结论是主要排序大体稳定。

讨论部分总结：测量表明，同一算法在像素空间形成不分化的云，而冻结编码器介入后类别结构可读；特征空间内在维度远低于环境维度，最近邻更常共享动作。方差分解显示，编码器解释UCF101与HMDB51二维k-NN准确率方差的95.7%与97.9%，嵌入方法解释AUCRNX方差的95.0%与80.4%。架构上，图像与视频编码器在Level 1和Level 3顺序稳定，Level 2不成立；X3D-M与均值token Transformer在UCF101相当，注意力增益有限；图像家族内新架构优于旧架构。Transformer读出方面，TimeSformer与ViViT的CLS优于token均值，VideoMAE首token不宜作全局描述符；随机pooler不扰动邻域结构。t-SNE领先UMAP和PCA；UCF101中类别结构越清晰，全局距离保持越差（Shepard系数与二维k-NN的Spearman相关为?0.89），HMDB51较弱（?0.40）。评估协议上，随机划分替代同源分组划分会使Level 3提高1.6至17.7点，弱描述符获益更大。视频仍缺类似CLIP与句编码器的默认描述符，新视频基础模型可沿用该协议。局限包括仅两个动作识别数据集、每视频一个片段与一个空间裁剪、超参数固定、仅考虑冻结检查点。

研究结论翻译：将原始视频直接用PCA、t-SNE或UMAP嵌入会得到类别结构很弱的图，其中近邻似乎跟随录制条件而非动作。在降维前放置冻结编码器会改变这一点：其描述符空间内在维度低，最近邻更可能共享动作。在20种特征配置和两个数据集上，编码器在很大程度上决定读者看到的类别结构，嵌入方法决定对输入几何的保真度，t-SNE领先于UMAP和PCA。视频编码器在描述符质量和类别结构上领先图像编码器，紧凑视频CNN如X3D-M在小预算下提供最佳质量，因为图像模型按帧计费。Transformer的读出应像其架构一样受到重视，评估应使同一来源片段位于划分同一侧。这些发现在种子和嵌入设置下大体稳定。超越动作识别的视频基础模型，以及由场景而非动作定义类别的领域，是该协议自然的后续测试。代码、配置和提取特征已发布。