《Neurocomputing》：Probabilistic hypergraphs using multiple randomly masked autoencoders for semi-supervised multi-modal multi-task learning
编辑推荐：
计算机视觉领域从跨多种模态或解释层的大量数据中受益匪浅，以改进各种视觉任务。近年来，大量研究聚焦于通过掩码自编码器（Masked Autoencoders, MAE）进行的自监督预训练方法，通常作为优化给定下游任务（如分类或回归）的第一步。该方法在学习中证明非
计算机视觉领域从跨多种模态或解释层的大量数据中受益匪浅，以改进各种视觉任务。近年来，大量研究聚焦于通过掩码自编码器（Masked Autoencoders, MAE）进行的自监督预训练方法，通常作为优化给定下游任务（如分类或回归）的第一步。该方法在学习中证明非常高效和有用，因为它不需要任何人工标注数据。在这项工作中，研究人员引入了概率超图使用掩码自编码器（Probabilistic Hypergraphs using Masked Autoencoders, PHG-MAE）：一种新颖模型，利用输入数据或任务的多种模态或解释层，将近期关于多层神经超图的工作与广泛应用的MAE方法统一在一个共同的计算框架下。通过随机掩码整个模态（而不仅仅是那些层的补丁），研究人员展示了该模型在每次前向传播中从超边分布中采样。此外，该模型通过将预训练和微调结合到一个单一训练循环中，改进了标准MAE算法。而且，该方法支持创建推理时集成，通过聚合提升最终预测性能和一致性。最后，研究人员展示了可以在集成之上应用知识蒸馏，即使模型参数少于1M，性能损失也很小。虽然实验聚焦于户外无人机场景，但相同类型的测试可以在几乎任何拥有多个数据层和模态的领域中进行。为了简化将外部预训练专家集成到计算机视觉多模态多任务学习（Multi-Task Learning, MTL）场景中的过程，研究人员开发了一个高效的数据层处理与生成软件，并将其公开提供。使用该工具，研究人员创建并发布了Dronescapes数据集的完全自动化扩展，据研究人员所知，这是文献中同类数据集中最大的。所有技术细节、代码和复现步骤均可在项目网站上找到。
本论文解读文章基于《Neurocomputing》上发表的论文《Probabilistic hypergraphs using multiple randomly masked autoencoders for semi-supervised multi-modal multi-task learning》进行总结。研究背景方面，当前计算机视觉领域受益于多模态数据的丰富性，但多模态多任务学习（MTL）面临两大问题：一是传统神经超图方法具有固定的超图结构，需预先手工定义，且每个边或超边对应独立的神经网络，训练和修改成本极高；二是标准的掩码自编码器（MAE）通常仅用于自监督预训练，后续需任务特定微调，且在多模态场景下易陷入局部最优，导致性能不均。针对这些问题，研究人员提出了一种名为概率超图使用掩码自编码器（PHG-MAE）的新模型，旨在将经典神经超图方法与现代MAE统一于单一框架中，实现半监督多模态多任务学习，并提升推理时的性能与一致性。研究人员通过定义输入和输出模态的分离集合，将预训练与微调合并为单一训练循环，并基于随机掩码整个模态来模拟超边采样，从而形成推理时集成。此外，研究人员引入由预训练专家导出的中间模态，作为低层输入与高层输出之间的桥梁，促进任务对齐。实验表明，该方法在Dronescapes基准和未见过视频上取得了语义分割、深度估计和相机法线估计的先进结果，并通过蒸馏实现了小模型（150k-4.4M参数）的高效实时推理，显著优于此前方法。
主要关键技术方法：研究人员首先构建了一个多模态多任务数据管道，利用预训练专家（如Mask2Former和Marigold）生成伪标签，并从中导出9种中间模态（如建筑、天空、安全着陆区域等），以扩展Dronescapes数据集至148K样本、17种模态。核心方法PHG-MAE基于UNet-MTL架构，通过自定义掩码算法将输入模态（如RGB）始终可见，输出模态（如语义分割）始终掩码，并在每次前向传播中随机掩码中间模态，模拟超边采样。训练时仅采样单个超边，采用任务特定损失（交叉熵用于语义分割，L2损失用于回归）。推理时通过多次随机掩码生成集成候选，用简单平均聚合。此外，研究人员利用教师-学生蒸馏，将PHG-MAE-NRand集成的知识压缩至仅需RGB输入的小模型，并使用基于候选一致性的自动伪标签选择进一步优化性能。
研究结果部分：
1. 多个随机掩码自编码器集成结果：通过对比UNet-MTL基线和Mask2Former，PHG-MAE-NRand在80K样本的扩展数据集上，随集成候选数增加（1至50），语义分割平均交并比（Mean IoU）从51.83提升至55.06，优于Mask2Former的53.97，且仅使用12K样本时通过集成（30候选）即可超越80K样本的UNet-MTL。
2. 教师-学生蒸馏结果：PHG-MAE-Distil模型（4.4M参数）在148K伪标签上训练，Mean IoU达55.05，几乎持平教师模型55.06；而430k和150k参数模型分别达54.94和53.32，均优于Mask2Former，且推理速度提升近1000倍。
3. 自动伪标签选择结果：基于候选与集成平均相似度作为代理指标，使用每场景阈值选择前25%伪标签，Mean IoU提升至55.43；使用前33%则达56.27，超过教师1.2点，展示数据筛选的有效性。
4. 时间一致性结果：PHG-MAE-Distil在多个视频集上时间一致性得分（98.15-98.41）优于Mask2Former（95.19-96.79）和PHG-MAE-NRand（96.03-97.26），表明蒸馏模型更适合实时机器人应用。
5. 集成选择算法分析：通过Oracle实验（使用GT标签），最佳单候选（100中选1）Mean IoU达59.94，最佳子集（动态选择）达60.42，而简单平均仅55.06，显示通过更优选择算法可提升4.5点，无需重新训练。
6. 中间模态消融研究：对比仅使用语义专家（3种）和仅使用二进制中间模态（8种），联合使用两者最优；二进制模态提供更多集成组合，且随候选数增加持续提升。
7. 语义分割最新结果：PHG-MAE-Distil（4.4M）在Dronescapes测试集上以56.27 Mean IoU超越Mask2Former（53.97），且参数少50倍，验证了数据与算法双重改进的贡献。
8. 多模态多任务学习结果：PHG-MAE-NRand在语义分割（55.06）、深度估计（L2误差16.13）和相机法线（12.35）上均优于NGC和NHG等基线，但存在负迁移现象，最佳检查点因任务而异。
9. 经验谱密度与损失敏感性分析：PHG-MAE的稳定秩更低、谱衰减更陡，表明学习到更鲁棒的特征；损失敏感性显示其收敛到更平坦的最小值，对噪声扰动更不敏感，集成版本进一步增强了鲁棒性。
10. 地球观测结果：在NEO数据集上，PHG-MAE（32M参数，任务自适应损失）在50候选时平均相对性能提升（ARPI）达45.37，优于NHG、NGC和XGBoost，展示跨领域泛化能力。
总结讨论部分：研究人员指出当前方法存在若干局限性，包括中间模态的手工设计、固定掩码概率（50%）与简单平均集成、模型规模未建立缩放律、在多任务扩展上仍受负迁移影响，以及仅在两个计算机视觉数据集上评估。未来工作应朝向自动发现中间模态、数据驱动掩码策略、任务自适应损失、更大规模架构（如Transformer）以及真实无人机部署方向发展。研究结论部分翻译如下：总之，研究人员引入了一种新的半监督多模态MAE模型PHG-MAE，通过概率超图视角实现推理时集成。PHG-MAE可应用于任何掩码自编码器模型（如CNN、Transformer），通过随机掩码模态模拟神经超图，集成于单一统一模型中。研究人员在Dronescapes基准上使用小CNN模型（150K-4.4M参数）在MTL背景下测试，验证了其有效性。当多模态数据不可用时，研究人员开源了数据管道，通过预训练专家和程序生成中间模态实现集成。该方法在任意无人机视频上通用，并可扩展到其他领域。集成通过简单平均法即可产生比经典MTL更高质量和更时间一致的语义分割图。最后，高效蒸馏使实时推理成为可能，性能损失极小，并超越参数多两到三个数量级的大模型。
