基于多级掩码信息融合的自监督Transformer架构搜索方法研究

本文推荐：该研究首创性地提出BWSS-TAS框架，通过多级掩码信息融合（MIM）实现无标签数据驱动的Transformer架构搜索（TAS）。创新性地采用块级孪生编解码器（siamese encoder-decoder）和进化算法，融合教师-学生一致性（teacher-student consistency）与图像重建质量双重指标，解决了超网（supernet）协同训练偏差和搜索随机性难题，为自监督架构优化提供了新范式。

　　

亮点

• 首次将多级掩码信息融合引入自监督TAS任务，扩展了掩码图像建模（MIM）在架构优化中的应用边界。

• 提出块级孪生超网（block-wise siamese supernet）设计，通过层级掩码特征预测解决超网训练偏差问题。

• 开发融合局部一致性（teacher-student consistency）与全局重建保真度（reconstruction fidelity）的无监督评估指标，实现可靠的进化搜索。

结论与未来方向

本研究提出的BWSS-TAS框架通过掩码数据建模摆脱了对人工标注的依赖，在ImageNet和ADE20K等任务中验证了其优越性。未来可探索动态掩码策略与跨模态架构搜索，进一步释放自监督TAS的潜力。

作者贡献声明

Caixia Yan：论文撰写、可视化、资金支持；Xiaojun Chang：论文评审、项目管理；Weizhan Zhang：资金支持、理论分析；Zhihui Li：软件开发、数据挖掘；Lina Yao：论文评审、实验设计；Minnan Luo：算法优化；Feng Tian：资源协调。

利益冲突声明

作者声明无任何可能影响本研究的财务或个人关系。

致谢

本研究受国家重点研发计划（2022ZD0117103）、国家自然科学基金（62302384、62172326、62137002）等资助。