面向跨域小样本学习的任务感知动态路由网络TACO：增强泛化能力的新方法

本文提出了一种创新的任务感知动态路由网络（TACO），用于解决跨域小样本学习（CD-FSL）中的关键挑战。该方法通过强化学习动态调整网络结构，结合自注意力（self-attention）和知识蒸馏（knowledge distillation）技术，显著提升了模型在稀疏样本下的泛化能力和特征提取效率。实验表明，TACO在多个数据集上平均准确率最高提升3.03%，为复杂视觉任务提供了更灵活的解决方案。

　　

亮点

• •
  提出TACO（任务感知动态路由网络），一种能自适应学习每个目标任务最优结构的模型，解决了CD-FSL中固定参数配置的僵化问题。
• •
  引入新颖的特征引导知识蒸馏方法，无需额外约束即可提升学生模型性能并加速收敛，缓解稀疏样本导致的泛化限制。
• •
  设计任务导向的参数优化模块，动态调整网络层中自注意力映射器的数量和分布，以平衡不同任务中的适应性与泛化能力。
• •
  在元数据集上的评估表明，TACO显著优于现有先进方法。

结论

本文提出了一种名为TACO的任务导向跨域小样本学习方法。该方法通过自适应学习每个目标任务的最优参数策略，旨在最大化CD-FSL场景中的识别性能。TACO克服了传统知识蒸馏方法的局限：当使用两个预测标签监督学生检测器时，传统方法可能导致低效学习。为解决这一问题，TACO整合动态结构优化与特征增强机制，显著提升了模型在复杂视觉元素（如医学影像或自然图像）中的鲁棒性。