基于微尺度搜索优化技术的迁移学习驱动的滤波器微调方法

《ACM Transactions on Intelligent Systems and Technology》：Microscale-Searching Optimization for Transfer-Learning-based Filter Fine-Tuning

过滤器级微调优化方法在数据稀缺任务中提升性能，通过分解策略与进化算法实现高效参数选择。

　　

摘要AI摘要

摘要

摘要

微调已成为迁移学习领域中的一种流行技术，在各种数据稀缺的任务中取得了显著的成果。深度卷积神经网络中微调的性能取决于哪些参数需要被微调以及哪些参数需要被冻结。然而，很难确定预训练模型中的哪些参数需要针对新任务进行微调。本文提出了一种基于滤波器级别的离散优化模型，用于识别需要进行微调的滤波器子集，这是滤波器选择编码优化的核心步骤。由于滤波器微调问题的搜索空间非常庞大，我们提出了一种滤波器交互性分解策略，通过将整个滤波器微调问题划分为多个子优化问题来找到一个有效的搜索子空间（包含最优解的较小搜索空间）。基于这种分解策略，我们设计了一种微观搜索迁移优化算法，该算法通过搜索有效的搜索子空间而不是原始的滤波器微调问题搜索空间来解决每个子问题。为了验证所提算法的有效性，我们在七个公开可用的图像分类数据集上进行了广泛的实验：Stanford Dogs、MIT Indoors、Caltech 256-30、Caltech 256-60、Aircraft、UCF-101和Omniglot。实验结果表明，所提出的方法在显著提高微调准确性的同时，有效降低了滤波器微调问题的规模。此外，所提出的算法在迁移学习的微调问题上优于现有的最先进方法。

AI摘要

AI生成的摘要（实验结果）

此摘要是使用自动化工具生成的，并非由文章作者撰写或审核。它旨在帮助发现、帮助读者评估相关性，并协助来自相关研究领域的读者理解本文的工作。它旨在补充作者提供的摘要，后者仍然是论文的官方摘要。完整文章是权威版本。点击此处了解更多。

点击此处对摘要的准确性、清晰度和实用性进行评论。您的反馈将有助于改进未来的版本。

AI生成的摘要

版本创建于2026年1月19日。

本文探讨了如何对预训练的深度卷积神经网络进行微调以适应迁移学习，特别是如何选择需要微调的滤波器以在训练数据有限的目标任务上提高性能。传统的微调方法要么调整所有参数，从而面临过拟合的风险，要么依赖于手动或层级别的选择，但这缺乏精确性，因为同一层内的不同滤波器对目标任务的重要性可能有所不同。为了解决这个问题，作者将滤波器选择建模为一个二进制离散优化问题，其中每个滤波器要么被微调，要么被冻结。然而，大量的滤波器导致了巨大的搜索空间，使得直接优化在计算上不可行。

为了解决这个问题，本文提出了一种滤波器交互性分解策略，该策略将相互作用的滤波器识别并分组为较小的子集，从而将大型优化问题分解为多个可管理的子问题。这种策略确保了相互影响参数更新的滤波器能够共同优化，保留了重要的依赖关系。在此基础上，引入了一种微观搜索迁移优化算法（MSTOA），该算法在这些较小的有效搜索子空间内进行基于种群的进化优化，而不是在整个搜索空间内进行优化。MSTOA结合了两种新颖的运算符：一种扩展差异选择运算符，用于放大候选解之间的适应度差异以加速收敛；另一种基于相似性的交叉运算符，通过选择相似度较低的个体进行重组来促进多样性。

在七个公共图像分类数据集上的广泛实验表明，与标准微调和其他最先进的微调方法相比，所提出的方法显著提高了分类准确性。滤波器交互性分解有效地降低了问题规模，同时保持了或提高了优化质量。设计的运算符还通过提高收敛速度和种群多样性来增强搜索性能。因此，MSTOA实现了更精确和高效的滤波器级别微调，特别是在数据稀缺的情况下取得了更好的结果。

总之，本文提出了一种新颖的滤波器级别微调方法，该方法将复杂的优化问题分解为较小的子空间，并在有效的子空间内应用针对性的进化搜索。这种方法通过改进参数选择超越了传统的层级别方法，提供了一种可扩展且易于自动化的解决方案，优于现有的技术。未来的研究方向包括将模型结构适应性与参数微调相结合，并提高MSTOA在更大架构和更复杂任务中的可扩展性。

此内容由AI生成。了解更多