用于动态算法配置的深度强化学习：使用 (1+(λ,λ)) 遗传算法优化 OneMax 问题的案例分析

《ACM Transactions on Evolutionary Learning and Optimization》：Deep Reinforcement Learning for Dynamic Algorithm Configuration: A Case Study on Optimizing OneMax with the (1+(λ,λ))( 1 + ( λ , λ ) ) -GA

　　

摘要AI摘要

要查看此AI生成的摘要，您必须拥有高级访问权限。

了解更多登录

摘要

摘要

动态算法配置（DAC）研究参数化优化算法控制策略的高效识别。众多研究利用强化学习（RL）来应对DAC挑战；然而，应用RL通常需要广泛的领域专业知识。在本工作中，我们全面研究了两种深度强化学习算法——双深度Q网络（DDQN）和近端策略优化（PPO）——用于控制<1+(λ,λ)>遗传算法（GA）在OneMax实例上的种群规模参数。尽管OneMax结构相对简单，但学习有效的参数控制策略会为<1+(λ,λ)>-GA产生极具挑战性的DAC景观，使其成为一个受控却苛刻的基准。我们的调查揭示了两个限制DDQN和PPO有效性的根本挑战：可扩展性退化与学习不稳定性，可追溯到探索不足和规划视界覆盖问题。为应对探索不足，我们提出了一种自适应奖励偏移机制，该机制利用奖励分布统计来增强DDQN的探索能力。这消除了针对特定实例的超参数调优需求，并确保在不同问题规模下的一致有效性。为解决规划视界覆盖问题，我们证明无折扣学习在DDQN中能够成功，而PPO则面临根本性的方差问题，需要替代设计方案。我们进一步表明，虽然超参数优化能够提高PPO的学习稳定性，但在各种配置下始终无法识别出有效策略。最后，配备自适应奖励偏移的DDQN达到了与理论推导策略相当的性能，同时样本效率大幅提升，比先前的DAC方法高出数个数量级。综上所述，我们的发现为标准深度强化学习方法在这一具有挑战性的DAC设置中所面临的根本障碍提供了见解，并突出了有效学习所需的关键方法要素。

AI摘要

AI生成摘要（实验性）

本摘要由自动化工具生成，未经论文作者撰写或审核。它旨在支持发现、帮助读者评估相关性，并协助来自相邻研究领域的读者理解该工作。它作为补充作者提供的摘要而存在，后者仍然是论文的主要总结。全文仍是权威版本。 点击此处了解更多。

点击 此处 对此摘要的准确性、清晰度和实用性进行评论。这样做将有助于完善未来的重新生成版本。

要查看此AI生成的通俗语言摘要，您必须拥有高级访问权限。