WemiEnv：一个用于微信小程序游戏的开源强化学习平台

《IEEE Transactions on Games》：WemiEnv: An Open-Source Reinforcement Learning Platform for WeChat Mini-Games

微信小游戏平台因其轻量、跨平台及低成本特性成为强化学习（RL）研究的理想环境。现有RL基准环境局限性强，本文提出WemiEnv开源平台，支持用户自定义和六种预装游戏（如2048、Flappy Bird），并通过OpenAI Spinning Up库验证其有效性。

　　

摘要：

近年来，移动游戏的流行程度激增。与此同时，小游戏的出现也引起了人们的关注。与传统移动游戏相比，小游戏更加轻量级、平台独立，开发成本较低，这吸引了成千上万的开发者和用户。微信小游戏平台是最受欢迎的平台之一，拥有超过10万款小游戏。微信小游戏的多样性和丰富性使其成为训练强化学习（RL）代理的理想平台。然而，大多数现有的RL基准环境都配备了预设的游戏，这些游戏通常局限于少数几种类型，缺乏对新游戏和多样化游戏的利用。为了将微信小游戏用于RL研究，本文提出了WemiEnv，这是一个轻量级、易于使用且开源的RL研究平台，专门针对微信小游戏设计。WemiEnv基于微信开发者工具构建，允许RL代理与小游戏进行交互。WemiEnv还支持用户自定义小游戏，用户只需在WemiEnv API中实现少数接口功能即可。我们还提供了六款流行的小游戏：Space Fighter、Flip、2048、Flappy Bird、Timberman和Snake作为即用型任务。我们使用OpenAI Spinning Up库对这些任务进行了RL基准测试，以验证WemiEnv的可用性。

引言

近几十年来，移动游戏在智能手机用户中的流行程度显著提升。据报道，2022年移动游戏的消费支出超过了1100亿美元。¹

[在线来源：https://www.gamesindustry.biz/dataai-global-mobile-game-revenue-dipped-5-to-110bn-in-2022]

这些巨额利润不仅促进了新游戏的开发，还催生了多个提供多样化小游戏的平台。与传统移动游戏应用不同，小游戏被集成到了移动应用中，用户无需下载额外应用即可直接玩到它们。这种“即插即用”的特性吸引了大量玩家以及众多开发者和开发平台。在现有的小游戏平台中，微信小游戏平台是最受欢迎的平台之一。该平台由腾讯开发，与拥有庞大用户基础的微信应用集成在一起。目前，微信小游戏平台托管着超过10万款小游戏，每月活跃用户数量达到4亿。