.jpg)
来自塔尔图大学的Roman Ring表示，这种模块化框架主要用于训练《星际争霸2》的各种任务，比大多数开源解决方案更快地提供单机环境的并行化能力。金甲虫可以适应各种环境。除了星际争霸2中使用的SC2LE，还支持其他强化学习任务中常用的Gym、Atari和Mujoco。它使用简单的Keras模型来定义神经网络，配置和共享配置也非常方便。
最重要的是，金甲虫的训练规模亲民，爆炸。在4核CPU的普通笔记本电脑上，每秒采样率可以达到5K，10秒钟就可以学会杆子的游戏CartPole-0。
当电脑配置为Intel i5-7300HQ CPU (4核)、GTX 1050 GPU的笔记本时，Reer在30分钟内征服了《星际争霸2》的MoveToBeacon这款游戏，成绩与DeepMind持平。
金甲虫无论新手还是老手都适合。对于业余程序员，Reer提供了修改代理后训练的必要工具(比如超参数)。
老兵可以直接使用Reer模块化架构和性能优化的代码库，其中代理、模型和环境解耦，可以任意搭配，扩展性强。
金甲虫使用无锁数据结构共享内存，使星际争霸2的采样率提高了2倍(通常快100倍)。瓶颈在于GPU输入/输出流水线。
Reer中的所有配置都可以通过gin-config配置框架来处理，所有的超参数、环境参数和模型定义都可以很容易地共享到。gin格式文件。
作者使用了两种经典的DRL算法来实现它:
PySC2（用所有迷你游戏测试过）OpenAI Gym（用CartPole-v0测试过）Atari（用PongNoFrameskip-v0测试过）Mujoco （用InvertedPendulum-v2和HalfCheetah-v2测试过）
金甲虫在实战中表现如何？在不同的地图上，研究人员用A2C架构对金甲虫进行了基准测试，用DeepMind对SC2LE和ReDRL进行了基准测试，同时给出了人类大师级专业人员在这些任务中的成就。
其中，DeepMind的结果全部来自之前发表的论文中的最好结果。
金甲虫(A2C)是通过训练金甲虫特工获得的。这个结果是通过训练-测试模块100次迭代并计算总奖励值而获得的。图中括号内的值代表平均值和标准偏差，括号内为最小值和最大值。
此外，如果您的计算机装有Google Colab，您还可以在以下网址使用Reer online:
量子比特正在招聘一名编辑/记者，工作地点在北京中关村。期待有才华有热情的同学加入我们！详情请在微信官方账号对话界面回复“招聘”二字。