五分钟教你在Go-Bigger中设计自己的游戏AI智能体

多智能体对抗作为决策AI中重要的部分,也是强化学习领域的难题之一。

为丰富多智能体对抗环境,OpenDILab(开源决策智能平台)开源了一款趣味多智能体对抗竞技游戏环境——Go-Bigger。同时,Go-Bigger还可作为强化学习环境协助多智能体决策AI研究。

与风靡全球的agar.io、球球大作战等游戏类似,在Go-Bigger中,玩家(AI)控制地图中的一个或多个圆形球,通过吃食物球和其他比玩家球小的单位来尽可能获得更多重量,并需避免被更大的球吃掉。每个玩家开始仅有一个球,当球达到足够大时,玩家可使其分裂、吐孢子或融合,和同伴完美配合来输出博弈策略,并通过AI技术来操控智能体由小到大地进化,凭借对团队中多智能体的策略控制来吃掉尽可能多的敌人,从而让己方变得更强大并获得最终胜利。

五分钟教你在Go-Bigger中设计自己的游戏AI智能体

Go-Bigger游戏环境演示图

1 四类小球,挑战不同决策路径

Go-Bigger采用Free For All(FFA)模式来进行比赛。比赛开始时,每个玩家仅有一个初始球。通过移动该球,玩家可吃掉地图上的其他单位来获取更大的重量。每个队伍都需和其他所有队伍进行对抗,每局比赛持续十分钟。比赛结束后,以每个队伍最终获得的重量来进行排名。

在一局比赛中共有分身球、孢子球、食物球、荆棘球四类球。

分身球是玩家在游戏中控制移动或者技能释放的球,可以通过覆盖其他球的中心点来吃掉比自己小的球。

孢子球由玩家的分身球发射产生,会留在地图上且可被其他玩家吃掉。

食物球是游戏中的中立资源,其数量会保持动态平衡。如玩家的分身球吃了一个食物球,食物球的重量将被传递到分身球。

荆棘球也是游戏中的中立资源,其尺寸更大、数量更少。如玩家的分身球吃了一个荆棘球,荆棘球的大小将被传递到分身球,同时分身球会爆炸并分裂成多个分身。此外,荆棘球可通过吃掉孢子球而被玩家移动。

五分钟教你在Go-Bigger中设计自己的游戏AI智能体

分身球

五分钟教你在Go-Bigger中设计自己的游戏AI智能体

孢子球

五分钟教你在Go-Bigger中设计自己的游戏AI智能体

食物球

五分钟教你在Go-Bigger中设计自己的游戏AI智能体五分钟教你在Go-Bigger中设计自己的游戏AI智能体

荆棘球(尖刺)

2 团队紧密配合,实现合理重量传递

在Go-Bigger中,团队内部的合作和外部的竞技对于最终的成绩至关重要。因此,Go-Bigger设计了一系列的规则来提高团队所能带来的收益。由于玩家的分身球重量越小,移动速度越快,更多的分身可以保证快速发育,但是会面临被其他玩家吃掉的风险。同时,冷却期的存在使得玩家无法靠自身摆脱这样的风险。因此,同一队伍中不同玩家的配合尤为关键。

为便于团队内玩家的配合,Go-Bigger设置了玩家无法被同队伍完全吃掉的规则。Go-Bigger还设置了单个分身球的重量上限和重量衰减,使得单一分身球无法保持过大重量,迫使其分裂以减少重量损失。在游戏后期,团队内部的重量传递会显得至关重要,合理的重量传递可以保证团队在与其他队伍对抗时获得更大的优势。

3 支持RL环境,提供三种交互模式

此外,为帮助用户在强化学习领域的多智能体策略学习,Go-Bigger也提供了符合gym.Env标准的接口供其使用。在一局游戏中,Go-Bigger默认设置含有20个状态帧和5个动作帧。每个状态帧都会对当前地图内所有单位进行仿真和状态处理,而动作帧会在此基础上,附加对单位的动作控制,即改变单位的速度、方向等属性,或使单位启用分裂、发射或停止等技能。

为了更方便地对环境进行探索,Go-Bigger还提供了必要的可视化工具。在与环境进行交互的时候,可以直接保存本局包含全局视角及各个玩家视角的录像。此外,Go-Bigger提供了单人全局视野、双人全局视野、单人局部视野三种人机交互模式,使得用户可以快速了解环境规则。

五分钟教你在Go-Bigger中设计自己的游戏AI智能体五分钟教你在Go-Bigger中设计自己的游戏AI智能体五分钟教你在Go-Bigger中设计自己的游戏AI智能体

可视化演示

4 三步走,快速搭建强化学习baseline

算法baseline的目的是验证某个问题环境使用强化学习算法的初步效果,对各个环节的信息做简单梳理和分析,熟悉之后便可轻松上手比赛,在环境、算法、算力上逐步增加复杂度,设计迭代效果更强的智能体。

Go-Bigger环境的强化学习算法baseline主要分为环境瘦身、基础算法选择、定制训练流程三部分。其中,环境瘦身即将原始游戏环境简化成适用于强化学习的标准环境格式;基础算法选择指根据环境的基本信息选择合理的基础RL算法;定制训练流程指根据环境的特殊特征定制训练流程。

步骤1:环境瘦身

a.人类视角的Go-Bigger V.S. 翻译成游戏引擎中的结构化信息

五分钟教你在Go-Bigger中设计自己的游戏AI智能体

人类视角的Go-Bigger

五分钟教你在Go-Bigger中设计自己的游戏AI智能体

游戏引擎中的结构化信息

这些人理解起来很简单的数据表示,对计算机和神经网络却非常不友好,因此需要专门对这些信息做一定的加工,并根据强化学习的特性设置成标准的强化学习环境观察空间。

(1)特征工程:

  • 原始的游戏数据需要表达游戏内容,其数值范围波动便会较大(比如从几十到几万的球体大小),直接将这样的信息输入给神经网络会造成训练的不稳定,所以需要根据信息的具体特征进行一定的处理(比如归一化,离散化,取对数坐标等等)。

  • 对于类别信息等特征,不能直接用原始的数值作为输入,常见的做法是将这样的信息进行独热编码,映射到一个两两之间距离相等的表示空间。

五分钟教你在Go-Bigger中设计自己的游戏AI智能体

独热编码示意图

  • 对于坐标等信息,使用绝对坐标会带来一些映射关系的不一致问题,相对坐标通常是更好的解决方式。

五分钟教你在Go-Bigger中设计自己的游戏AI智能体

相对坐标示意图

2)从RGB图像到特征图像层:

直接将原始的RGB 2D图像信息输入神经网络,尽管结果尚可,但需要更多的数据、更长的训练时间,以及更复杂的训练技巧。更为简明并有效的方式是进行升维,即将耦合在一起的图像信息离解成多个分离的特征图像层。最终根据游戏内容定义出具体的特征图像层,并区分各个玩家的局部视野,拼接后构成总体的特征图像层。下图为一玩家视野中食物球的特征图像层:

五分钟教你在Go-Bigger中设计自己的游戏AI智能体

食物球的特征图像层示意图

(3)可变维度:

Go-Bigger环境中存在很多可变维度的地方,为了简化,baseline环境中强行截断了单位数量,用统一的方式来规避可变维度问题。

b.设计动作空间

Go-Bigger对于人类来说操作起来十分简单,包括上下左右QWE,这些基本的按键组合起来便可以诞生出许多有趣的操作,如十面埋伏、大快朵颐等。但是,游戏引擎中实际的动作空间是这样的动作类型 + 动作参数)

五分钟教你在Go-Bigger中设计自己的游戏AI智能体

游戏引擎动作空间

游戏引擎的这种形式在强化学习中被称作混合动作空间,也有相应的算法来处理该问题。但基于baseline一切从简这一核心,通过使用比较简单粗暴的离散化处理,将连续的动作参数(x,y坐标)离散化为上下左右四个方向。针对动作类型和动作参数的组合,也简单使用二者的笛卡尔积来表示,最终将环境定义为一个16维的离散动作空间。

五分钟教你在Go-Bigger中设计自己的游戏AI智能体

离散动作空间算法示意图

c.设计奖励函数

奖励函数定义了强化学习优化的目标方向。Go-Bigger是一项关于比谁的队伍更大的对抗游戏,因此奖励函数的定义也非常简单,即相邻两帧整个队伍的大小之差。

如下图所示两张表示相邻两个动作帧,右侧计分板显示各个队伍实时的大小数值,将当前帧的大小减去上一帧的大小,就定义得到了奖励值。而对于整场比赛,则使用每一步奖励的累加和作为最终的评价值。评价值最大的队伍,将赢得本局比赛。此外,在训练时,还通过缩放和截断等手段将奖励值限制在[-1, 1]范围内。

五分钟教你在Go-Bigger中设计自己的游戏AI智能体五分钟教你在Go-Bigger中设计自己的游戏AI智能体

环境奖励的帧间变化示意图

步骤2:基础算法选择

在完成对RL环境的魔改之后,会呈现如下基本信息:

  • 多模态观察空间:图像信息 + 单位属性信息 + 全局信息

  • 离散动作空间:16维离散动作

  • 奖励函数:稠密的奖励函数,且取值已经处理到[-1, 1]

  • 终止状态:并无真正意义上的终止状态,仅限制比赛的最长时间

对于这样的环境,可用最经典的DQN算法 + 多模态编码器神经网络来实现。对于各种模态的观察信息,使用数据对应的经典神经网络架构即可。例如,对于图像信息,选择一个带降采样的卷积神经网络将2D图像编码为特征向量;对于单位属性信息,需要建模各个单位之间的联系,获得最终的单位特征向量;对于全局信息,则使用由全连接层构成的多层感知机。

在各部分编码完成之后,将三部分的特征拼接在一起,将构成时间步的观察特征向量,以复用最经典的Dueling DQN结构。以特征向量为输入,输出这一步选择16个动作的Q值,并使用N-step TD损失函数即可完成相应训练的优化。完整的神经网络结构如下图所示。

五分钟教你在Go-Bigger中设计自己的游戏AI智能体五分钟教你在Go-Bigger中设计自己的游戏AI智能体

神经网络结构示意图

步骤3:定制训练流程

DQN通常只用来解决单智能体的问题,而在Go-Bigger中一支队伍会存在多个玩家,且一局比赛为多个队伍混战,因此会涉及多智能体之间合作和对抗等问题。在多智能体强化学习领域,针对该问题可展开诸多的研究方向,但为简化设计Go-Bigger使用了Independent Q-Learning (IQL)+ 自我对战(Self-Play)的方式来实现训练流程。

五分钟教你在Go-Bigger中设计自己的游戏AI智能体

简化设计示意图

例如,对于一个队伍中的多个智能体,团队的最终目标是让整个队伍(总体积/总体量/总重量)的大小最大,因此在baseline中可使用IQL算法来实现,以高度并行化地实现整个优化过程;对于实际一局比赛中存在多个智能体的情况,则可使用朴素的自我对战(Self-Play)这一相当简单且非常节省算力的方式来参与比赛。评测时,会将随机机器人和基于规则的机器人作为比赛的对手,测试验证目前智能体的性能。

Tips:

  • 使用更高级的自我对战(Self-Play)算法(比如保存智能体的中间历史版本,或使用PFSP算法)

  • 构建League Training流程,不同队伍使用不同的策略,不断进化博弈

  • 设计基于规则的辅助机器人参与到训练中,帮助智能体发现弱点,学习新技能,可作为预训练的标签或League Training中的对手,也可构造蒸馏训练方法的老师,请玩家尽情脑洞

从零开始实现上述算法和训练流程非常复杂,而通过决策智能框架DI-engine可大大简化相应内容。

DI-engine:https://github.com/opendilab/DI-engine

其内部已经集成了支持多智能体的DQN算法实现和一系列相关诀窍,以及玩家自我对战和对抗机器人的训练组件,只需实现相应的环境封装,神经网络模型和训练主函数即可。

详细代码参考:https://github.com/opendilab/GoBigger-Challenge-2021/tree/main/di_baseline

5 几个有意思的发现

通过上述简单基线算法训练出来的初级AI在发育阶段会将球尽量分开,以增大接触面加快发育;在面对潜在的危险时,会避开比自身大的球,并使用分裂技能加快移动速度,防止被吃掉。这些操作都是在人类玩家的游戏过程中经常用到的小技巧。

OpenDILab发起首届Go-Bigger多智能体决策AI挑战赛。

比赛英文名称:Go-Bigger: Multi-Agent Decision Intelligence Challenge

比赛将于2021年11月正式启动,使用由OpenDILab开源的Go-Bigger游戏环境。

Go-Bigger游戏环境:https://github.com/opendilab/GoBigger

五分钟教你在Go-Bigger中设计自己的游戏AI智能体

主题测试文章,只做测试使用。发布者:觉鸟网,转转请注明出处:https://www.jueniao.cn/n/22374.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022年6月14日 11:59
下一篇 2022年6月14日 12:00

相关推荐

  • 2022年最成功的4款国产手机,基础体验让人满意,价格并不昂贵

    尽管手机销量这两年出现了下滑,但竞争从未结束和消停,来到2022年随着各大厂商推出了全新系列机型,再加上荣耀的强势回归,能够在国产手机红海中生存下来实在是艰难。 回顾2022年发布的手机,有4款可以说是最为成功,基础体验让人很满意,价格也不算太过昂贵。 RedmiK50 RedmiK50今年可以说相当有诚意,将2K屏幕下放到了2000元机型中,要知道以前我们…

    2022年6月27日
    2500
  • 1分钟从涨停到闪崩!“世界铜王”旗下大牛股巨震,新能源两大千亿级龙头双双涨停

    7月21日上午,锂矿板块再度迎来爆发。行业龙头赣锋锂业涨停,股价创历史新高,总市值为2529亿元。 截至上午收盘,沪指涨0.6%,报3558.11点;深成指涨1.13%,报15180.93点;创业板指涨1.98%,报3532.5点。两市半日合计成交额7405.1亿元。 上午A股主要股指走势图 来源:Wind 锂矿板块大涨 21日,Wind锂矿指数上涨 ,板块…

    2022年6月15日
    3000
  • 京东旗下子公司纷纷上市:京东不仅仅是电商,还是一个孵化器?

    新眸大公司研究组作品 撰文|亚婷 编辑|栖木 精准孵化,成为近些年京东的代名词。 当市场焦点还滞于拼多多、阿里巴巴、苏宁等电商巨头争夺战时,京东旗下的京东物流、京东健康已先后完成IPO,京东数科虽因特殊原因终止IPO,但其底牌依然健在。有人说拆分上市是为了把鸡蛋装进不同的篮子,利于分散风险,也有人说,企业拆分利于旗下高增长业务获得更高的估值。 从某种意义上来…

    2022年6月18日
    3000
  • 新版“投资上海地图”发布进博会前后上海46场活动促投资

    上海是外商投资中国的重要目的地。截至今年8月底,上海累计实际使用外资金额超过2700亿美元,累计引进跨国公司地区总部754家、研发中心473家,是内地跨国公司地区总部和外资研发中心数量最多的城市。 在昨天下午举行的2020对接进博会上海投资促进交流会上,市商务委方面详细介绍了即将于11月1日正式实施的《上海市外商投资条例》核心内容和特色亮点;市外国投资促进中…

    智能科技 2022年6月28日
    3300
  • 小米摄像机新品评测:本地AI人形侦测,看家带娃更智能

    近些年随着人们安全意识地不断提升,摄像机开始出现在越来越多的普通家庭之中,能够让我们实时了家中状况,当遇到意外情况是可以及时处理。不过目前的家庭智能摄像机品牌型号众多,如何选择让很多用户很苦恼。其实对智能家用摄像机来说,需要根据个人需求和使用场景等方面来确定,其中录像分辨率、可视角度、画质效果、连接方式、AI智能等方面都需要注意。近期,小米推出了一款全新的小…

    2022年6月13日
    4700

发表回复

您的电子邮箱地址不会被公开。

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信