技术干货:适合AI训练的游戏框架

文/黄军

笔者在国内一家最早最资深的从事深度学习AI赋能游戏的公司从事游戏侧的接入开发工作。本文是两年多来,与AI侧同事一起支持了国内外众多知名大型手游项目提供智能AI服务,得到的一些经验和总结。希望能让游戏行业的从业者(尤其是游戏程序开发人员),了解什么样的游戏框架是适合AI训练的。

在解答之前。需要解释一下深度学习AI在游戏中框架中的角色是什么。可以先简单的认为深度学习AI最终会是一个特殊AI客户端的存在,它和传统客户端一样,通过协议与服务器通讯交互。它具体做的事,有点类似于游戏里实现托管离线玩家用的行为树(Behaviour Tree)。它用神经网络的预测结果,映射成调用游戏逻辑提供的基础行为节点,适时的做出合理的行为。

技术干货:适合AI训练的游戏框架

我们先看传统游戏框架中最基础的单机版游戏的框架设计。会得到下面的结构。

技术干货:适合AI训练的游戏框架

上面的游戏框架会有以下几个部分:

  • 游戏核心逻辑:它负责响应用户的输入,以及自定义的Update逻辑。并返回运算结果,并以状态的形式,给到游戏的表现层展示出来。
  • 游戏图形渲染:表现层的主要逻辑是通过这个部分展示。
  • 输入控制:专门响应玩家输入的逻辑,并向核心逻辑发送指令。
  • 物理引擎(可选)

用户输入可以汇总成:

  • Move:移动玩家在游戏中控制的角色。
  • Attack:操控玩家在游戏中的角色产生一个攻击行为。
  • UseProp:操作玩家在游戏中的角色产生一个使用道具的行为。

等等行为。

状态可以汇总成:

  • Position:玩家操作的角色在游戏世界中的位置。
  • HP:玩家操作的角色血量。
  • UnderAttackEvent:玩家操作的角色被攻击了的事件。

等等状态。

考虑到多人在线的游戏设计,主流的设计思路,有帧同步状态同步两个模式。

技术干货:适合AI训练的游戏框架

帧同步的模式,以王者荣耀等MOBA游戏为代表。

相对单机的那个设计。主要是把用户输入的部分,变成了由专门的帧同步服务器转发广播。这样就能实现多人游戏(当然实际的实现没这么简单)。

技术干货:适合AI训练的游戏框架

状态同步的模式,以魔兽世界等MMO游戏为代表。

相对单机的设计。在服务器接受到了用户输入后,会先把部分的核心逻辑在服务端处理(比如攻击判定,扣血多少等等),最终直接把客户端需要的状态信息同步下去。但不可避免的,依然会有一些操作,尤其是依赖物理引擎的部分,会交由客户端处理。单机游戏里的核心逻辑就分散在了客户端和状态服务器两个部分里面。

而更适合AI训练的游戏框架。是如下图所示:

技术干货:适合AI训练的游戏框架

强调游戏的服务器端,要有游戏全部的核心逻辑规则,甚至包括集成游戏内的物理引擎(可选)。

  1. 支持到玩家各种行为的后续结果、反馈规则。比如玩家攻击了一个玩家后,要怎么扣血。
  2. 游戏本身的基础逻辑。比如玩家包裹里的食物,会在几天后会腐败。
  3. 场景里会定期会刷新出现的道具。

等等,类似这些都是核心逻辑。但不用带上表现层的部分。

  • 而在接口层面,保持和传统的C-S协议一致。接收来自客户端以及AI在线决策服务器的用户输入,返回同样的状态输出。
  • 和AI的连接可以用最简单的TCP socket通讯。AI端做为Server,游戏服务器做为Client。这里的考虑主要是为了利于AI端对于请求的负载均衡。
  • 这样的适配,最小程度修改了传统的游戏框架。

对于强调游戏的服务器端,要有游戏的全套核心逻辑的原因,主要是AI端需要在没有客户端的情况下,发送一个用户的操作,但服务器要能处理所有的后续逻辑。比如说AI端说向前跳跃,服务端需要检测AI端的跳跃是否合法(有无体力,是否被禁锢等等),并且要在真实的物理层面支持跳跃是否中途被障碍物阻挡,落点在哪(可选)。这些都决定了,适合AI训练的游戏框架是这样处理。

目前已知的,符合这种设计的游戏引擎是Unreal。采用dedicated server的项目,基本上原生支持上述的要求。

以下是更详细的描述了,做为在强化学习训练中,做为环境一部分的游戏服务器,会被同时启动大量的(1000+局)单局同时训练。并且可以支持的不同纬度,更好的适配AI训练。

技术干货:适合AI训练的游戏框架

监督学习的训练相对简单一些。主要是要通过游戏服务器,把单局里的用户输入以及状态的改变,都保存成记录(录像),以便监督学习平台训练。常见的问题是传统服务器里并没有全量的状态(比如fps游戏里玩家摄像机的朝向),会影响训练效果。

上线后的阶段和AI在线决策服是一样的。

技术干货:适合AI训练的游戏框架

主题测试文章,只做测试使用。发布者:觉鸟网,转转请注明出处:https://www.jueniao.cn/n/22954.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022年6月15日 11:05
下一篇 2022年6月15日 11:07

相关推荐

  • 集成NVIDIADRIVEOrin,悠跑HPVC成业界首个开放式汽车超算平台

    图源:悠跑科技 集微网消息,2022年3月23日,悠跑科技与英伟达(NVIDIA)宣布合作。具体而言,悠跑UP超级底盘将采用NVIDIA DRIVE Hyperion AV平台架构打造其高性能汽车大脑(HPVC,High Performance Vehicle Computer)。集成NVIDIA DRIVE Orin系统级芯片能力,悠跑HPVC成为业界首个…

    2022年6月15日
    2400
  • NVIDIA发布NVIDIAJetsonAGXXavier工业级模组

    从工厂和农场到炼油厂和建筑工地,全球范围内不乏炎热、卫生条件差、嘈杂、存在潜在危险的地点,但这些地点对维持工业运转至关重要。 这些地点都需要在日常运营的同时接受检查和维护,但鉴于安全问题和工作条件,由人类去完成这些任务并非最佳选择。 机器人和自动化技术在制造业、农业、建筑业、能源、政府和其他行业的应用日益增加,与此同时,许多公司也一直致力于让要求严苛的应用也…

    2022年6月13日
    4600
  • 《重回地球》改档延期,片方跨界合作推出冰淇淋为生活加点乐趣

    日前,原计划于2021年七夕节(8月14日)全国公映的科幻题材电影《重回地球》,因疫情而延期改档。作为一部轻科幻+轻喜剧题材的电影,影片以全新的视角讲述现代神话喜剧故事,力图为中国科幻突破新方向。当儿时的神话故事遇上科幻畅想,两者会碰撞出怎样的火花?行业内外都对此满怀期待。 该片由黄奕监制、王子鸣总导演、侯继元联合导演。知名演员于文文、任达华、王冠逸、魏翔等…

    2022年6月15日
    3000
  • 制鞋厂上新!书法机器人华丽变身“搽胶”神手

    鞋子合不合适,只有脚知道。除了合脚,一双好鞋子质量尤为重要。很多人可能不知道,在制鞋过程中,搽胶这道关键工序的特殊意义。 人工搽胶 智能搽胶 解放人力、小批量多品种、随机误差……面对诸多柔性化的要求,目前,传统机器人仍无法很好地胜任。 哈工大机器人(合肥)国际创新研究院助力解决轻工业、手工业的生产难题,推出的复杂工艺全流程拟人化作业解决方案,从机器人本体、配…

    2022年6月15日
    3900
  • 致「不作恶」的谷歌

    这是一封感谢信 这两天看到了跳票的老罗居然可以把道歉信写出感谢信的风韵,因此在写这封感谢信的时候,我不断提醒自己:千万不要把感谢信写成道歉信的样子。好了,轻黑怡情,重黑小心被喷,言归正传。 事情是这样的 在12年的时候,我入手第一台智能手机HTC G11,那时候的火腿肠相当的火,各方面性能在当时也算是很不错的。欢乐的时光过得特别快,随着安卓系统的不断升级,A…

    2022年6月14日
    3000

发表回复

您的电子邮箱地址不会被公开。

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信