英伟达:美团机器学习平台使用NVIDIAT4GPU

IT之家 12 月 25 日消息,据英伟达官方消息,美团机器学习平台使用 NVIDIA GPU,通过算子融合、计算图等价替换等一系列优化 ,相较于 CPU 在相同成本约束下,NVIDIA T4 GPU 大幅加速美团 CTR(Click-Through-Rate)模型预测性能,神经网络模型吞吐能力提升了 10 倍;同时在搜索精排场景中,端到端整体吞吐能力提升了一倍以上。

英伟达:美团机器学习平台使用NVIDIAT4GPU

英伟达表示,美团的 CTR 模型过去一直在使用 CPU 推理的方式,但随着用户访问量的提升和深度神经网络的引入,CTR 模型结构趋于复杂,吞吐和计算量也越来越大,CPU 开始不能满足模型对于算力的需求,而仅仅通过 CPU 服务器的堆叠带来的性能提升性价比相较偏低。而 GPU 拥有数以千计的计算核心,可以在单机内提供密集的并行计算能力,特别适合深度学习场景,在行业内已经在 CV、NLP 等领域展示了强大的能力。通过 CUDA 及相关 API,NVIDIA 建立了完整的 GPU 生态系统。基于此,美团基础研发平台将 CTR 模型部署到 GPU 上,并通过一系列针对 CPU 与 GPU 的异构系统并行计算设计、数据存储方式和传输方式上的特定优化。

IT之家了解到,NVIDIA Tesla T4 GPU 是一款推理加速器,搭载 NVIDIA Turing Tensor Core。官方称,NVIDIA Tesla T4 GPU 具备人工智能推理的多精度计算性能,从 FP32 到 FP16 再到 INT8,又到 INT4 精度,T4 的性能比 CPU 高出 40 倍,实现性能的重大突破。

英伟达:美团机器学习平台使用NVIDIAT4GPU

主题测试文章,只做测试使用。发布者:觉鸟网,转转请注明出处:https://www.jueniao.cn/n/20391.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022年6月10日 17:43
下一篇 2022年6月10日 17:46

相关推荐

  • ICLR2022年微软亚洲研究院的亮点:拓展机器学习技术和应用的视野

    ICLR(国际学习表征会议)被公认为深度学习领域的顶级会议之一。许多关于人工智能、统计学和数据科学以及机器视觉、语音识别和文本理解等重要应用领域的有影响力的论文已在本次会议上发表并发表。以下精选的ICLR 2022接受的论文展示了微软及其合作者在视觉预培训、定期时间序列预测、差异隐私、代码完成、表格预培训和在线强化学习方面的最新研究。 随着对深度学习的研究不…

    2022年6月22日
    3300
  • 拿稳了,iPhone13你摔不起了,换块屏2400起,他们让你加价换新

    撰文 / AI财经社 薛永玮 麻策 编辑 / 赵艳秋 十三香堵死了第三方维修? 手滑党们的代价又被苹果公司抬高了。 在iPhone13手机才经历火爆的抢购潮没多久,就有国外博主Phone Repair Guru测试发现,iPhone13的面部解锁功能(Face ID)与手机屏幕进行了强绑定。如果你不是到苹果官方店或者它指定的第三方经销商去更换屏幕,无论是更换…

    2022年6月18日
    2700
  • 数据中心白皮书(2022)附下载

    当前,我国数据中心产业正由高速发展向高质量发展全面演进。布局方面,全国一体化大数据中心、新型数据中心等政策文件的出台及”东数西算”工程的实施,为数据中心协同、一体化发展指明了方向,推动全国数据中心产业布局不断优化。市场方面,多样化的算力需求不断涌现, 为通用、智算、超算及边缘等不同类型和形态的数据中心发展提供了有效的市场牵引,推动我国…

    2022年6月25日
    3400
  • 美国激进加息非良策

    来源:经济日报 原标题:美国激进加息非良策 美国正陷入自上世纪80年代初以来最严重的通货膨胀,这意味着美国普通民众正经历生活成本的快速上升。如今,美国应对通货膨胀左右为难,难有双全良策,而治理通胀带来的风险正在加大。 供需两端推高通胀 根据宏观经济理论,通胀率主要受总需求调节下的失业率缺口、供给冲击和预期通胀率三个因素影响。 在需求侧,美国激进的财政与货币政…

    智能科技 2022年6月25日
    2400
  • 齐心聚力服务自贸试验区企业赋能企业加快发展

    为进一步摸清自贸试验区南宁片区现代服务业发展情况,深入了解企业的需求和存在的困难,帮助企业解决实际问题,2020年7月21日、7月24日,良庆区发改局牵头组织自贸区所在地各行业主管部门到广西道尔人力资源有限公司、广西鑫闽网络科技工程有限公司、广西万安工程咨询有限公司、广西中科曙光云计算有限公司、广西曙光知识产权代理有限公司、广西梯度科技有限公司、广西云坤科技…

    智能科技 2022年6月15日
    2800

发表回复

您的电子邮箱地址不会被公开。

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信