英伟达A100性能实测:训练速度可达V100的3.5倍

子豪 发自 凹非寺量子位 报道 | 公众号 QbitAI

英伟达最新发布的基于新架构的A100加速计算卡,其官网宣传:

自动混合精度和FP16,可以为A100带来2倍的性能提升;

而且,在不更改代码的情况下,具有TF32的A100与英伟达Volta相比,性能能够高出20倍。

那么,A100与V100相比,究竟如何?最近Lambda网站真的把它俩的训练速度对比了一番。

硬件参数对比

英伟达A100性能实测:训练速度可达V100的3.5倍
英伟达A100性能实测:训练速度可达V100的3.5倍

英伟达A100 GPU

相比V100,A100的单精度浮点计算能力,从15.7TFLOPS提升至19.5TFLOPS;而双精度浮点运算从7.8TFLOPS提升至9.7TFLOPS。

在英伟达的公开信息中,列出了A100与V100的参数对比:

英伟达A100性能实测:训练速度可达V100的3.5倍

在BERT深度学习训练中,二者的速度对比:

英伟达A100性能实测:训练速度可达V100的3.5倍

在其他训练模型下,A100是否能有同样出色的表现?

测试结果如何?

二者均选择适用于NVLink的产品进行测试,在32位精度下,采用PyTorch训练。

对于A100,32位是指FP32+TF32;对于V100,指的是FP32。

测试分为两部分:卷积神经网络训练速度、语言模型训练速度。

卷积神经网络训练速度

测试者将一块V100的32位的训练速度归一化,对比了不同数量GPU的训练速度。

将结果在SSD、ResNet-50和Mask RCNN上取平均值。(原始数据可通过文末链接查看)

得到结果:

英伟达A100性能实测:训练速度可达V100的3.5倍

例如:

  • 1块A100 VS 1块V100,进行32位训练:前者速度是后者的2.17倍;
  • 4块V100 VS 1块V100,进行32位训练:前者速度是后者的3.88倍;
  • 8块A100的混合精度训练 VS 1块V100的32位训练:前者速度是后者的20.35倍。

语言模型训练速度

与上面的对比方法相同。

将结果在Transformer-XL base、Transformer-XL large、Tacotron 2和ERT-base SQuAD上取平均值。(原始数据可通过文末链接查看)

得到结果:

英伟达A100性能实测:训练速度可达V100的3.5倍

例如:

  • 1块A100 VS 1块V100,进行32位训练:前者速度是后者的3.39倍;
  • 4块V100的混合精度训练 VS 1块V100的32位训练:前者速度是后者的7.97倍;
  • 8块A100的混合精度训练 VS 1块V100的32位训练:前者速度是后者的42.60倍。

结论

  • 在卷积神经网络训练中:

1块A100的训练速度是1块V100的2.2倍;

使用混合精度时,前者则是后者的1.6倍。

  • 在语言模型训练中:

1块A100的训练速度是1一块V100的3.4倍;

使用混合精度时,前者则是后者的2.6倍。

其中,分别用8块A100与8块V100,进行32位训练:前者速度能够达到后者的3.5倍;

看来,针对不同模式下的深度学习训练,英伟达A100都有着相当不错的效率。

前所未有的规模以及惊人的性能,所言不虚。

测试原始数据:https://lambdalabs.com/gpu-benchmarks

— 完 —

量子位 QbitAI · 头条号签约

主题测试文章,只做测试使用。发布者:觉鸟网,转转请注明出处:https://www.jueniao.cn/n/31478.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022年7月7日 17:48
下一篇 2022年7月7日 17:55

相关推荐

  • 星游早报:《2042》第一赛季将上线;《战神》新作雷神配音已完成

    1.《战神:诸神黄昏》索尔配音已全部完成 在接受Comic Con Revolution 22采访时,雷神索尔的配音演员Ryan Hurst表示: 我刚为《战神:诸神黄昏》里的雷神托尔做完了最后一点点的工作。 在之前的早报中,我们曾报道过《战神:诸神黄昏》已在韩国通过了评级的消息,圣莫尼卡也开始为游戏招聘品牌经理,或许是为了宣发期工作。 而现在主要角色的配音…

    2022年6月28日
    3300
  • 什么是Filecoin?为什么其上升趋势甚至超过了比特币?

    摘要: Filecoin是一个去中心化的数据存储网络。该平台允许用户在一个开放的平台上出售其多余的数字空间。它使其社区能够使用FIL参与Filecoin网络并进行交易。特别是,用户可以在FIL中支付采矿费,以存储或共享数据并检索 一个名为Filecoin的山寨币在经历了一次引人注目的价格反弹之后,刚刚提升了其排名,甚至超过了其最大竞争对手比特币的上升趋势。 …

    2022年6月23日
    4600
  • 新手怎么玩比特币?比特币入门初级教程

    新手怎么玩比特币?比特币是一种P2P形式的数字货币。点对点的传输意味着一个去中心化的支付系统。与大多数货币不同,比特币不依靠特定货币机构发行,它依据特定算法,通过大量的计算产生,比特币经济使用整个P2P网络中众多节点构成的分布式数据库来确认并记录所有的交易行为,并使用密码学的设计来确保货币流通各个环节安全性。 它是由一个署名为中本聪的人创造的。虽然中本聪在网…

    2022年6月27日
    2500
  • 游戏本怎么挖矿

    之前和大家说过伴随各位大佬陆续站台,虚拟币有了配置价值获大佬一致看好的赛道,所以我自己后来弄了台笔记本挖矿,今天就和大家聊聊细节。 1、挖矿配置 日常办公用的笔记本主要是TP、苹果、联想、戴尔和惠普这五家,但挖矿不讲究品牌,挖以太币的算力全靠显卡,只要显卡功率够大就好。 神船出了很多矿本,普遍高配显卡低配CPU,除了挖矿一无是处。 我买的是机械革命Z3 Pr…

    2022年6月22日
    3800
  • 新型痴汉惊现日本!利用苹果手机的Airdrop进行骚扰

    来源:快科技 痴汉日文语义中指流氓、色狼、性变态者,文化中是一个具有日本特色的词汇,原指流氓,指在对女性作出性骚扰或性侵犯行为的男性,以出没于拥挤的电车上的最多,也有部分出没于电梯等公共场所。 日本社会也相当重视痴汉问题,不仅强制要求所有手机拍照必须发出不可关闭的快门声音,也提供了女性车厢等专属福利。 不过这似乎并不能彻底杜绝痴汉的存在。近日,日本出现了一种…

    Bitcoin 2022年6月4日
    2700

发表回复

您的电子邮箱地址不会被公开。

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信