谷歌TPU训练BERT只要23秒,华为AI芯片达国际领先水平,MLPerf v0.7出炉

晓查 发自 凹非寺

量子位 报道 | 公众号 QbitAI

今天,人工智能行业权威“跑分” MLPerf训练v0.7出炉,这是该跑分推出以来第三次放榜。

英伟达刚发布的 A100 GPU、谷歌即将推出的 TPUv4,两个冤家的AI芯片性能孰强孰弱,在这份榜单里都能看到。

除了两家AI巨头相争,此次也是中国芯片首次在榜单中亮相,来自华为的 昇腾910芯片实测成绩曝光,性能一度超越了英伟达同类产品。

MLPerf测试内容

随着AI技术的进步,今年的测试基准进一步加大了难度。

MLPerf训练测试基准包括 图像分类翻译推荐系统围棋等8个机器学习任务中,最终结果是这8项任务的训练时间,速度越快则性能越强。

具体的8项任务内容如下:

其中后三项是新加入或重新制定的标准:

1、 BERT:用Wikipedia语料库训练BERT,这是首次将BERT引入MLPerf测试基准。

2、 DLRM:用Criteo AI Lab的Terabyte点击率数据集训练的深度学习推荐模型(DLRM),广泛用于在线购物推荐、搜索结果和社交媒体内容排序。

3、 Mini-Go:之前的MLPerf v0.5和v0.6也有训练围棋的强化学习任务,但却是迷你棋盘,此次v0.7将棋盘扩大为19x19全尺寸,这更能反映研究成果。

了解过测试内容后,我们来看看各家的跑分成绩。

BERT训练刷新纪录

今年英伟达和谷歌两家公司都拿出了自己最强的硬件参与竞争。

英伟达方面,他们打破了16项AI训练测试纪录,而谷歌则表示,自己在全部8项任务中有6项获得了最高成绩。

得益于两家的激烈竞争,AI训练速度有了飞速发展。有一些在5年前还需要训练 3周的任务,现在只需 不到1分钟即可完成,几乎是一年提高一个数量级。

令人印象最深刻的还是BERT,这个NLP模型在刚推出时需要训练3天时间。

去年,谷歌用1024块TPUv3将训练时间缩短到76分钟,英伟达又用1472个V100 GPU将训练时间进一步减少到53分钟。

在最新的MLPerf中,英伟达只花了 49秒就完成了BERT的训练,他们用了一台包含 2048个A100 GPU的超级计算机SuperPOD。

作为对比,英伟达还表示,谷歌用16个TPUv3训练了56.7分钟才完成。(看看,我们才用了不到1分钟!)

然而,实际上谷歌比他们的速度更快,谷歌的一个研究项目使用了 4096块TPU芯片,在训练BERT上获得了绝对最高的成绩—— 23秒!

需要注意的是,这次训练BERT的数据集和去年并不相同,但是把BERT训练时间缩短到半分钟内已经足够惊人。

谷歌声称,快速训练BERT用的是世界上最快的机器学习训练超算,其内部有4096个TPU v3芯片和数百个CPU主机,所有芯片都通过超快速、超大规模的定制互连进行连接,可提供430PFLOP的峰值性能。

这台超算在4项任务中都把训练时间缩到半分钟内。

华为芯片首次亮相

另外,在训练芯片榜单上,我们首次看到了国产芯片的身影。

中科院深圳先进技术研究所提供了 华为昇腾910的测试成绩,虽然仅测试了ResNet-50一项,但是相同规模的情况下,其速度已经超过了英伟达的V100 GPU。

同样使用128个至强白金CPU和512个AI加速芯片,昇腾910在ImageNet任务中,训练ResNet-50只需1.59分钟,而英伟达V100需要2.35分钟。

华为昇腾910不仅可以运行自研的MindSpore框架,也能运行谷歌的TensorFlow框架。两者性能差距很小,后者的训练时间为1.53分钟,比在MindSpore框架上运行时间稍短。

不过,从这份榜单中可以看出,国产AI芯片任重道远,英伟达仍在商业领域占据主导地位。

参与测试的多家公司使用的均是英伟达GPU,不久前推出的A100 GPU也迅速得到商用。戴尔、阿里、富士通、腾讯、浪潮,甚至连谷歌自己,都是英伟达的客户。

而且台积电将停止为华为代工芯片,使华为自研AI芯片的未来蒙上了一层阴影。

谷歌TPUv4泄露

此次MLPerf跑分还泄露了谷歌新一代TPU的性能指标。

相比两年前的TPUv3,谷歌的TPUv4带来平均2.7倍的性能提升。

更可怕的是,谷歌23秒训练完BERT使用的是TPUv3,而使用256块TPUv4训练BERT的时间是1.82分钟。

至于更大规模的 TPUv4计算集群会带来怎样恐怖的成绩,或许只能等谷歌正式发布后才能知晓。

关于MLPerf

MLPerf是业内首套衡量机器学习软硬件性能的通用基准,由图灵奖得主David Patterson联合谷歌和几所著名高校于2018年发起。

MLPerf基准联盟现有83家成员,包括谷歌、英伟达、微软、Facebook、阿里巴巴等73家企业和斯坦福、哈佛、多伦多大学等10所高校。

2018年,MLPerf发布了首个AI训练测试基准v0.5,v0.7是第三个AI训练跑分榜单。去年,该组织还发布过AI推理测试基准v0.5,国产芯片阿里含光800曾获得多项第一。

榜单地址:

https://mlperf.org/training-results-0-7

参考链接:

https://cloud.google.com/blog/products/ai-machine-learning/google-breaks-ai-performance-records-in-mlperf-with-worlds-fastest-training-supercomputer

https://blogs.nvidia.com/blog/2020/07/29/mlperf-training-benchmark-records/

本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容,未经账号授权,禁止随意转载。

今晚,美国NASA的火星车“ 毅力号”将启程前往火星,迈出人类“往返火星”第一步。

晚上19:00,跟着专家来一起来了解迄今最复杂、最大的火星车,以及它的火星任务吧!

今晚直播

专家解读NASA火星车发射

也许你还喜欢

GAN不只会造假:捕获数据中额外显著

杨净 鱼羊 发自 凹非寺 量子位 报道 | 公众号 QbitAI 提起GAN,你或许会想起真假难辨

防止被算力“锁死”,人工智能进化急

“深度学习所需的大规模样本数据对于算力产生巨大需求,但近日美国麻省理工学院等研究机

董明珠抱怨被别人挖人偷技术 似乎

作者:龚进辉 8月1日,在洛阳-格力中国智造高峰论坛上,格力电器掌门人董明珠表示,格力要成为

2021年日本国际氢能源电池展 FC EX

2021年日本国际氢能源电池展 FC EXPO 找展会,就上展会圈! 2021年日本国际氢能源电池展

Magic Number:数据如何赋能产品

编辑导语:对于产品来说,数据是很重要的。有了数据才能发现问题、提升留存、留住客户。那

抢滩动力电池

来源 | 子弹财经(公众号ID:wwwhygc) 作者 | 许芸 放眼全球,动力电池领域已形成中日韩“三

他曾经复读才考上三本,如今让华为开

萧箫 鱼羊 发自 凹非寺 量子位 报道 | 公众号 QbitAI 他叫张霁,1993年生于湖北,最近以

Kopin宣布其最新Micro-OLED显示屏

(映维网 2020年08月05日)作为透射式和反射式有源矩阵LC和OLED微显示器的开发商和供应商,

【比尔盖茨谈微软收购TikTok :不知

近日,比尔·盖茨在接受采访时表示,TikTok通过创新创造了一些竞争,这很好。但自己不是Tik

科技部:加快更高灵敏度检测产品研发

8月5日上午,国务院新闻办公室举行政策例行吹风会,科技部成果转化与区域创新司司长包献华