英伟达 H100 给 AI 圈的一点“小小震撼”：11 分钟训完 GPT-3，霸榜 8 项测试，集群性能逼近线性增长

图片地址：https://img.ithome.com/newsuploadfiles/2023/6/ad69ce1e-0cd1-4c8e-97b1-a0aaa10d1215.png?x-bce-process=image/format,f_auto

11 分钟内训练一遍 GPT-3，8 秒训完 BERT。这就是英伟达给 AI 圈的一点“小小震撼”。在最新 MLPerf 训练基准测试中，英伟达 H100 集群，横扫八项测试，全部创下新纪录，并且在大语言模型任务中表现尤为突出！在大语言模型任务中，H100 集群的加速性能逼近线性增长。即随着集群处理器数量增加，加速效果也几乎同比增加。这意味着在集群内 GPU 之间的通信效率非常高。除此之外，H100 还完成了推荐算法、CV、医学图像识别以及语音识别等任务，是唯一一个参加 8 项测试的集群。而在算力就是生产力的时代下，这波成绩意味着什么，懂得都懂。据悉，本次测试系统由英伟达和 Inflection AI 联合开发，在云厂商 CoreWeave 上托管。单节点性能增长明显这次 MLPerf Training v3.0 中增加了两项新任务：大语言模型（基于 GPT-3）推荐算法这意味着测试任务包含了更大的数据集和更先进的模型。如上刷新