被带宽限制的 AI 性能，在 HBM2 和 GDDR6 上“重生”

图片地址：https://img.ithome.com/newsuploadfiles/2020/12/20201216151532_8029.jpg

人工智能经过几十年的发展，在数据爆炸时代正处于良性循环，大量的数据用于制造和训练神经网络，而后利用神经网络筛选并理解这些数据。不过，我们仍然对于更好的人工智能有巨大需求，据 Open AI 的一份报告显示，从 2012 到 2019 年，人工智能训练集增长将近 30 万倍，每 3.43 个月翻一番，比摩尔定律快 25000 倍，在摩尔定律将近失效的今天，那么怎么样才能让人工智能提供更好的性能？内存带宽限制人工智能模型本身早在两年前，业内就有人提出，在计算能力和数据量足够的年代里，内存带宽才是人工智能发展的瓶颈。德克萨斯高级计算中心（TACC）研究科学家曾在其 2016 年的报告《HPC 系统中的内存带宽和系统平衡》中比较过去 25 年某些 HPC 服务器的浮点计算情况，结果显示内存、网络延迟和带宽大幅度落后于处理器性能，其中内存带宽大约每十年落后浮点计算 4.5 倍。“一个非常有趣的现象是，内存对人工智能的限制一部分体现在人工智