英伟达的挑战者Groq ，在LPU上押对了什么？

图片地址：https://images.tmtpost.com/uploads/images/2024/03/02f699ca6b1cb57bc00c5efa618b5e96_1709891494.png

图片来源@视觉中国文 | 电厂，作者 | 肖余林，编辑 | 高宇雷在英伟达市值超过2万亿位居全球第三之后，谁能挑战它赖以生存的GPU芯片？一款叫作LPU的AI推理芯片可能是这个答案。在使用大模型的过程中，很多人会发现大模型回答问题时速度很慢，答案通常逐字或逐句跳出，并伴随着卡顿。但在LPU的加持下，大模型大幅提速，每秒能输出500个tokens，远高于ChatGPT每秒40个的表现。而常用大模型都基于GPU加速，平均速度在每秒20个tokens。2月19日以来，这款LPU持续成为热点，担当起英伟达GPU挑战者的角色。英伟达的主力芯片H100一卡难求，这给Groq公司带来了机会。LPU来自独角兽公司Groq，这家公司成立于2016年，有一支明星研发团队。Groq的团队来自谷歌，一手打造了谷歌的TPU芯片项目。英伟达曾经为了卖显卡发明了“GPU（图形处理单元）”这个词，Groq专门发明了“LPU&