世界最快大模型 Groq 登场：每秒 500 token 破纪录，自研 LPU 是英伟达 GPU 10 倍

图片地址：https://img.ithome.com/newsuploadfiles/2024/2/ea9e59c7-eb69-450f-aaa4-493473897cdf.gif

卷疯了！世界最快的大模型 Groq 一夜之间爆火，能够每秒输出近 500 个 token。如此神速的响应，背后全凭自研的 LPU。一觉醒来，每秒能输出 500 个 token 的 Groq 模型刷屏全网。堪称是世界上速度最快的 LLM！相比之下，ChatGPT-3.5 每秒生成速度仅为 40 个 token。有网友将其与 GPT-4、Gemini 对标，看看它们完成一个简单代码调试问题所需的时间。没想到，Groq 完全碾压两者，在输出速度上比 Gemini 快 10 倍，比 GPT-4 快 18 倍。（不过就答案质量来说，Gemini 更好。）最关键的是，任何人可以免费用！进入 Groq 主页，目前有两种可以自选的模型：Mixtral8x7B-32k，Llama 270B-4k。地址：https://groq.com/与此同时，Groq API 也向开发者提供，完全兼容 OpenAI API。Mixtral 8x7B SMoE