高通发布 Cloud AI 100 Ultra 云推理卡，150W 单卡可运行千亿参数大模型

图片地址：https://img.ithome.com/newsuploadfiles/2023/11/f6277c5b-2ab2-43f5-996f-b76bc80b1316.png?x-bce-process=image/format,f_auto

IT之家 11 月 15 日消息，高通发布了 Cloud AI 100 Ultra，属于云 AI 推理加速卡，专为生成式 AI 和大型语言模型而设计。这款产品可提供相当于上一代产品四倍的性能，可以在单张 150W 的卡上部署 100B 参数模型，在两张卡上部署 175B 参数，甚至还可以通过高通 AI 堆栈和云 AI SDK 的多 个 Cloud AI 100 Ultra 支持更大的模型。据介绍，高通 Cloud AI 100 Ultra 是一个可编程的 AI 加速器，可以支持最新的 AI 技术和数据格式。它利用高通 AI 堆栈，可以使客户能够“在任何地方训练并在高通 Cloud AI 100 Ultra 上进行推理”，从而支持模型的移植和优化。正如其名，这是一款云加速卡，它背后依赖的是慧与科技专为加速器优化的生成式 AI 工作负载（IT之家注：包括自然语言处理 NLP）设计的 HPE ProL