可并行运行 128 个 LLaMA 2 7B 流，开发者测试苹果 M2 Ultra 芯片模型推理表现

图片地址：https://img.ithome.com/newsuploadfiles/2023/10/0114776c-7e41-4b18-bbce-2e3c2cb24cc5.png?x-bce-process=image/format,f_auto

IT之家 10 月 13 日消息，据 Y Combinator 论坛消息，名为 Georgi Gerganov 开发者日前使用苹果 M2 Ultra 芯片，进行了一系列 LLaMA 模型推理测试，测试显示该芯片在并行运行 128 个 Llama 2 7B 流时，效果较佳。▲ 图源 Georgi Gerganov 在 GitHub 披露的测试表现据悉，LLaMA 模型推理测试强调内存带宽，而非计算能力，而苹果的 M2 Ultra 芯片号称“内存带宽达 800GB/s”，因此推理时效果良好。▲ 图源 Georgi Gerganov 在 GitHub 披露的测试表现不过虽然 M2 Ultra 芯片的内存带宽具有优势，但用户最多只能获得 192 GB RAM，用户花费 5600 美元（IT之家注：国行 44999 人民币）购买搭载 M2 Ultra 芯片及 192GB 运行内存的 Mac Stud