最强端侧开源 AI 模型 Zamba2-mini 登场：12 亿参数，4bit 量化下内存占用小于 700MB

图片地址：https://img.ithome.com/newsuploadfiles/2024/8/b3d51266-b4a6-40c9-849f-4720a1cb21ca.jpg?x-bce-process=image/format,f_auto

IT之家 8 月 29 日消息，Zyphra 于 8 月 27 日发布博文，宣布推出 Zamba2-mini 1.2B 模型，共有 12 亿参数，声称是端侧 SOTA 小语言模型，在 4bit 量化下内存占用低于 700MB。IT之家注：SOTA 全称为 state-of-the-art，并不是特指某个具体的模型，而是指在该项研究任务中，目前最好 / 最先进的模型。Zamba2-mini 1.2B 虽然尺寸不大，但媲美包括谷歌 Gemma-2B、Huggingface 的 SmolLM-1.7B、苹果的 OpenELM-1.1B 和微软的 Phi-1.5 等更大模型。在推理任务中，Zamba2-mini 的卓越性能尤为显著，与 Phi3-3.8B 等模型相比，Zamba2-mini 的首次令牌时间（从输入到输出第一个 token 的延迟）是此前的二分之一，内存占用减少了 27%。Zamba2-mini 1.2B 主要通