北京2024年8月23日 /美通社/ -- 近日,浪潮信息发布源2.0-M32大模型4bit和8bit量化版,性能比肩700亿参数的LLaMA3开源大模型。4bit量化版推理运行显存仅需23.27GB,处理每token所需算力约为1.9 GFLOPs,算力消耗仅为同等当量大模型LLaMA3-70B的1/80。而LLaMA3-70B运行显存为160GB,所需算力为140GFLOPs。 源2.0-M32量化版是"源"大模型团队为进一步提高模算效率,降低大模型部署运行的计算资源要求而推出的版本,通过采用领先的量化技术,将原模型精度量化至int4和int8级别,并保持模型性能基本不变。源2.0-M32量化版提高了模型部署加载速度和多线程推理效率,在不同硬件和软件环境中均能高效运行,降低了模型移植和部署门槛,让用户使用更少的计算资源,就能获取源2.0-M32大模型的强大能力。 源2.0-M32大模型是浪潮信息&qu
源2.0-M32大模型发布量化版 运行显存仅需23GB 性能可媲美LLaMA3
2024-08-23 17:51:00来源: 美通社
关注公众号
赞
你的鼓励是对作者的最大支持
- 用元脑企智EPAI"玩转"大模型应用开发,1人1月开发智能售前助手2024-09-14 16:36:00
- 百度:1-8月大模型中标项目数量达到去年5倍2024-09-14 19:00:33
- 元象发布中国最大 MoE 开源大模型:总参数 255B,激活参数 36B2024-09-13 20:49:18
- 浪潮信息:元脑企智EPAI助力金融大模型快速落地2024-09-13 12:47:00
- 赵何娟:我们准备好面对GPT大模型的瓶颈期了吗?2024-09-11 17:32:11
- 百度梁志祥:基于大模型的智能体正为营销行业带来深远变革2024-09-11 18:26:53
- 沈向洋:中国备案行业大模型数量占比约70%,未来数量将更多 |最前线2024-09-08 20:09:38
- 长虹发布首款沧海智能体 AI TV 和智汇家 AI 大模型2024-09-08 15:46:13
- 奇瑞风云 T9 推送 Lion5.0 升级版:新增星火大模型,升级华为 HiCar2024-09-08 16:06:29
- “国内首个端到端通用语音 AI 大模型”心辰 Lingo 发布,号称中文效果比 GPT-4o 更出色2024-09-06 18:59:42