IT之家 9 月 13 日消息,元象 XVERSE 发布中国最大 MoE 开源模型 XVERSE-MoE-A36B。该模型总参数 255B,激活参数 36B,官方号称效果能“大致达到”超过 100B 大模型的“跨级”性能跃升,同时训练时间减少 30%,推理性能提升 100%,使每 token 成本大幅下降。MoE(Mixture of Experts)混合专家模型架构,将多个细分领域的专家模型组合成一个超级模型,在扩大模型规模的同时,保持模型性能最大化,甚至还能降低训练和推理的计算成本。谷歌 Gemini-1.5、OpenAI 的 GPT-4 、马斯克旗下 xAI 公司的 Grok 等大模型都使用了 MoE。在多个评测中,元象 MoE 超过多个同类模型,包括国内千亿 MoE 模型 Skywork-MoE、传统 MoE 霸主 Mixtral-8x22B 以及 3140 亿参数的 MoE 开源模型 Grok-1-A86B 等。IT之
元象发布中国最大 MoE 开源大模型:总参数 255B,激活参数 36B
2024-09-13 20:49:18来源: IT之家
关注公众号
赞
你的鼓励是对作者的最大支持
- 用元脑企智EPAI"玩转"大模型应用开发,1人1月开发智能售前助手2024-09-14 16:36:00
- 百度:1-8月大模型中标项目数量达到去年5倍2024-09-14 19:00:33
- 浪潮信息:元脑企智EPAI助力金融大模型快速落地2024-09-13 12:47:00
- 赵何娟:我们准备好面对GPT大模型的瓶颈期了吗?2024-09-11 17:32:11
- 百度梁志祥:基于大模型的智能体正为营销行业带来深远变革2024-09-11 18:26:53
- 沈向洋:中国备案行业大模型数量占比约70%,未来数量将更多 |最前线2024-09-08 20:09:38
- 长虹发布首款沧海智能体 AI TV 和智汇家 AI 大模型2024-09-08 15:46:13
- 奇瑞风云 T9 推送 Lion5.0 升级版:新增星火大模型,升级华为 HiCar2024-09-08 16:06:29
- “国内首个端到端通用语音 AI 大模型”心辰 Lingo 发布,号称中文效果比 GPT-4o 更出色2024-09-06 18:59:42
- 腾讯发布新一代大模型“混元 Turbo”:推理效率提升 100%,成本降低 50%2024-09-05 10:33:14
- 1全球人工智能峰会呼吁全球行动,确保人工智能创新“造福人类”
- 2禾赛携全新旗舰 360° 激光雷达 OT128 强势登陆 2024 德国 IAA 展
- 3英国科学家研制出超薄二维表面材料,有望增强 6G 卫星通信能力
- 4世界首家手电体验店在拉斯维加斯盛大开业
- 5三星 Galaxy A16 5G 手机宣传图曝光:6.7 英寸屏幕、天玑 6300 / Exynos 1330 芯片,6…
- 6Snap 发布第 5 代 Spectacles AR 眼镜:集成 OpenAI 多模态 AI 模型,支持语音控制
- 7肯辛通发布 SD5000T5:首款英特尔认证的 Thunderbolt 5 扩展坞,11 个端口、最高 120 Gbps…
- 8Delectrik推出适用于大型工商业和公用事业的多兆瓦时级液流电池解决方案
- 9衣服里的Sorona 索罗纳®是什么材料?
- 10充电 60 元超时费 1600 元,特斯拉车主又遭遇充电刺客