昆仑万维宣布开源2千亿稀疏大模型 Skywork-MoE 。据介绍,Skywork-MoE 基于之前昆仑万维开源的Skywork-13B模型中间checkpoint扩展而来,是首个完整将MoE Upcycling技术应用并落地的开源千亿MoE大模型,也是首个支持用单台4090服务器推理的开源千亿 MoE大模型,性能强劲, 且推理成本更低。
昆仑万维开源2千亿稀疏大模型天工MoE
2024-06-03 18:22:38来源: 36氪
关注公众号
赞
你的鼓励是对作者的最大支持
- 面壁智能开源业内首个端侧大模型工具集 MobileCPM2024-07-06 09:51:18
- 快手大模型首次集体亮相2024-07-06 10:36:22
- 快手文生图大模型可图宣布正式开源2024-07-06 10:50:24
- 快递业用上大模型客服,90%工单无需人工干预 | 创新场景2024-07-05 18:15:43
- 蚂蚁百灵大模型:多模态能力提升,将应用在支付宝智能助理等2024-07-05 16:31:01
- 阿里云 CTO 周靖人:通义开源模型下载量破 2000 万,坚定拥抱开源2024-07-05 16:34:02
- 腾讯副总裁蒋杰:混元大模型正部署从多模态到全模态的技术,很快即可体验2024-07-05 16:45:51
- 全球最大甲骨文“数据集”开源2024-07-05 16:49:49
- 百度李彦宏:开源模型是智商税,闭源模型更强大、推理成本更低2024-07-05 18:17:29
- 对话蜜度CTO刘益东:价格战、MoE......中国AI大模型下一步“卷”什么?|直击WAIC 20242024-07-05 12:56:17