微比恩 > 信息聚合 > 昆仑万维开源2千亿稀疏大模型天工MoE

昆仑万维开源2千亿稀疏大模型天工MoE

2024-06-03 18:22:38来源: 36氪

昆仑万维宣布开源2千亿稀疏大模型 Skywork-MoE 。据介绍,Skywork-MoE 基于之前昆仑万维开源的Skywork-13B模型中间checkpoint扩展而来,是首个完整将MoE Upcycling技术应用并落地的开源千亿MoE大模型,也是首个支持用单台4090服务器推理的开源千亿 MoE大模型,性能强劲, 且推理成本更低。

关注公众号
标签: 大模型 开源