微比恩 > 信息聚合 > 阿里云发布了第二款140亿参数开源模型,免费可商用 | 最前线

阿里云发布了第二款140亿参数开源模型,免费可商用 | 最前线

2023-09-26 18:04:05来源: 36氪

作者 | 邓咏仪 编辑 | 苏建勋国内大模型如今步入落地阶段,另一方面,开源生态也初见雏形。9月25日,阿里云开源了第二款大模型——通义千问140亿参数模型Qwen-14B,及其对话模型Qwen-14B-Chat,本次开放的模型免费可商用。阿里曾于今年8月推出70亿参数的模型Qwen-7B等,一个多月下载量突破100万。如今的Qwen-14B,是阿里云开源的第二款模型。来源:阿里云Qwen-14B比起此前的7B模型,参数规模更大,并且模型性能也有不少提升。Qwen-14B是一款支持多语言的高性能开源模型,整体训练数据超过3万亿Token——作为对比,全球当前的开源模型霸主Llama2,预训练数据在2万亿Token左右。 并且,Qwen-14B最大支持8k上下文窗口长度,这意味着模型会具备更强大的推理、认知、规划和记忆能力。8k也已经是如今头部大模型的配置——以GPT-4为例,8K的上下文窗口约等于可以处理60

关注公众号