放话挑战 GPT-3：以色列推出参数多 30 亿、词条多 5 倍的新语言模型

图片地址：https://img.ithome.com/newsuploadfiles/2021/8/eda03b26-04d1-43b4-a875-6a1ccb0997c9.png

8 月 15 日消息 GPT-3 有多厉害不用多说了吧？现在，以色列特拉维夫一家 AI 公司 ——AI21 Labs 表示要挑战一下这个巨星在 NLP 领域的主导地位。他们计划发布一个比 GPT-3 还要大的模型，且目前不用排队苦苦申请，所有人都可以免费“调教”。大多少呢？GPT-3 模型拥有 1750 亿个参数，而他们这个叫做 Jurassic-1 (侏罗纪-1) 的模型有 1780 亿个。GPT-3 模型的词汇表有 5 万个 token，而 Jurassic-1 使用的词汇表则有 25 万个！对所有人开放，训练只需提供 50-100 个样本Jurassic-1 模型的训练数据包括 3000 亿个 tokens，由维基百科、新闻出版物、StackExchange（问答网站）和 OpenSubtitles（全球最大的多国语言开放字幕库）上的信息编译而来。在云上经过数百个 GPU 的分布式训练而成，由于最终存储 1780