千亿参数大模型首次被撬开！Meta 复刻 GPT-3“背刺”OpenAI，完整模型权重及训练代码全公布

图片地址：https://img.ithome.com/newsuploadfiles/2022/5/9518dc30-c2be-48fe-b8c8-3ea3340a9f8a.png

千亿级参数 AI 大模型，竟然真的能获取代码了？！一觉醒来，AI 圈发生了一件轰动的事情：Meta AI 开放了一个“重达”1750 亿参数的大语言模型 OPT-175B，不仅参数比 GPT-3 的 3750 亿更少，效果还完全不输 GPT-3。这意味着 AI 科学家们，终于可以“撬开”像 GPT-3 这样的大模型，看看里面到底有些什么秘密了。之前 GPT-3 虽然效果惊艳但不够开放，源代码独家授权给了微软，连马斯克都批评过 OpenAI 不够 open。虽然论文就在那里，想要在此之上做进一步研究的话就得先复现一个出来再说。而这一次，Meta 从完整模型到训练代码、部署代码全部开放。有人甚至在官宣之前就摸到还没上传好的 GitHub 仓库去蹲点了。还有人艾特 OpenAI 试图“引战”：那么，Meta 大模型有何特点、如何做到绿色低能耗，又为何要对外开放？一起来看看。用 16 块 V100 就能跑起来OPT 全称 Open Pr