ChatGPT 真实参数只有 200 亿，首次被微软曝光！网友：难怪 OpenAI 对开源很紧张

图片地址：https://img.ithome.com/newsuploadfiles/2023/10/fcf9b076-3346-4255-bcd4-21454899c178.png?x-bce-process=image/format,f_auto

突然间，整个大模型圈都在谈论同一件事。微软论文里一张「乍一看不足为奇」的统计图，泄露了“天机”。引领全球风暴的 ChatGPT，背后大模型参数竟只有 200 亿？？？论文一经发布，就吸引了国内外众多关注。不少网友还不相信：确定不是拼写错了？有网友表示：难怪 OpenAI 对开源这么紧张。又或者，这也许是为 OpenAI 开源做准备。无独有偶，就在前几天有网友在 GitHub Copilot 的 API 中发现了疑似 GPT-4 新型号：copilot-gpt-4-2，所拥有的知识更新到了 2023 年 3 月。这篇论文说了啥？除了泄露机密，这篇论文本身也值得一看：业内首个用扩散模型做代码生成。研究团队设想了这样一个场景：如果开发人员只能修改最后一行代码，那么需要多少次从头开始编写一个函数才能完成呢？用自然语言生成代码的自回归模型也有类似的局限性：不太容易重新考虑之前生成的 tokens。微软研究员提出了采用编码-解码架构的 CO