442 个作者，100 页论文一半都是参考文献，谷歌耗时 2 年发布开源大模型新基准 BIG-Bench

图片地址：https://img.ithome.com/newsuploadfiles/2022/6/a5e8af92-4636-4169-9755-fb7577af2183.png

一篇 AI 论文，442 个作者，其中还专门留了一章节写作者贡献，100 页里超过一半都是参考文献……谷歌最新发布的论文 ——Beyond The Imitation Game: Quantifying And Extrapolating The Capabilities Of Language Models 作者那一栏就变成了这样……来自 132 个机构的研究学者，耗时两年提出了一个大语言模型新基准 BIG-bench。并在此基础上评估了 OpenAI 的 GPT 模型，Google-internal dense transformer 架构等，模型规模横 6 个数量级。最终结果显示，模型性能虽然随着规模的扩大而提高，但跟人类的表现相差还很远。对于这项工作，Jeff Dean 转发点赞：Great Work。大语言模型新基准来康康这篇论文究竟说了什么。随着规模的扩大，模型的性能和质量都有一定的改进，这当中可能还存在一些变革性影