微比恩 > 信息聚合 > AI大模型,AI赛道一场不能输的“钞”能力军备竞赛?

AI大模型,AI赛道一场不能输的“钞”能力军备竞赛?

2022-03-02 15:40:00来源: 钛媒体

偲睿洞察,作者丨蔡凡从2020年开始,国际最顶尖的AI技术发展,愈来愈像一场比拼资金与人才的军备竞赛。2020年,OpenAI发布NLP预训练模型GPT-3,光论文就有72页,作者多达31人,该模型参数1750亿,耗资1200万美元; 2021年1月,谷歌发布首个万亿级模型Switch Transformer,宣布突破了GPT-3参数记录; 4月,华为盘古大模型参数规模达到千亿级别,定位于中文语言预训练模型;11月,微软和英伟达在烧坏了4480块CPU后,完成了5300亿参数的自然语言生成模型(MT-NLG),一举拿下单体Transformer语言模型界「最大」和「最强」两个称号;今年1月,Meta宣布要与英伟达打造AI超级计算机RSC,RSC每秒运算可达50亿次,算力可以排到全球前四的水平。 除此之外,阿里、浪潮、北京智源研究院等,均发布了最新产品,平均参数过百亿。看起来,这些预训练模型的参数规模

关注公众号
标签: AI