微比恩 > 信息聚合 > 李开复回应放弃预训练:训一次大模型三四百万美元,头部公司都付得起|最前线

李开复回应放弃预训练:训一次大模型三四百万美元,头部公司都付得起|最前线

2024-10-16 20:24:02来源: 36氪

文|周鑫雨 编辑|苏建勋 “零一万物绝不放弃预训练。” 2024年10月16日,AI独角兽零一万物创始人兼CEO李开复,公开立了军令状。也在同一天,零一万物发布了最新的MoE(混合专家)架构的旗舰大模型:Yi-Lightning。 这也是时隔5个月后,零一万物再次更新模型的新动态。 李开复表示,Yi-Lightning的训练只用了2000张GPU,训练周期仅一个半月,成本只有300多万美元,是埃隆·马斯克的xAI成本的1%、2%。 训练成本虽然低,但Yi-Lightning的性能并没有打折扣。在加州大学伯克利分校LMSYS团队的Chatbot Arena(聊天机器人竞技场)总榜单上,Yi-Lightning的性能与xAI的Grok-2-08-13模型并列第6,并且超越了OpenAI的GPT-4o-2024-05-13。 LMSYS团队的Chatbot Arena(聊天机器人竞技场)大语言模型综合

关注公众号
标签: 大模型