百度文心大模型 4.0 爆料：万卡训练史上最大参数，最快下周见

IT之家 10 月 9 日消息，昨天，财联社爆料称百度的文心大模型 4.0 正在加紧训练，已经接近可发布状态。今天，IT之家也扒到了更多关于文心 4.0 的消息，涉及了底层架构、基础设施、训练数据集、成本等关键信息。先说核心结论：1、昨天的爆料基本属实。目前了解到，文心大模型 4.0 实际上已经在小流量测试。2、文心 4.0 参数量大于所有已公开发布参数的 LLM，也是国内首次使用万卡集群训练的大模型。3、推理成本相比文心 3.5 增加很多，据传大概是 8-10 倍。（大模型真的很费钱）接下来我们看看爆料的细节。万卡集群训练的史上最大参数模型？根据IT之家拿到的消息，文心大模型 4.0 的参数规模要大于目前所有公开发布参数的 LLM，这意味着文心大模型 4.0 的参数规模预计能突破万亿级别。单看这个参数量，很多人会觉得还好，毕竟根据目前揭秘的信息，GPT-4 的参数量已经在 1.8 万亿左右。但爆料人进一步表示，文心大模型 4.