30 亿参数“从 0 到 1”，摩尔线程 / 无问芯穹“千卡集群”行业内首次实现国产 GPU 端到端 AI 大模型实训

图片地址：https://img.ithome.com/newsuploadfiles/2024/5/ceb6f5e1-dbcc-403e-8663-31fb7195cd97.png

IT之家 5 月 27 日消息，摩尔线程、无问芯穹今天联合宣布，双方已经正式完成基于国产全功能 GPU 千卡集群的 3B 规模大模型“MT-infini-3B”实训，该模型基于摩尔线程国产全功能 GPU MTT S4000 组成的千卡集群，以及无问芯穹的 AIStudio PaaS 平台打造。据悉，这次的 MT-infini-3B 模型训练总共用时 13.2 天，全程稳定无中断，集群训练稳定性达到 100％，千卡训练和单机相比扩展效率超过 90％，号称“充分验证了夸娥千卡智算集群在大模型训练场景下的可靠性，同时也在行业内率先开启了国产大语言模型与国产 GPU 千卡智算集群深度合作的新范式”。IT之家获悉，实训出来的 MT-infini-3B 性能在同规模模型中跻身前列，相比在国际主流硬件上训练而成的其他模型，在 C-Eval、MMLU、CMMLU 等 3 个测试集上均实现性能领先。无问芯穹联合创始人兼 CEO 夏立雪表示，当前无