650 亿参数大模型预训练方案开源可商用！LLaMA 训练加速 38%，来自明星开源项目

图片地址：https://img.ithome.com/newsuploadfiles/2023/7/a1e27c3d-192d-4cdb-8c85-e64b2c40bbef.png?x-bce-process=image/format,f_auto

650 亿参数大模型的预训练方案，发布即开源。训练速度较传统方案提升 38%。这就是由 Colossal-AI 最新发布的类 LLaMA 基础大模型预训练方案。要知道，在“百模大战”背景下，谁拥有自家大模型，往往被视为核心竞争力。在这个节点下，愿意开源大模型的公司少之又少。但自己从头训练一个大模型，对技术、资金都有很高要求。由此，Colossal-AI 最新的开源动作，可以说是应时势所需了。并且它还不限制商业使用，开箱即用仅需 4 步。具体项目有哪些内容？一起往下看~开源地址：https://github.com/hpcaitech/ColossalAI32 张 A100 / A800 即可使用实际上，自从 Meta 开源 LLaMA 后，掀起了一波微调项目热潮，如 Alpaca、Vicuna、ColossalChat 等都是在其基础上打造的。但是 LLaMA 只开源了模型权重且限制商业使用，微调能够提升和注入的知识与能力也相对