首个开源的 ChatGPT 低成本复现流程来了！预训练、奖励模型训练、强化学习训练，一次性打通。最小 demo 训练流程仅需 1.62GB显存，随便一张消费级显卡都能满足了。单卡模型容量最多提升 10.3 倍。相比原生 PyTorch，单机训练速度最高可提升 7.73 倍，单卡推理速度提升 1.42 倍，仅需一行代码即可调用。对于微调任务，可最多提升单卡的微调模型容量 3.7 倍，同时保持高速运行，同样仅需一行代码。要知道，ChatGPT 火是真的火，复现也是真的难。毕竟 ChatGPT 是不开源的，市面上至今没有开源预训练权重、完全开源的低成本训练流程，而且千亿级别大模型的训练本身就是个难题。但 ChatGPT 军备赛已经愈演愈烈，为了抓住趋势，如谷歌等都在打造对标竞品。快速复现 ChatGPT 是应趋势所需。开源加速方案 Colossal-AI正是为此而来。并且在提供开源完整复现流程的同时，把成本降了下来！开源地址：http
ChatGPT 低成本复现流程开源，任意单张消费级显卡可体验，显存需求低至 1.62 GB
2023-02-17 14:00:21来源: IT之家
关注公众号
赞
你的鼓励是对作者的最大支持
- 9点1氪｜美邦创始人回应开淘宝直播想当网红；纸制火车票11月1日起成为历史；ChatGPT上线搜索功能2024-11-02 09:00:30
- 显卡品牌索泰母公司栢能科技集团总部已迁至新加坡，计划在新上市2024-10-25 15:48:08
- 零刻 EX 显卡拓展坞接口开源，个人或企业无需获得授权即可使用2024-10-24 17:32:33
- （更新：消息人士称并非 RTX 5090）一印度尼西亚峇淡工厂首批显卡开机过测2024-10-21 10:21:58
- 消息称 Nvidia App 现代化控制面板将随 RTX 50 系列显卡正式发布2024-10-19 14:31:56
- 国产首次，摩尔线程 MTT S80、MTT S70 国产显卡新增支持 DirectX 122024-10-15 19:24:39
- 16G 显存：摩尔线程 MTT S80 国产显卡 1195 元新低（上市 2999 元）2024-10-15 11:11:52
- 消息称 AMD RX 7650 GRE 显卡不太可能 CES 2025 发布，但仍有望明年一季度推出2024-10-14 15:21:48
- 微软警告：搭载英伟达老显卡的电脑升级 Win11 Canary 27723 预览版会黑屏2024-10-11 17:35:15
- 英伟达 RTX 5070 显卡被曝也将现身 CES 2025：延续 12GB 显存，250W 功耗2024-10-10 09:22:31
