史上首个 100% 开源大模型重磅登场：破纪录公开代码 / 权重 / 数据集 / 训练全过程，AMD 都能训

图片地址：https://img.ithome.com/newsuploadfiles/2024/2/b252e03c-9a6e-4a6a-89a3-62a852790ef7.png?x-bce-process=image/format,f_auto

艾伦人工智能研究所等 5 机构最近公布了史上最全的开源模型「OLMo」，公开了模型的模型权重、完整训练代码、数据集和训练过程，为以后开源社区的工作设立了新的标杆。多年来，语言模型一直是自然语言处理（NLP）技术的核心，考虑到模型背后的巨大商业价值，最大最先进的模型的技术细节都是不公开的。现在，真・完全开源的大模型来了！来自艾伦人工智能研究所、华盛顿大学、耶鲁大学、纽约大学和卡内基梅隆大学的研究人员，联合发表了一项足以载入 AI 开源社区史册的工作 ——他们几乎将从零开始训练一个大模型过程中的一切数据和资料都开源了！论文：https://allenai.org/ olmo / olmo-paper.pdf权重：https://huggingface.co/ allenai / OLMo-7B代码：https://github.com/ allenai / OLMo数据：https://huggingface.co/ dataset