vivo 自研蓝心大模型 7B 向全行业开源，2.6 万亿 token（附下载地址）

图片地址：https://img.ithome.com/newsuploadfiles/2023/11/6193c8e0-6f6e-414d-a0e1-e23c6c8de371.png?x-bce-process=image/format,f_auto

IT之家 11 月 9 日消息，在近日的 2023 vivo 开发者大会上，vivo 宣布率先开源 70 亿参数级的蓝心大模型 7B 以及对应的微调框架。按照承诺，vivo 现已在 Hugging Face 上正式开源了 BlueLM-7B，IT之家小伙伴可在 vivo AI Lab 主页下载。BlueLM-7B 开源大模型包括 7B 基础模型和 7B 对话模型，同时 vivo 开源了支持 32K 的长文本基础模型和对话模型。据介绍，BlueLM 采用高质量语料库进行训练，规模达到了 2.6 万亿 的 token 数，该语料库包含中文、英文以及少量日韩数据。其中 BlueLM-7B-Chat 在 C-Eval 和 CMMLU 上均取得领先结果。BlueLM-7B-Base-32K 和 BlueLM-7B-Chat-32K