北京智源发布悟道 3.0 大模型系列

图片地址：https://img.ithome.com/newsuploadfiles/2023/6/bbaf35bc-294f-41ac-8e00-5a224b9b2b67.png?x-bce-process=image/format,f_auto

IT之家 6 月 10 日消息，在“2023 北京智源大会”上，北京智源人工智能研究院发布悟道 3.0 大模型系列，包含悟道・天鹰（Aquila）语言大模型系列、“天秤（FlagEval）”大语言评测体系及开放平台以及悟道・视界视觉大模型系列。IT之家附详细内容：悟道・天鹰 Aquila 语言大模型是第一个中英文双语大模型，支持商用、符合数据合规要求，在中英高质量合规的语料数据库基础上从零开始训练。这次发布了该系列模型中的 7B、33B 和 AquilaChat 对话模型，即 70 亿参数、330 亿参数的基础模型，AquilaCode 文本代码生成模型。7B、33B 在技术上继承了 GPT-3、LLaMA 等的架构设计优点，替换了一批更高效的底层算子实现、重新设计实现了中英双语的 tokenizer，升级了 BMTrain 并行训练方法，在 Aquila 的训练过程中实现了比 Magtron+DeepSpeed ZeRO-2