百川智能发布超千亿参数大模型 Baichuan 3，号称中文评测超越 GPT-4

图片地址：https://img.ithome.com/newsuploadfiles/2024/1/e5de90fb-d205-40f0-b975-7a3e1a282894.png?x-bce-process=image/format,f_auto

IT之家 1 月 29 日消息，百川智能今日发布超千亿参数的大语言模型 Baichuan 3，在 CMMLU、GAOKAO 和 AGI-Eval 等评测中，Baichuan 3 号称在中文任务上超越了 GPT-4。在测试逻辑推理能力的 MCMLE、MedExam、CMExam 等医疗评测上，Baichuan 3 的中文效果同样号称超过了 GPT-4，是“中文医疗任务表现最佳的大模型”。据介绍，百川智能在 Baichuan 3 训练过程中提出了“动态数据选择”、“重要度保持”以及“异步 CheckPoint 存储”等多种技术手段及方案，稳定训练时间达到一个月以上，故障恢复时间不超过 10 分钟。百川智能官方表示，Baichuan 3 还突破“迭代式强化学习”技术，进一步提升了语义理解和生成能力，在诗词创作的格式、韵律、表意等方面进行了提升，对于宋词这种格式多变，结构深细、韵律丰富的高难度文体，生成的内容亦能工整对仗、韵脚和谐，让每