中国电信开源 TeleChat-12B 星辰语义大模型，年内开源千亿级参数大模型

IT之家 4 月 16 日消息，中国电信已开源 120 亿参数 TeleChat-12B 星辰语义大模型，还表示将于年内开源千亿级参数大模型。相较 1 月开源的 7B 版本，12 版版本在内容、性能和应用等方面整体效果提升 30%，其中多轮推理、安全问题等领域提升超 40%。据介绍，TeleChat-12B 将 7B 版本 1.5T 训练数据提升至 3T，优化数据清洗、标注策略，持续构建专项任务 SFT (监督微调) 数据，优化数据构建规范，大大提升数据质量；同时，基于电信星辰大模型用户真实回流数据，优化奖励模型和强化学习模型，有效提升模型问答效果。TeleChat-12B 在模型结构、训练数据、训练方法等方面进行了改进，在通用问答和知识类、代码类、数学类榜单上相比 TeleChat-7B 均有大幅提升。在模型结构方面，使用小规模的模型尝试多种模型结构的组合选择最优结构。相比 TeleChat-7B 模型，TeleChat-12