IT之家 11 月 27 日消息,浪潮信息今日发布了“源 2.0”基础大模型,并宣布全面开源。源 2.0 基础大模型包括 1026 亿、518 亿、21 亿等三种参数规模的模型。据介绍,源 2.0 通过使用中英文书籍、百科、论文等高质量中英文资料,降低了互联网语料内容占比。为了获取中文数学数据,浪潮信息清洗了从 2018 年至今约 10PB 的互联网数据,但仅获取到了约 10GB 的数学数据。为了更高效地获得相对匮乏的高质量中文数学及代码数据集,源 2.0 采用了基于大模型的数据生产及过滤方法,在保证数据的多样性的同时也在每一个类别上提升数据质量。算力方面,源 2.0 采用了非均匀流水并行的方法,综合运用流水线并行 + 优化器参数并行 + 数据并行的策略,让模型在流水并行各阶段的显存占用量分布更均衡,避免出现显存瓶颈导致的训练效率降低的问题。源 2.0 在评测上进行了代码生成、数学问题求解、事实问答方面的能力测试,测试结果显示,
浪潮信息发布“源 2.0”基础大模型,千亿参数代码开源
2023-11-27 17:53:37来源: IT之家
关注公众号
赞
你的鼓励是对作者的最大支持
- 开辟大模型更多应用场景 浪潮云洲"知业大模型"加速赋能千行百业2024-09-30 15:16:00
- 企业大模型应用开发提速 浪潮信息发布元脑企智EPAI一体机2024-09-29 21:23:00
- 软通动力出席百度云智大会,分享行业大模型的思考与实践2024-09-27 15:44:00
- 陈睿:B站已上线自研大模型 index 并应用于 AI 字幕,具备近 10 种语言实时翻译能力2024-09-26 21:59:45
- 软通动力开源驱动AI大模型与软硬一体创新发展分论坛圆满落幕2024-09-26 17:45:00
- 百度全面升级百舸 AI 异构计算平台 4.0、千帆大模型平台 3.02024-09-25 17:48:57
- 前百度研究院副院长新项目:给手机、PC做可用的大模型基础设施,前微软高管加入 | 智涌独家2024-09-24 15:55:40
- 阿里云智能集团首席技术官周靖人:大模型降价背后是效率的提升2024-09-24 08:30:15
- 华知大模型5.0发布2024-09-22 14:03:04
- 华知大模型 5.0 发布:同方知网与华为云打造,7B~135B 尺寸2024-09-22 11:11:24
- 1全息数字道路:高峰拥堵下降6.6%,交通事故率下降12.5%丨创新场景
- 2阿里领投!清华系具身智能公司星动纪元完成近3亿元Pre-A轮融资|钛媒体AGI
- 3白小T举办“续航计划”发布会聚焦环保与公益;SIINSIIN官宣杨紫为品牌代言人;阅文投资卡牌公司Hitcard|消研所周报
- 4Avalanche Dog 2.0:全新Mammut Barryvox® S2
- 5transcosmos在中国山东省日照市开设运营中心
- 6伟创力在2024 OCP全球峰会上发布用于人工智能数据中心的液冷机架和电源解决方案
- 7ASML Shares Crash 16% over Bookings Miss, Guidance Cut and D…
- 8Supermicro推出适用于AI就绪数据中心的全新服务器和GPU 加速系统,搭载AMD EPYC™ 9005系列CPU…
- 9扎克伯格:联想基于Meta Llama大模型构建AI Now
- 10全球中文教育发展真相