北京2024年7月26日 /美通社/ -- 生成式AI快速发展,AI算力作为人工智能发展的重要支撑,正以惊人的速度渗透至每一个计算设备。一切计算皆AI,为了支撑千行百业最广泛的场景,通用服务器也在"智变"。 不久前,浪潮信息的研发工程师基于2U4路旗舰通用服务器NF8260G7,采用领先的张量并行、NF4模型量化等技术,实现服务器仅依靠4颗CPU即可运行千亿参数 "源2.0" 大模型,成为通用AI算力的新标杆。 NF8260G7在2U空间搭载4颗32核英特尔至强处理器,主频2.4GHz,支持8个内存通道,3路UPI总线互联,采用32根32G的DDR5内存,内存容量1024GB,实测内存读带宽995GB/s,运行效率82.94%。框架和算法方面,NF8260G7支持PyTorch、TensorFlow等主流AI框架和DeepSpeed等流行开发工具,满足用户更成熟、易部署、更便捷的开放生
"千亿参数"大模型再卷风云,成功实现CPU通用服务器上运行
2024-07-26 16:45:00来源: 美通社
![](/images/qrcode_for_gh_5f0dab6cf0de_258.jpg)
关注公众号
赞
你的鼓励是对作者的最大支持
- 学而思学练机教育平板发布:10.95 英寸“类纸护眼屏”、内置“九章大模型”,3999 元2024-08-30 21:10:26
- 国内运营商最大单集群智算中心在哈尔滨投用,可训练万亿参数大模型2024-08-31 09:21:36
- 源大模型AIPC助手YuanChat焕新!支持12种文档构建知识库+联网检索2024-08-28 18:17:00
- 苹果 iPhone 17 系列被曝升级 12GB 内存,能够更好地支持端侧 AI 大模型2024-08-28 19:48:44
- 全新 smart 精灵#5 大五座 SUV 首秀:字节豆包 AI 大模型、方盒子造型2024-08-28 20:53:06
- HomeLight完成2000万美元D+轮融资、住建部部长倪虹:推进建筑业转型升级、广联达发布L2 级场景大模型| Pr…2024-08-28 11:40:53
- 字节火山引擎总裁谭待:现在大模型价格回归正常水平,原来太贵了2024-08-28 09:11:10
- 字节被曝成立“大模型研究院”,知情人士称其“未决定建立独立机构”2024-08-28 09:22:53
- 移远通信推出大模型解决方案,重塑千行百业智能边界2024-08-27 10:00:00
- 小鹏图灵芯片流片成功:40 核心可运行 30B 参数 AI 大模型、号称面向 L4 自动驾驶打造2024-08-27 20:03:34