"千亿参数"大模型再卷风云，成功实现CPU通用服务器上运行

北京2024年7月26日 /美通社/ -- 生成式AI快速发展，AI算力作为人工智能发展的重要支撑，正以惊人的速度渗透至每一个计算设备。一切计算皆AI，为了支撑千行百业最广泛的场景，通用服务器也在"智变"。 不久前，浪潮信息的研发工程师基于2U4路旗舰通用服务器NF8260G7，采用领先的张量并行、NF4模型量化等技术，实现服务器仅依靠4颗CPU即可运行千亿参数 "源2.0" 大模型，成为通用AI算力的新标杆。 NF8260G7在2U空间搭载4颗32核英特尔至强处理器，主频2.4GHz，支持8个内存通道，3路UPI总线互联，采用32根32G的DDR5内存，内存容量1024GB，实测内存读带宽995GB/s，运行效率82.94%。框架和算法方面，NF8260G7支持PyTorch、TensorFlow等主流AI框架和DeepSpeed等流行开发工具，满足用户更成熟、易部署、更便捷的开放生