阿里云弹性计算新升级：CPU上跑推理，模型起建成本降低50%｜最前线

作者｜武静静编辑｜邓咏仪1月11日，阿里云升级第八代企业级通用计算实例ECS g8i产品。新产品依托于英特尔在2023年12月发布的第五代至强可扩展处理器，以及阿里云自研的“飞天+CIPU”架构体系所搭建。升级之后，新产品的在算力、网络、性能、应用场景方面有能力提升：算力层，ECS g8i实例的ECS g8i实例的L3缓存容量提升到320MB，内存速率提升至5600MT/s；性能方面，整机性能提升了85%，单核性能提升25%；网络方面，PPS达3000万，时延低至8微秒；场景上，新的ECS g8i实例可将MySQL数据库的性能提升至60%，Redis和Nginx的性能分别提升40%和24%。面对目前火热的大模型需求，新升级的ECS g8i实例进行了升级优化，让大模型跑在CPU上，并有效降低了模型搭建成本。这对于大模型的商业化落地意味着全新的尝试。一般而言，CPU在浮点、并行维度和内存宽带上都与GPU能力相差甚远，让模型跑在CPU