京东云推出 vGPU 池化方案，可令“大模型推理大幅降本”

图片地址：https://img.ithome.com/newsuploadfiles/2023/8/b1a1b7a6-d4ce-4e79-92aa-a2a430880883.png?x-bce-process=image/format,f_auto

IT之家 8 月 15 日消息，京东云已推出 vGPU 池化方案，“该方案可提供一站式 GPU 算力池化能力，令 GPU 利用率最高提升 70%，大幅降低大模型推理成本”。▲ 图源 京东云 官方公众号京东云表示，凭借其“自主研发的混合多云操作系统云舰”，京东云在原有支持混合多云 CPU 算力池化能力基础上，针对大模型训练所需的泛算力池化能力，进一步增加了针对 AI 应用所需的调度管理能力，包括卡管理、节点管理、异构资源调度管理等，为包括大模型训练在内的多种 AI 应用，提供一站式算力池化解决方案，从而全面提升资源利用率。京东云同时称，自家池化方案具有四大优势，IT之家转录相关内容如下：算力切分灵活：支持任意比例切分和动态调整机制，可实现按显卡算力、显存做细粒度切分，一张物理卡可供多个容器使用，与整卡算力相比，性能衰减在 2% 以内。精细化配额管理：支持灵活的配额管理，按显卡型号 / label 配额，有效保障资源按需分配，提升推