俄罗斯科技巨头 Yandex 宣布开源“YaFSDP”大语言模型训练工具：大幅提升 GPU 利用率，对 Llama 3 …

图片地址：https://img.ithome.com/newsuploadfiles/2024/6/c988753f-0499-4b8e-9aab-f4a68ff7f4cc.png?x-bce-process=image/format,f_auto

IT之家 6 月 11 日消息，俄罗斯科技巨头 Yandex 推出了一款开源的大语言模型训练工具 ——YaFSDP，号称与现有工具相比速度最高可提升 26%。据介绍，YaFSDP 在训练速度方面优于传统的 FSDP 方法，尤其适用于大型模型。在预训练 LLM 方面，YaFSDP 速度提高了 20%，并且在高内存压力条件下表现更佳。例如，YaFSDP 对具有 700 亿参数的 Llama 2 可以实现 21% 的效率提升，对具有同级参数的 Llama 3 也实现 了 26% 的效率提升。IT之家附官方数据一览：模型gpu-countseq-lennum-ckpt-layersspeedupLlama 2 7B64204809.92%Llama 2 7B64409603.43%Llama 2 7B64819202.68%Llama 2 7B128204809.57%Llama 2 7B128409602.42%Llama