小米大模型提效新框架 SUBLLM：训练最高提速 34%、推理最高提速 52%，Kaldi 之父合作出品

图片地址：https://img.ithome.com/newsuploadfiles/2024/6/b3b17baa-9fcb-470d-9df7-1636413b3a52.png

大模型推理速度提升 50% 以上，还能保证少样本学习性能！小米大模型团队提出 SUBLLM（Subsampling-Upsampling-Bypass Large Language Model），国际 AI 语音大牛、开源语音识别工具 Kaldi 之父 Daniel Povey也参与指导。与 Llama 等模型相比，SUBLLM 在训练和推理速度以及降低内存方面都有了显著提升。在大模型训练中，SUBLLM 的速度提高了 26%，每个 GPU 的内存减少了 10GB。在推理中，它的速度提高了 37%，每个 GPU 的内存减少了 1GB。训练和推理速度分别最高可以提高至 34% 和 52%。SUBLLM 通过智能地选择和处理数据，使得模型在训练和推理时更加高效：子采样模块剔除不必要的信息，上采样模块恢复数据的完整性，而绕过模块则加快了学习过程。在一万字中挑选最关键的五百字目前，云端的大模型处理超长文本任务，通常需要动用多达 8 个