微软提出模型稀疏化新方法：单 GPU 就能压缩模型，性能不变参数少 25%

图片地址：https://img.ithome.com/newsuploadfiles/2024/2/fe7bf19c-008d-4cfb-8b14-caede732970b.png?x-bce-process=image/format,f_auto

大语言模型之大，成本之高，让模型的稀疏化变得至关重要。众所周知，对于大语言模型来说，规模越大，所需的算力越大，自然占用的资源也就越多。研究人员于是乎把目光转到了这片领域，即模型的稀疏化（Sparsification）。今天要介绍的 SliceGPT，则可以实现模型的事后稀疏。也就是说，在一个模型训练完了以后再进行稀疏化操作。该模型由微软研究院和苏黎世联邦理工学院联合发表在了 arXiv 上。目前主流的稀疏化技术面临着挺多挑战和困难。比方说，需要额外的数据结构，而且在当下的硬件条件下，速度有限。SliceGPT 就能很好的解决这些问题 —— 它能用一个较小的矩阵来替换每个权重矩阵，从而降低网络的嵌入维度。而实际结果也是非常不错的，在 LLAMA-2 70B、OPT 66B 和 Phi-2 模型上，SliceGPT 去除了多达 25% 的模型参数，还保证了模型本身 99%、99% 以及 90% 的零样本任务的性能。此外，SliceG