Mistral 携微软引爆“小语言模型”风潮：代码能力完胜 GPT-4，成本仅有 1/3

图片地址：https://img.ithome.com/newsuploadfiles/2023/12/2cc30ce7-99a4-4bde-9bcd-bc45b632a2b1.png?x-bce-process=image/format,f_auto

小模型的风潮，最近愈来愈盛，Mistral 和微软分别有所动作。而网友实测发现，Mistral-medium 的代码能力竟然完胜了 GPT-4，而所花成本还不到三分之一。最近，「小语言模型」忽然成为热点。本周一，刚刚完成 4.15 亿美元融资的法国 AI 初创公司 Mistral，发布了 Mixtral 8x7B 模型。这个开源模型尽管尺寸不大，小到足以在一台内存 100GB 以上的电脑上运行，然而在某些基准测试中却能和 GPT-3.5 打平，因此迅速在开发者中赢得了一片称赞。之所以叫 Mixtral 8x7B，是因为它结合了为处理特定任务而训练的各种较小模型，从而提高了运行效率。这种「稀疏专家混合」模型并不容易实现，据说 OpenAI 在今年早些时候因为无法让 MoE 模型正常运行，而不得不放弃了模型的开发。紧接着，就在第二天，微软又发布了全新版本的 Phi-2 小模型。跟 Mistral 的 70 亿参数比，Phi-2 小到