6GB RAM iPhone 15 也可运行，Hugging Face 推出“SmolLM”小语言 Python 编程模型

图片地址：https://img.ithome.com/newsuploadfiles/2024/7/000b9180-7851-4f5b-a684-1302a8b2a364.png

IT之家 7 月 20 日消息，如今小语言模型开始升温，许多厂商开始推出适用于手机等轻量级设备的“小模型”，本周 Hugging Face 便公布了“SmolLM”小语言模型家族，其中包含 1.35 亿、3.6 亿及 17 亿参数模型，IT之家附项目如下（点此访问）。据介绍，这些模型号称是以精心策划的高质量训练数据集训练而成，号称在 Python 程序编写性能上相当强大，团队指出他们重点优化了模型所需的 RAM 用量，“即使是在 6GB RAM 的 iPhone 15 上也能运行”。在训练方面，Hugging Face 团队首先建立了一款名为 SmolLM-Corpus 的数据集（数据集地址点此访问），该数据集主要包含 Python 教学内容 Python-Edu、Web 教育内容 FineWeb-Edu 以及使用 Mixtral-8x7B-Instruct-v0.1 和 Cos