微软发布 Phi-3.5 系列 AI 模型：上下文窗口 128K，首次引入混合专家模型

图片地址：https://img.ithome.com/newsuploadfiles/2024/8/0f9d191d-a762-45cf-85b7-5f720ca2b28f.jpg?x-bce-process=image/format,f_auto

IT之家 8 月 21 日消息，微软公司今天发布了 Phi-3.5 系列 AI 模型，其中最值得关注的是推出了该系列首个混合专家模型（MoE）版本 Phi-3.5-MoE。本次发布的 Phi-3.5 系列包括 Phi-3.5-MoE、Phi-3.5-vision 和 Phi-3.5-mini 三款轻量级 AI 模型，基于合成数据和经过过滤的公开网站构建，上下文窗口为 128K，所有模型现在都可以在 Hugging Face 上以 MIT 许可的方式获取。IT之家附上相关介绍如下：Phi-3.5-MoE：首个混合专家模型Phi-3.5-MoE 是 Phi 系列中首个利用混合专家（MoE）技术的模型。该模型在 16 x 3.8B MoE 模型使用 2 个专家仅激活了 66 亿个参数，并使用 512 个 H100 在 4.9T 标记上进行了训练。微软研究团队从零开始设计该模型，以进一步提高其性能。在标准人工智能基准测试中，Phi-3.