微软发布高性能 MoE 库 Tutel，针对大规模 DNN 模型开发提速

图片地址：https://mmbiz.qpic.cn/mmbiz_png/2iaocPicCyec6lLIRO4m45rQEBrPTRGG7eQAzJsqxE7j5YibPq0arnl9wLDbjYsbDhDmcMJF65eMMv4hpMKO0AiceQ/640?wx_fmt=png

IT之家 11 月 27 日消息，据微软亚洲研究院发布，作为目前唯一被证明能够将深度学习模型扩展到万亿以上参数的方法，MoE 能让模型学习更多信息，并为计算机视觉、语音识别、自然语言处理和机器翻译系统等提供支持。近期，微软亚洲研究院发布了一个高性能 MoE 库 ——Tutel，并在 8x 80GB NVIDIA A100 和 8x 200Gbps 的 InfiniBand 网络的 Azure NDm A100 v4 节点上进行了实验。让我们来看一看，这个用于促进大规模 DNN 模型开发的高性能 MoE 库有哪些优势？其表现又如何？混合专家（Mixture-of-Experts，简称 MoE）是一种深度学习模型架构，其计算成本与参数的数量呈次线性关系，因此更容易扩展。MoE 是目前唯一被证明能够将深度学习模型扩展到万亿以上参数的方法，它能让模型学习更多信息，并为计算机视觉、语音识别、自然语言处理和机器翻译系统等提供支持，从而以全新