阿里达摩院发布全球最大 AI 预训练模型 M6：参数跃迁至 10 万亿

图片地址：https://img.ithome.com/newsuploadfiles/2021/11/5007d93f-2bac-46ab-8439-e8f12606ce5b.png

IT之家 11 月 8 日消息，今天，阿里巴巴达摩院公布多模态大模型 M6 最新进展，其参数已从万亿跃迁至 10 万亿，成为全球最大的 AI 预训练模型。M6 是达摩院研发的通用性人工智能大模型，拥有多模态、多任务能力，尤其擅长设计、写作、问答，在电商、制造业、文学艺术、科学研究等领域有广泛应用前景。与传统 AI 相比，大模型拥有成百上千倍“神经元”数量，认知和创造能力也更胜一筹，被普遍认为是未来的“基础模型”。但大模型的算力成本相当高昂，训练 1750 亿参数语言大模型 GPT-3 所需能耗，相当于汽车行驶地月往返距离。今年 5 月，通过专家并行策略及优化技术，达摩院 M6 团队将万亿模型能耗降低超八成、效率提升近 11 倍。10 月，M6 再次突破业界极限，使用 512 GPU 在 10 天内即训练出具有可用水平的 10 万亿模型。相比去年发布的大模型 GPT-3，M6 实现同等参数规模，能耗仅为其 1%。▲ 将