浪潮信息发布 "源2.0-M32" 开源大模型，大幅提升模算效率

北京2024年5月30日 /美通社/ -- 5月28日，浪潮信息发布"源2.0-M32"开源大模型。"源2.0-M32"在基于"源2.0"系列大模型已有工作基础上，创新性地提出和采用了"基于注意力机制的门控网络"技术，构建包含32个专家（Expert）的混合专家模型（MoE），并大幅提升了模型算力效率，模型运行时激活参数为37亿，在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型。 在算法层面，源2.0-M32提出并采用了一种新型的算法结构：基于注意力机制的门控网络（Attention Router），针对MoE模型核心的专家调度策略，这种新的算法结构关注专家模型之间的协同性度量，有效解决传统门控网络下，选择两个或多个专家参与计算时关联性缺失的问题，使得专家之间协同处理数据的水平大为提升。源2.0-M32采用源2.0-2B为基础模