微软和谷歌分别开源分布式深度学习框架，各自厉害在哪

图片地址：https://img.ithome.com/newsuploadfiles/2020/10/20201031122722_1239.jpg

微软和谷歌一直在积极研究用于训练深度神经网络的新框架，并且在最近将各自的成果开源——微软的 PipeDream 和谷歌的 GPipe。原则上看，他们都遵循了类似的原则来训练深度学习模型。这两个项目已在各自的研究论文（PipeDream，GPipe）中进行了详细介绍，这篇文章将对此进行总结。先放上 GitHub 开源地址：微软：https://github.com/msr-fiddle/pipedream谷歌：https://github.com/tensorflow/lingvo/blob/master/lingvo/core/gpipe.py众所周知，在实验过程中，虽然训练基本模型比较琐碎，但复杂度却随模型的质量和大小线性增加。例如，2014 年 ImageNet 视觉识别挑战赛的冠军是 GoogleNet，它通过 400 万个参数获得了 74.8% 的 top1 准确性，而仅仅三年之后，2017 年 ImageNet 挑战赛