用上 Pytorch Lightning 这六招，深度学习 pipeline 可提速 10 倍

图片地址：https://img.ithome.com/newsuploadfiles/2021/10/f8a70bde-802b-4ea3-afde-d140663f3875.gif

面对数以亿计的图片数据，到底该用什么样的方法才能快速搞实验？这样的问题，或许在做机器学习研究的你，也会经常遇到。而就在最近，一个国外小哥就提出了一种建议：在 Pytorch lightning 基础上，让深度学习 pipeline 速度提升 10 倍！用他自己的话来说就是 ——“爬楼时像给了你一个电梯”。这般“酸爽”，到底是如何做到的呢？优化机器学习 pipeline，很重要无论你是身处学术界还是工业界，时间和资源等各种因素，往往会成为你在搞实验的枷锁。尤其是随着数据集规模和机器学习模型，变得越发庞大和复杂，让实验变得既费时又耗力。提速这件事，就变得至关重要。例如在 2012 年的时候，训练一个 AlexNet，要花上 5 到 6 天的时间。而现如今，只需要短短几分钟就可以在更大的数据集上训练更大的图像模型。这位小哥认为，从某种角度上来说，这是得益于各种各样的“利器”的出现。例如 Pytorch Lingtning，就是其中一种