数据缩至 1/5000，模型准确率却翻倍，谷歌新“蒸馏法”火了

图片地址：https://img.ithome.com/newsuploadfiles/2021/12/975b2243-5c52-4b37-9b74-5e010b93ddd6.png

在炼丹过程中，为了减少训练所需资源，MLer 有时会将大型复杂的大模型“蒸馏”为较小的模型，同时还要保证与压缩前相当的结果。这就是知识蒸馏，一种模型压缩 / 训练方法。不过随着技术发展，大家也逐渐将蒸馏的对象扩展到了数据集上。这不，谷歌最近就提出了两种新的数据集蒸馏方法，在推特上引起了不小反响，热度超过 600：像这样，将 50000 张标注图像的 CIFAR-10 数据集“蒸馏”缩小至 1/5000 大小，只基于 10 张合成数据点进行训练，模型的准确率仍可近似 51%：△上：原始数据集 下：蒸馏后而如果“蒸馏数据集”由 500 张图像组成（占原数据集 1% 大小），其准确率可以达到 80%。两种数据集蒸馏方法分别来自于 ICLR 2021 和 NeurIPS 2021 上的两篇论文。通过两阶段循环进行优化那么要如何才能“蒸馏”一个数据集呢？其实，这相当于一个两阶段的优化过程：“内部循环”，用于在学习数据上训练模型“外部循环”