“非深度网络”12 层打败 50 层，普林斯顿 + 英特尔：更深不一定更好

图片地址：https://img.ithome.com/newsuploadfiles/2021/10/28ab2677-e7ee-4b7b-864f-b93ac8fdfb29.png

“深度”是深度神经网络（DNN）的关键词。但网络越深也就意味着，训练时反向传播的链条更长，推理时顺序计算步骤更多、延迟更高。而深度如果不够，神经网络的性能往往又不好。这就引出了一个问题：是否有可能构建高性能的“非深度”神经网络？普林斯顿大学和英特尔最新的论文证明，确实能做到。他们只用了 12 层网络 ParNet 就在 ImageNet 上达到了接近 SOTA 的性能。ParNet 在 ImageNet 上准确率超过 80%、在 CIFAR10 上超过 96%、在 CIFAR100 上 top-1 准确率 达到了 81%，另外在 MS-COCO 上实现了 48% 的 AP。他们是如何在网络这么“浅”的情况下做到的？并行子网提升性能ParNet 中的一个关键设计选择是使用并行子网，不是按顺序排列层，而是在并行子网中排列层。ParNet 由处理不同分辨率特征的并行子结构组成。我们将这些并行子结构称为流（stream）。来自不同流的特