论文阅读练习（7）

《EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks》（ICML2019）

重新考虑卷积网络的模型尺度

作者：Mingxing Tan   Quoc V. Le（谷歌大脑）

摘要：

卷积网络通常在固定预算资源上开发，如果有更多资源可依赖就可以获得更好的精确度。此篇文章中系统研究了模型尺度并且确认平衡好网络深度、宽度和分辨率可以得到更好的性能。基于这个观察，提出一个新的缩放方法，此方法使用简单高效的复合系数均匀的缩放深度、宽度、分辨率的所有尺寸。证明了这种方法在扩展MobileNets和ResNet方面的有效性。

进一步，使用神经网络结构搜索设计一个新的baseline network，并通过缩放得到一组模型，称为EfficientNets，这些模型比之前的ConvNets得到了更好的精确度和有效性。特殊的，EfficientNet-B7在ImageNet上精确度top-1上达到84.4%，top-5达到97.1%，推断时比最好现存的ConvNet更小（8.4xsmaller）、更快（6.1xfaster）。EfficientNets迁移效果好，在CIFAR-100上精确度为91.7%，Flowers为98.8%，和其他3个迁移数据集，参数量少了一个数量级。

source code：https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet.

问题：

提高卷积网络的性能

方法：

考虑网络模型尺度的影响，提出一个新的缩放方法，此方法使用简单高效的复合系数均匀的缩放深度、宽度、分辨率的所有尺寸。

效果：

EfficientNet-B7在ImageNet上精确度top-1上达到84.4%，top-5达到97.1%；

推断时比最好现存的ConvNet更小（8.4xsmaller）、更快（6.1xfaster）；

EfficientNets迁移效果好，在CIFAR-100上精确度为91.7%，Flowers为98.8%，和其他3个迁移数据集，参数量少了一个数量级。

内容：

很好平衡网络的深度、宽度、分辨率可以提高网络性能，并且可以通过一个常数比完成简单缩放实现平衡，基于观察提出简单高效的复合缩放方法。此方法用一组固定的缩放系数统一地缩放网络宽度，深度和分辨率。