分為2部分:Separable Conv 以及 Point-wise Conv.
同樣的,從[12,12,3]的input feature map到[8,8,256]的output feature map,需要3個[5,5,1]的卷積核和256個[1,1,3]的卷積核。參數(shù)量為3 x 5 x 5 x 1 + 256 x 1 x 1 x 3 = 843,乘法次數(shù)為3 x 5 x 5 x 1 x 8 x 8 + 256 x 1 x 1 x 3 x 8 x 8 = 53952(FLOPs)。
如此一來,depth-wise conv的FLOPs只有普通卷積的~4.4%,EfficientNet的參數(shù)量少也就不足為奇了。