這段時(shí)間學(xué)習(xí)了yolo v3的源代碼，作一下筆記。這個(gè)tensorflow版本的yolo v3源碼出自這里malin9402
yolo v3中首先使用的是一個(gè)darknet53的模塊來提取輸入圖片的特征，這個(gè)darknet53的模塊比較特別，全部使用的是卷積神經(jīng)網(wǎng)絡(luò)，沒有使用池化層，全連接層，下面來分析一下它的代碼。
1. darknet53模型
import tensorflow as tf #導(dǎo)入庫
import core.common as common #導(dǎo)入所需要的文件
def darknet53(input_data):
#[bs,416,416,3] => [bs,416,416,32]
input_data = common.convolutional(input_data, (3, 3, 3, 32))
#[bs,416,416,32] => [bs,208,208,64]
input_data = common.convolutional(input_data, (3, 3, 32, 64), downsample=True)
for i in range(1):
#[bs,208,208,64] => [bs,208,208,64]
input_data = common.residual_block(input_data, 64, 32, 64)
#[bs,208,208,64] => [bs,104,104,128]
input_data = common.convolutional(input_data, (3, 3, 64, 128), downsample=True)
for i in range(2):
#[bs,104,104,128] => [bs,104,104,128]
input_data = common.residual_block(input_data, 128, 64, 128)
#[bs,104,104,128] => [bs,52,52,256]
input_data = common.convolutional(input_data, (3, 3, 128, 256), downsample=True)
for i in range(8):
#[bs,52,52,256] => [bs,52,52,256]
input_data = common.residual_block(input_data, 256, 128, 256)
route_1 = input_data#[bs,52,52,256]
#[bs,52,52,256] => [bs,26,26,512]
input_data = common.convolutional(input_data, (3, 3, 256, 512), downsample=True)
for i in range(8):
#[bs,26,26,512] => [bs,26,26,512]
input_data = common.residual_block(input_data, 512, 256, 512)
route_2 = input_data#[bs,26,26,512]
#[bs,26,26,512] => [bs,13,13,1024]
input_data = common.convolutional(input_data, (3, 3, 512, 1024), downsample=True)
for i in range(4):
#[bs,13,13,1024] => [bs,13,13,1024]
input_data = common.residual_block(input_data, 1024, 512, 1024)
return route_1, route_2, input_data
最后darknet53返回三個(gè)尺度的特征，
route_1: [bs,52,52,256]
route_2: [bs,26,26,512]
input_data: [bs,13,13,1024]
另外還要說明的是，我計(jì)算了一下darknet53模型的網(wǎng)絡(luò)層，發(fā)現(xiàn)只有52層網(wǎng)絡(luò)(1+2+8+8+4)*2 = 46個(gè)卷積層
1+1+1+1+1+1 = 6個(gè)卷積層
6+46 = 52個(gè)卷積層
后來才了解到，darknet53是在ImageNet上的經(jīng)典分類模型，后來被yolo v3的作者移植到了yolo v3中，但是去掉了最后的池化層和全連接層，所以只剩52層了。
2. darknet53模型中用到的卷積層和殘差網(wǎng)絡(luò)
先看代碼，此代碼位于core/common.py文件中。
從上面darknet53的代碼中可以看到，其中用到了common.convolutional卷積層和common.residual_block殘差模塊。下面我們來分析分析。
import tensorflow as tf
#這個(gè)就是我們常說的bn層了
class BatchNormalization(tf.keras.layers.BatchNormalization):
"""
"Frozen state" and "inference mode" are two separate concepts.
`layer.trainable = False` is to freeze the layer, so the layer will use
stored moving `var` and `mean` in the "inference mode", and both `gama`
and `beta` will not be updated !
"""
def call(self, x, training=False):
if not training:
training = tf.constant(False)
training = tf.logical_and(training, self.trainable)
return super().call(x, training)
下面來看一下卷積層的實(shí)現(xiàn)
#卷積層
def convolutional(input_layer, filters_shape, downsample=False, activate=True, bn=True):
if downsample:
#下采樣，主要功能是將輸入的高寬縮小2倍，比如高寬[416,416] => 高寬[208,208]
input_layer = tf.keras.layers.ZeroPadding2D(((1, 0), (1, 0)))(input_layer)
padding = 'valid'
strides = 2
else:
#不是下采樣的話，高寬保持不變，[416,416] => [416,416]
strides = 1
padding = 'same'
conv = tf.keras.layers.Conv2D(filters=filters_shape[-1], kernel_size = filters_shape[0], strides=strides, padding=padding,
use_bias=not bn, kernel_regularizer=tf.keras.regularizers.l2(0.0005),
kernel_initializer=tf.random_normal_initializer(stddev=0.01),
bias_initializer=tf.constant_initializer(0.))(input_layer)
if bn: conv = BatchNormalization()(conv)
if activate == True: conv = tf.nn.leaky_relu(conv, alpha=0.1)
return conv
說明一下，tf.keras.layers.ZeroPadding2D是給輸入的高寬上下左右填充0，padding=((top_pad, bottom_pad), (left_pad, right_pad))。
卷積層有一個(gè)特性：strides = 1并且padding = 'same'的時(shí)候，輸入的高寬和輸出的高寬相同。如果padding = 'valid'的時(shí)候，輸出的高寬 = （輸入的高寬+填充的數(shù)目-卷積核的大小）/ 卷積核的步長 + 1。
比如上面的代碼中downsample=True的時(shí)候，假設(shè)輸入的圖片為[bs,416,416,3],卷積核的數(shù)目為32，那么根據(jù)公式，輸出的圖片高寬為(416 + 1 - 3) /2 + 1 = 208，那么輸出的圖片為[bs,208,208,32]。
下面看一下殘差網(wǎng)絡(luò)的代碼，殘差網(wǎng)絡(luò)的功能主要是能夠防止梯度彌散現(xiàn)象的出現(xiàn)，使用了殘差網(wǎng)絡(luò)，就可以訓(xùn)練比較深的神經(jīng)網(wǎng)絡(luò)。
# 殘差網(wǎng)絡(luò)
def residual_block(input_layer, input_channel, filter_num1, filter_num2):
short_cut = input_layer
conv = convolutional(input_layer, filters_shape=(1, 1, input_channel, filter_num1))
conv = convolutional(conv , filters_shape=(3, 3, filter_num1, filter_num2))
residual_output = short_cut + conv
return residual_output
通過上面的代碼可以看出，殘差網(wǎng)絡(luò)中包含了2個(gè)卷積層，并且這2個(gè)卷積層并不改變輸入圖片的大小，所以代碼中short_cut和conv的shape是一樣的，shape相同的兩個(gè)張量是可以直接相加的，于是就可以得到殘差網(wǎng)絡(luò)的輸出residual_output。
下面看一下上采樣操作，在tensorflow中，上采樣操作可以通過轉(zhuǎn)置卷積來實(shí)現(xiàn)，但是那樣會引入訓(xùn)練參數(shù)。這里采用的方法比較簡單，直接使用tf.image.resize方法將輸入圖片的尺寸放大2倍。
def upsample(input_layer):
return tf.image.resize(input_layer, (input_layer.shape[1] * 2, input_layer.shape[2] * 2), method='nearest')
darknet53和卷積網(wǎng)絡(luò)、殘差模塊的代碼解讀到這里就結(jié)束了，在下一篇中，我們接著來分析yolo v3的代碼。
