Index
- Introduction
- Architecture
- Image Transformation Network 圖像轉(zhuǎn)換網(wǎng)絡(luò)
- Residual Connections 殘差連接
- Down-sampling and Up-sampling
- Loss Network 損失網(wǎng)絡(luò)
- Image Transformation Network 圖像轉(zhuǎn)換網(wǎng)絡(luò)
Introduction
本文基于CVPR2016中Fei Fei Li團(tuán)隊(duì)的<Perceptual Losses for Real-Time Style Transfer and Super-Resolution>一文。
在上一篇文章梵高眼中的世界（一）實(shí)時(shí)圖像風(fēng)格轉(zhuǎn)換簡介中，我們介紹了Gatys的算法，對(duì)單張白噪聲圖像進(jìn)行梯度下降。很明顯，假如我們想要做一個(gè)關(guān)于圖像藝術(shù)風(fēng)格轉(zhuǎn)換的app，我們不可能對(duì)每一張用戶上傳的圖像進(jìn)行訓(xùn)練。這不僅需要很長的時(shí)間，還需要很強(qiáng)的計(jì)算力。
我們希望做到實(shí)時(shí)風(fēng)格轉(zhuǎn)換，很明顯我們需要實(shí)現(xiàn)一個(gè)前饋的神經(jīng)網(wǎng)絡(luò)。也就是，對(duì)于每一張圖片，我們只需要將其通過該前饋神經(jīng)網(wǎng)絡(luò)，就可以直接得到轉(zhuǎn)換后的圖像。Fei Fei Li團(tuán)隊(duì)的算法做到了這一點(diǎn)。
他們的算法包含兩個(gè)網(wǎng)絡(luò)：Image Transfer Network圖像轉(zhuǎn)移網(wǎng)絡(luò)，和Loss Network損失網(wǎng)絡(luò)。其中Image Transfer Network即我們需要的前饋神經(jīng)網(wǎng)絡(luò)，而Loss Network只作用于訓(xùn)練過程。接下來我們將講解該網(wǎng)絡(luò)框架以及一些細(xì)節(jié)。
Architecture
由上圖我們能夠清晰地看到整個(gè)網(wǎng)絡(luò)框架。其中左邊虛框中的fw即Image Transfer Network，右邊虛框中的即Loss Network。輸入圖片通過fw網(wǎng)絡(luò)，得到y(tǒng)。通過訓(xùn)練后，y即為我們希望得到的風(fēng)格轉(zhuǎn)換后的圖片。y_s為目標(biāo)風(fēng)格圖片，y_c為內(nèi)容圖片。再將y^, y_s, y_c輸入到訓(xùn)練好的VGG16網(wǎng)絡(luò)，得到特殊層數(shù)的值計(jì)算Loss，即可使用梯度下降進(jìn)行訓(xùn)練。
Image Transformation Network 圖像轉(zhuǎn)換網(wǎng)絡(luò)
在本文中，圖像風(fēng)格轉(zhuǎn)換網(wǎng)絡(luò)由卷積層以及轉(zhuǎn)置卷積層組成。網(wǎng)絡(luò)結(jié)構(gòu)如下：
- 兩層卷積層, strides=[1,2,2,1]
- conv1: [9,9,3,32]
- conv2: [3,3,32,64]
- 五層殘差連接層:殘差層全為filters為[3,3,64,64], strides=[1,1,1,1]的網(wǎng)絡(luò)。
- 兩層轉(zhuǎn)置卷積層, strides=1,1/2,1/2,1
- convt1: [3,3,64,32]
- convt2: [3,3,32,3]
Residual Connections 殘差連接
殘差網(wǎng)絡(luò)Residual Network首次出現(xiàn)在ILSVRC大賽中。我們都知道，通常情況下來說越深的網(wǎng)絡(luò)的性能將會(huì)越好。在殘差網(wǎng)絡(luò)出現(xiàn)在ILSVRC前，Alex Net通過ReLu來加速網(wǎng)絡(luò)計(jì)算，并提出Dropout來防止過擬合，奠定了深度學(xué)習(xí)在機(jī)器視覺中的地位。其后的GoogleNet 和 VGG 其實(shí)只是通過加深網(wǎng)絡(luò)的深度以及復(fù)雜度以追求更優(yōu)的性能。然而，當(dāng)我們嘗試更深的網(wǎng)絡(luò)時(shí)，會(huì)出現(xiàn)兩個(gè)問題：
- 隨著層數(shù)的增加, 會(huì)大大增加訓(xùn)練難度.
- 出現(xiàn)梯度消失或梯度爆炸的問題.
殘差網(wǎng)絡(luò)解決了以上兩個(gè)問題，在ILSVRC中，ResNet的層數(shù)比VGG19多八倍。
以下是Residual Network的結(jié)構(gòu)：
上圖中，我們?cè)O(shè)隱含層為H(x). 我們知道一個(gè)復(fù)雜函數(shù)能夠通過多個(gè)非線性層組合近似, 因此我們可以令H(x)=F(x)+x. 即將非線性的輸出F(x)和線性輸入x相加作為總輸出. 這樣做的好處有:
- 比起原來的H(x), F(x)+x更易訓(xùn)練, 大大降低了學(xué)習(xí)難度.
- 沒有增加額外的參數(shù).
殘差網(wǎng)絡(luò)的tensorflow實(shí)現(xiàn)如下:
def res_block(x, shape, strides, padding='SAME', projection=True):
'''
Args:
x: Input Tensor with shape: [batch size, length, width, channels]
shape: filter shape
strides: Strides.
'''
out = shape[-1]
bs, w, l, c = x.get_shape().as_list()
temp = conv_block(x, shape, strides, relu=False)
if projection == True:
x = conv_block(x, [1,1,c, out],strides, relu=False)
else:
x = tf.pad(x, [[0,0],[0,0],[0,0],[0,out-c]])
return tf.nn.relu(x+temp)
其中conv_block是一個(gè)簡單的卷積block，只需要使用tf.nn.conv2d即可，注意要設(shè)置relu的屬性。
Down-sampling and Up-sampling
在這里我們使用一個(gè)轉(zhuǎn)置卷積網(wǎng)絡(luò)進(jìn)行up-sampling。
雖然輸入輸出圖片大小一致，先Down-sampling再Up-sampling還是有一定優(yōu)點(diǎn)：
- 減少計(jì)算量。
- 增加有效感知區(qū)域大小。
關(guān)于轉(zhuǎn)置卷積更直觀的理解可以看這個(gè)網(wǎng)站中的動(dòng)圖。
轉(zhuǎn)置卷積在tensorflow可以使用tf.nn.conv2d_transpose(...)模塊，注意strides不需要寫成分?jǐn)?shù)形式。例如1/2的步長則可以寫作strides=[1,2,2,1]
Loss Network 損失網(wǎng)絡(luò)
Loss Network損失網(wǎng)絡(luò)只用于訓(xùn)練過程計(jì)算loss。在訓(xùn)練過程，我們只對(duì)Image Transfer Network 進(jìn)行訓(xùn)練，訓(xùn)練好的VGG網(wǎng)絡(luò)參數(shù)不改變。在訓(xùn)練結(jié)束后，我們只需要Image Transfer Network即可以完成圖像風(fēng)格轉(zhuǎn)換。
本文應(yīng)用遷移學(xué)習(xí)，使用了已訓(xùn)練好的VGG16來計(jì)算loss。之所以使用已訓(xùn)練好的網(wǎng)絡(luò)，是由于訓(xùn)練好的網(wǎng)絡(luò)中已包含提取高維特征的能力。例如在以下圖像風(fēng)格轉(zhuǎn)換實(shí)例中:
我們可以觀察到，人物和沙灘，貓臉和貓身體的轉(zhuǎn)換具有明顯區(qū)別。我們可以猜想訓(xùn)練好的Image Transfer Network具有深度提取人物以及貓臉的特征的能力，這種能力來源于我們使用的VGG網(wǎng)絡(luò)。
理解Loss Network為何使用已訓(xùn)練好的VGG后，Loss的具體計(jì)算如下：
其中Φj(y)代表輸入y時(shí)第j層VGG網(wǎng)絡(luò)的輸出。G為前一章所講解的Gram matrix。
