文章代碼來源：《deep learning on keras》，非常好的一本書，大家如果英語好，推薦直接閱讀該書，如果時(shí)間不夠，可以看看此系列文章，文章為我自己翻譯的內(nèi)容加上自己的一些思考，水平有限，多有不足，請多指正，翻譯版權(quán)所有，若有轉(zhuǎn)載，請先聯(lián)系本人。
個人方向?yàn)閿?shù)值計(jì)算，日后會向深度學(xué)習(xí)和計(jì)算問題的融合方面靠近，若有相近專業(yè)人士，歡迎聯(lián)系。
系列文章：
一、搭建屬于你的第一個神經(jīng)網(wǎng)絡(luò)
二、訓(xùn)練完的網(wǎng)絡(luò)去哪里找
三、【keras實(shí)戰(zhàn)】波士頓房價(jià)預(yù)測
四、keras的function API
五、keras callbacks使用
六、機(jī)器學(xué)習(xí)基礎(chǔ)Ⅰ：機(jī)器學(xué)習(xí)的四個標(biāo)簽
七、機(jī)器學(xué)習(xí)基礎(chǔ)Ⅱ：評估機(jī)器學(xué)習(xí)模型
八、機(jī)器學(xué)習(xí)基礎(chǔ)Ⅲ：數(shù)據(jù)預(yù)處理、特征工程和特征學(xué)習(xí)
九、機(jī)器學(xué)習(xí)基礎(chǔ)Ⅳ：過擬合和欠擬合
十、機(jī)器學(xué)習(xí)基礎(chǔ)Ⅴ：機(jī)器學(xué)習(xí)的一般流程十一、計(jì)算機(jī)視覺中的深度學(xué)習(xí)：卷積神經(jīng)網(wǎng)絡(luò)介紹
十二、計(jì)算機(jī)視覺中的深度學(xué)習(xí)：從零開始訓(xùn)練卷積網(wǎng)絡(luò)
十三、計(jì)算機(jī)視覺中的深度學(xué)習(xí)：使用預(yù)訓(xùn)練網(wǎng)絡(luò)
十四、計(jì)算機(jī)視覺中的神經(jīng)網(wǎng)絡(luò)：可視化卷積網(wǎng)絡(luò)所學(xué)到的東西
還記得第一次跑出自己的神經(jīng)網(wǎng)絡(luò)的那種欣喜感，仿佛是看著自己的第一個孩子出生了一樣。為了讓更多人盡快也體驗(yàn)的這種欣喜感，特此總結(jié)此系列教程，代碼來自書<deep learning on keras>.
簡要介紹一下我們需要的：
- 安裝annaconda，它自帶的很多科學(xué)計(jì)算包能夠省掉很多我們自己安裝的麻煩
- 打開cmd，輸入pip install tensorflow，默認(rèn)安裝的是cpu版tensorflow，對于我們這新手級別的，已經(jīng)夠用了，要裝gpu版比較麻煩
- 在裝好tensorflow以后再pip install keras，這個keras是基于tensorflow或者caffe的，我習(xí)慣使用tensorflow，keras是在tensorflow上的進(jìn)一步封裝，使用起來非常簡單，我們只需要把精力放在網(wǎng)絡(luò)結(jié)構(gòu)的搭建上就夠了。
引入庫和數(shù)據(jù)集
此處我們引入MNIST數(shù)據(jù)集，這是一個手寫數(shù)字?jǐn)?shù)據(jù)集，由60000個訓(xùn)練集和10000個測試集構(gòu)成。
import keras
from keras.datasets import mnist
(trainimages, trainlabels), (testimages, testlabels) = mnist.loaddata()
這句代碼表示調(diào)用數(shù)據(jù)集mnist，把訓(xùn)練圖片和標(biāo)簽分別存到trainimages和trainlabels里面，測試圖片和標(biāo)簽分別存在testimages和testlabels里面。
接下來我們看一看具體是如何儲存這些數(shù)據(jù)的：
>>> train_images.shape
(60000, 28, 28)
>>> len(train_labels)
60000
>>> train_labels
array([5, 0, 4, ..., 5, 6, 8], dtype=uint8)
我們看到計(jì)算機(jī)使用數(shù)組的形式來儲存這些數(shù)據(jù)，(60000,28,28)代表著有60000個圖片，每一個的大小是28*28。而labels則更加直接，每一個位置對應(yīng)于圖片的位置為數(shù)字的大小。
接下來，看一下測試集的情況，其實(shí)完全類似：
>>> test_images.shape
(10000, 28, 28)
>>> len(test_labels)
10000
>>> test_labels
array([7, 2, 1, ..., 4, 5, 6], dtype=uint8)
搭建訓(xùn)練框架
from keras import models
from keras import layers
network = models.Sequential()
network.add(layers.Dense(512, activation='relu', input_shape=(28 * 28,)))
network.add(layers.Dense(10, activation='softmax'))
我們從keras引入了models 和layers，前者用來搭建整個模型框架。
- models.Sequential()這一句代表我們之后加layers是按照順序從前往后加。
- 至于layers.Dense則是設(shè)置這一層的具體參數(shù)第一個為輸出維度，第二項(xiàng)為激活函數(shù)類型，第三維為輸入的形狀，我們看到shape的第二項(xiàng)逗號之后沒有東西，這個是根據(jù)輸入數(shù)據(jù)來自動補(bǔ)的，例如我們輸入數(shù)據(jù)為
個，那么第二項(xiàng)則是
，也就是說總數(shù)一定要是
的整數(shù)倍，不然會報(bào)錯。
- 第二層layers輸出為10，激活函數(shù)為softmax，就是將10個輸出里面最大取1，最小取0，最后就得到了我們需要的預(yù)測值，至于為什么這里不需要輸入，這就是keras的好處了，它自動計(jì)算需要的輸入的大小，所以我們只需要關(guān)心最開始的輸入大小，不需要逐層計(jì)算每一層的大小，這對于深層網(wǎng)絡(luò)的搭建非常方便。
network.compile(optimizer='rmsprop',
loss='categorical_crossentropy',
metrics=['accuracy'])
設(shè)置優(yōu)化器，損失函數(shù)，還有需要顯示的指標(biāo)，這三個都是可以改的，大家可以來查看更多有關(guān)這些參數(shù)的東西。
預(yù)處理數(shù)據(jù)和標(biāo)簽
train_images = train_images.reshape((60000, 28 * 28))
train_images = train_images.astype('float32') / 255
test_images = test_images.reshape((10000, 28 * 28))
testimages = testimages.astype('float32') / 255
輸入的圖像是unit8類型的，我們轉(zhuǎn)化為float32，因?yàn)閜ython里面很多運(yùn)算只支持float32類型，然后將形狀拉長為28*28的，因?yàn)槲覀儤?gòu)建的網(wǎng)絡(luò)是一個簡單的全連接網(wǎng)絡(luò)，也就是逐個像素點(diǎn)的預(yù)測，最后是歸一化的問題，由于像素值一開始都是0-255，我曾經(jīng)就感到很奇怪為什么要全部歸一化到0-1，不就是等比例縮放嗎，為什么會影響到收斂性呢，感興趣的同學(xué)可以搜索神經(jīng)網(wǎng)絡(luò)正則化相關(guān)的知識。
from keras.utils import to_categorical
train_labels = to_categorical(train_labels)
testlabels = tocategorical(testlabels)
對標(biāo)簽下手，將原來的十個數(shù)字轉(zhuǎn)化成分類的編碼，這個具體為什么以后會再詳細(xì)介紹。
開始訓(xùn)練！
>>> network.fit(train_images, train_labels, epochs=5, batch_size=128)
Epoch 1/5
60000/60000 [==============================] - 9s - loss: 0.2524 - acc: 0.927
Epoch 2/5
51328/60000 [========================>.....] - ETA: 1s - loss: 0.1035 - acc: 0.9692
keras還有一個好處就是它的可視化做的比較好，開始訓(xùn)練以后，有一個動態(tài)的小箭頭告訴你訓(xùn)練到什么程度了，讓人感到很舒服。再解釋一下代碼，第一項(xiàng)，放入訓(xùn)練數(shù)據(jù)，第二項(xiàng)放入對應(yīng)的標(biāo)簽，epochs代表要訓(xùn)練多少批次，因?yàn)檫@個優(yōu)化是一個循環(huán)往復(fù)的過程，需要不斷的循環(huán)才能逐漸靠近最優(yōu)，最后就是batch_size，這是minibatch，這也是正則化相關(guān)內(nèi)容，如果每次都將全部的數(shù)據(jù)集放進(jìn)來才訓(xùn)練一次，那么我們的訓(xùn)練進(jìn)度就會很慢，所以我們就會把數(shù)據(jù)分成很多小批次，一次喂一點(diǎn)進(jìn)去，而為什么偏偏是128呢，這是因?yàn)橛?jì)算機(jī)是二進(jìn)制的，給它2的次方的數(shù)，運(yùn)算會更加快。
評估訓(xùn)練效果
>>> test_loss, test_acc = network.evaluate(test_images, test_labels)
>>> print('test_acc:', test_acc
testacc: 0.9785
通過上述指令，在訓(xùn)練完以后network輸入測試集和對應(yīng)的標(biāo)簽來進(jìn)行測試。
