配置深度學(xué)習(xí)主機(jī)與環(huán)境（TensorFlow+1080Ti）：
（一）硬件選購與主機(jī)組裝
（二）Win10&Ubuntu雙系統(tǒng)與顯卡驅(qū)動安裝
（三）CUDA與CUDNN安裝
（四）基于Anaconda的TensorFlow安裝
0. 概念介紹
CUDA（Compute Unified Device Architecture 統(tǒng)一計(jì)算設(shè)備架構(gòu)）
CUDA(Compute Unified Device Architecture)，是英偉達(dá)公司推出的一種基于新的并行編程模型和指令集架構(gòu)的通用計(jì)算架構(gòu)，它能利用英偉達(dá)GPU的并行計(jì)算引擎，比CPU更高效的解決許多復(fù)雜計(jì)算任務(wù)。
使用CUDA的好處就是透明。根據(jù)摩爾定律GPU的晶體管數(shù)量不斷增多，硬件結(jié)構(gòu)必然是不斷的在發(fā)展變化，沒有必要每次都為不同的硬件結(jié)構(gòu)重新編碼，而CUDA就是提供了一種可擴(kuò)展的編程模型，使得已經(jīng)寫好的CUDA代碼可以在任意數(shù)量核心的GPU上運(yùn)行。
CUDA最主要的包含兩個(gè)方面：一個(gè)是ISA指令集架構(gòu)；第二硬件計(jì)算引擎；實(shí)際上是硬件和指令集。 也就是說我們可以把CUDA看做是與X86或者cell類似的架構(gòu)，但是是基于是GPU，而不是傳統(tǒng)的CPU。
cuDNN（NVIDIA CUDA? Deep Neural Network library）
The NVIDIA CUDA? Deep Neural Network library (cuDNN) is a GPU-accelerated library of primitives for deep neural networks. cuDNN provides highly tuned implementations for standard routines such as forward and backward convolution, pooling, normalization, and activation layers. cuDNN is part of the NVIDIA Deep Learning SDK.
Deep learning researchers and framework developers worldwide rely on cuDNN for high-performance GPU acceleration. It allows them to focus on training neural networks and developing software applications rather than spending time on low-level GPU performance tuning. cuDNN accelerates widely used deep learning frameworks, including Caffe, Caffe2, TensorFlow, Theano, Torch, and Microsoft Cognitive Toolkit.
cuDNN Accelerated Frameworks
1. 安裝顯卡驅(qū)動
在安裝CUDA和cuDNN之前，需要確保顯卡驅(qū)動已經(jīng)安裝好，其安裝情況可以在 設(shè)置-軟件更新-附加驅(qū)動 中查看：
更多關(guān)于顯卡（文中使用1080Ti）安裝的步驟，可以參考系列文章的第二篇：
配置深度學(xué)習(xí)主機(jī)與環(huán)境（TensorFlow+1080Ti）：（二）Win10&Ubuntu雙系統(tǒng)與顯卡驅(qū)動安裝
2. 安裝CUDA
- 查閱 NVIDIA CUDA Installation Guide for Linux
英偉達(dá)CUDA安裝指南（Linux）對于后續(xù)的學(xué)習(xí)與工作大有裨益，包含了CUDA的詳盡安裝說明。當(dāng)然如果你不想閱讀英文，只想盡快安裝CUDA，可以參照后續(xù)步驟。
- 下載 CUDA Toolkit 安裝包：
安裝包下載選項(xiàng) - 推薦使用第一個(gè)runfile (local) 安裝選項(xiàng)；
- 網(wǎng)上不少教程中寫有需要降低gcc版本，實(shí)測，無需降級，因此可以忽略；
- 下載第一個(gè) Base Installer 即可。
-
安裝CUDA8.0
安裝指南 - 打開終端，輸入：
sudo sh cuda_8.0.61_375.26_linux.run，在下載選項(xiàng)中，也有說明如何安裝；
`sudo sh cuda_8.0.61_375.26_linux.run` - 如果出現(xiàn)大段廢話，可以使用
Ctrl+C跳過； -
進(jìn)入具體的安裝選項(xiàng)：
安裝選項(xiàng) - 注意第二個(gè)選項(xiàng)
Install NVIDIA Accelerated Graphics Driver for Linux-x86_64 375.26?須選擇否，因?yàn)樵谥耙呀?jīng)安裝好了顯卡驅(qū)動，無需重新安裝。
Do you accept the previously read EULA?
accept/decline/quit: accept
Install NVIDIA Accelerated Graphics Driver for Linux-x86_64 375.26?
(y)es/(n)o/(q)uit: n
Install the CUDA 8.0 Toolkit?
(y)es/(n)o/(q)uit: y
Enter Toolkit Location
[ default is /usr/local/cuda-8.0 ]:
Do you want to install a symbolic link at /usr/local/cuda?
(y)es/(n)o/(q)uit: y
Install the CUDA 8.0 Samples?
(y)es/(n)o/(q)uit: y
Enter CUDA Samples Location
[ default is /home/dexter ]:
- 添加環(huán)境變量：
- 在終端中輸入：
gedit ~/.bashrc
- 在打開的文件中寫入：
export PATH="$PATH:/usr/local/cuda-8.0/bin"
export LD_LIBRARY_PATH="/usr/local/cuda-8.0/lib64"
- 保存并關(guān)閉文件， 在終端中輸入：
source ~/.bashrc
使環(huán)境更改生效。
- 在終端中輸入
nvidia-smi，可以查詢顯卡狀態(tài)。
查詢顯卡狀態(tài) - CUDA Samples 測試
運(yùn)行 CUDA Samples 檢測 CUDA 是否順利安裝： - 打開終端，切換到位置：
~/ NVIDIA_CUDA-8.0_Samples - 輸入：
make
CUDA Samples 測試 - 編譯時(shí)間較長。若沒有報(bào)錯(cuò)，則將新編譯為二進(jìn)制文件，默認(rèn)存放在
~/NVIDIA_CUDA-7.5_Samples/bin中。 - 打開終端，切換到位置：
~/NVIDIA_CUDA-8.0_Samples/bin/x86_64/linux/release - 終端輸入：
./deviceQuery，如果顯示類似下圖，則說明CUDA安裝且配置成功！
CUDA安裝且配置成功！
3. 安裝cuDNN
- 下載cuDNN，下載之前需要注冊Nvidia開發(fā)者帳號，按要求注冊即可。
-
莫名其妙在我的筆記本上無法登錄...在主機(jī)的Ubuntu中可以順利登錄...此條純屬吐槽，封IP真是夠了...
IP blocked - 登錄后顯示有多個(gè)版本可供選擇，建議使用 cuDNN v5.1 for CUDA 8.0，因?yàn)樽髡咦铋_始嘗鮮選擇 cuDNN v6.0 for CUDA 8.0 最后安裝失敗，應(yīng)該是支持還不到位。然后又刪掉cuDNN，再重新安裝（中間刪掉重新安裝cuDNN已經(jīng)安裝好的Anaconda不影響，但是最好重新安裝TensorFlow）。
- 具體報(bào)錯(cuò)為：
ImportError: libcudnn.so.5: cannot open shared object file: No such file or director
在安裝cuDNN中，可以看到安裝文件的版本為libcudnn.so.6，所以很明顯是v6版本不支持導(dǎo)致的錯(cuò)誤（參見本文最后一張圖，是安裝cuDNN v6時(shí)的截圖，其中包含libcudnn.so.6文件）。
-
stcokoverflow 中也出現(xiàn)了相關(guān)問題：
ImportError: libcudnn when running a TensorFlow program
ImportError: libcudnn when running a TensorFlow program -
選擇 cuDNN v5.1 for CUDA 8.0 中的 cuDNN v5.1 Library for Linux 下載：
cuDNN v5.1 Library for Linux 在包含安裝文件的文件夾，右鍵，打開終端，輸入如下命令行：
tar xvzf cudnn-8.0-linux-x64-v5.1.tgz
sudo cp cuda/include/cudnn.h /usr/local/cuda-8.0/include
sudo cp cuda/lib64/libcudnn* /usr/local/cuda-8.0/lib64
sudo chmod a+r /usr/local/cuda-8.0/include/cudnn.h /usr/local/cuda-8.0/lib64/libcudnn*
相當(dāng)于解壓縮+復(fù)制粘貼，手動復(fù)制粘貼也是沒問題的。到此cuDNN安裝完畢。
