本文使用的tensorlow版本:1.4
tensorlow安裝:pip install tensorflow
1、Tensorflow簡介
TensorFlow是采用數據流圖(data flow graphs)來計算, 所以首先我們得創建一個數據流流圖,然后再將我們的數據(數據以張量(tensor)的形式存在)放在數據流圖中計算. 節點(Nodes)在圖中表示數學操作,圖中的邊(edges)則表示在節點間相互聯系的多維數據數組, 即張量(tensor).訓練模型時tensor會不斷的從數據流圖中的一個節點flow到另一節點, 這就是TensorFlow名字的由來.
張量(Tensor):張量有多種. 零階張量為 純量或標量 (scalar) 也就是一個數值. 比如 [1],一階張量為 向量 (vector), 比如 一維的 [1, 2, 3],二階張量為 矩陣 (matrix), 比如 二維的 [[1, 2, 3],[4, 5, 6],[7, 8, 9]],以此類推, 還有 三階 三維的 …
2、從一個例子講起
首先,我們來看一個簡單的例子:
import tensorflow as tf
import numpy as np
#tensorflow中大部分數據是float32
#create real data
x_data = np.random.rand(100).astype(np.float32)
y_data = x_data * 0.1 + 0.3
### create tensorflow structure start ###
#定義變量
Weights = tf.Variable(tf.random_uniform([1],-1.0,1.0))
biases = tf.Variable(tf.zeros([1]))
#如何計算預測值
y = Weights * x_data + biases
# loss function
loss = tf.reduce_mean(tf.square(y-y_data))
#梯度下降優化器,定義learning rate
optimizer = tf.train.GradientDescentOptimizer(0.5)
#訓練目標是loss最小化
train = optimizer.minimize(loss)
#初始化變量,即初始化 Weights 和 biases
init = tf.global_variables_initializer()
#創建session,進行參數初始化
sess = tf.Session()
sess.run(init)
#開始訓練200步,每隔20步輸出一下兩個參數
for step in range(201):
sess.run(train)
if step % 20 == 0:
print(step,sess.run(Weights),sess.run(biases))
### create tensorflow structure end ###
在上面的例子中,我們想要預測的方程式y=0.1*x + 0.3,給定訓練樣本,通過梯度下降法來預測參數W和偏置b,我們使用numpy生成了我們的訓練數據:
x_data = np.random.rand(100).astype(np.float32)
y_data = x_data * 0.1 + 0.3
隨后,我們使用tf.Variable定義了我們的變量Weights和biases(以下簡稱w和b),Weights通過一個均勻分布隨機產生,而bias則設置為0,同時二者的形狀均為1維,因為就一個數嘛:
Weights = tf.Variable(tf.random_uniform([1],-1.0,1.0))
biases = tf.Variable(tf.zeros([1]))
好了,有了變量,我們想要學習w和b,只需要用訓練數據x來得到預測值,最小化預測值和實際值的差距就好,所以,我們定義了損失函數為平方損失函數,并通過0.5學習率的梯度下降法來進行參數調整:
#如何計算預測值
y = Weights * x_data + biases
# loss function
loss = tf.reduce_mean(tf.square(y-y_data))
#梯度下降優化器,定義learning rate
optimizer = tf.train.GradientDescentOptimizer(0.5)
#訓練目標是loss最小化
train = optimizer.minimize(loss)
在tf中定義的變量都需要經過初始化的操作,所以我們定義了一個初始化變量的操作:
#初始化變量,即初始化 Weights 和 biases
init = tf.global_variables_initializer()
接下來我們就可以開始訓練了,訓練必須創建一個session,通過run方法對指定的節點進行訓練,這里一定要注意先要對參數進行初始化,否則后面是無法開始訓練的。想要觀察訓練過程中的參數變化的話,也需要通過run方法:
#創建session,進行參數初始化
sess = tf.Session()
sess.run(init)
#開始訓練200步,每隔20步輸出一下兩個參數
for step in range(201):
sess.run(train)
if step % 20 == 0:
print(step,sess.run(Weights),sess.run(biases))
這里 我們直接run的是train這一步,想要運行這一步,必須先得到optimizier和loss,想要得到loss就要得到預測值....依次往前推,所以run(train)實際上就是對整個tensor流圖的訓練。
好啦,說了這么多,我們來看一下我們的輸出結果吧:
0 [ 0.65090138] [-0.04130311]
20 [ 0.23774943] [ 0.21987261]
40 [ 0.13388598] [ 0.2802889]
60 [ 0.10833587] [ 0.29515111]
80 [ 0.10205062] [ 0.2988072]
100 [ 0.10050445] [ 0.29970658]
120 [ 0.10012411] [ 0.29992783]
140 [ 0.10003054] [ 0.29998225]
160 [ 0.10000751] [ 0.29999563]
180 [ 0.10000186] [ 0.29999894]
200 [ 0.10000047] [ 0.29999974]
可以看到,經過200步,準確的說在80步左右的時候,我們的tensorflow已經能夠很準確的將Weights和Bias學習出來了,有木有感覺很強大,哈哈!
3、tf.Session
Session 是 Tensorflow 為了控制,和輸出文件的執行的語句. 運行 session.run() 可以獲得你要得知的運算結果, 或者是你所要運算的部分,有兩種使用Session的方式,我們可以從下面的例子中看出來,但在實際中,我們更推薦后者:
import tensorflow as tf
matrix1 = tf.constant([[3,3]])
matrix2 = tf.constant([[2],[2]])
product = tf.matmul(matrix1,matrix2)
sess = tf.Session()
result = sess.run(product)
print(result)
sess.close()
with tf.Session() as sess:
result2 = sess.run(product)
print(result2)
4、tf.Variable
在 Tensorflow 中,定義了某字符串是變量,它才是變量,這一點是與 Python 所不同的。定義語法: state = tf.Variable().如果你在 Tensorflow 中設定了變量,那么初始化變量是最重要的?。∷远x了變量以后, 一定要定義 init = tf.global_variables_initializer().到這里變量還是沒有被激活,需要再在 sess 里, sess.run(init) , 激活 init 這一步.
import tensorflow as tf
#定義變量,給定初始值和name
state = tf.Variable(0,name="counter")
#counter:0
print(state.name)
one = tf.constant(1)
new_value = tf.add(state,one)
update = tf.assign(state,new_value)
#這里只是定義,必須用session.run來執行
init = tf.global_variables_initializer()
with tf.Session() as sess:
sess.run(init)
for _ in range(3):
sess.run(update)
print(sess.run(state))
5、TF placeholder
placeholder 是 Tensorflow 中的占位符,暫時儲存變量.
Tensorflow 如果想要從外部傳入data, 那就需要用到 tf.placeholder(), 然后以這種形式傳輸數據 sess.run(***, feed_dict={input: **}).
import tensorflow as tf
input1 = tf.placeholder(dtype=tf.float32)
input2 = tf.placeholder(dtype=tf.float32)
output = tf.multiply(input1,input2)
with tf.Session() as sess:
print(sess.run(output,feed_dict={input1:[3.],input2:[5]}))