| VIDEO |
|---|
[機器學習入門] 李宏毅機器學習筆記-10 （Tips for Deep Learning；深度學習小貼士）
| VIDEO |
|---|
Recipe of Deep Learning
這里寫圖片描述
這里寫圖片描述
在 training data上的performance不好
這里寫圖片描述
Deeper usually does not imply better
這里寫圖片描述
Vanishing Gradient Problem
這里寫圖片描述
這里寫圖片描述
這里寫圖片描述
ReLU（Rectified Linear Unit）
這里寫圖片描述
這里寫圖片描述
這里寫圖片描述
ReLU - variant
這里寫圖片描述
那么除了ReLU有沒有別的activation function了呢？
所以我們用 Maxout來根據training data自動生成activation function
ReLU is a special cases of Maxout
Maxout
這里寫圖片描述
ReLU is a special cases of Maxout
這里寫圖片描述
More than ReLU
這里寫圖片描述
這里寫圖片描述
Maxout - Training
這里寫圖片描述
這里寫圖片描述
Adaptive Learning Rate
這里寫圖片描述
這里寫圖片描述
RMSProp
這里寫圖片描述
Hard to find optimal network parameters
這里寫圖片描述
Momentum（gradient descent 融入慣性作用）
這里寫圖片描述
這里寫圖片描述
這里寫圖片描述
所以，加了momentum后：
這里寫圖片描述
Adam
這里寫圖片描述
在testing data上performance不好
這里寫圖片描述
Early Stopping
這里寫圖片描述
Regularization
這里寫圖片描述
這里寫圖片描述
這里寫圖片描述
Regularization - Weight Decay
這里寫圖片描述
Dropout
這里寫圖片描述
這里寫圖片描述
這里寫圖片描述
Dropout- Intuitive Reason
這里寫圖片描述
這里寫圖片描述
Dropout is a kind of ensemble
這里寫圖片描述
這里寫圖片描述
這里寫圖片描述
這里寫圖片描述
這里寫圖片描述
