卷積神經網絡
- 信號的局部連接
- 共享權重
3.降采樣
4.多層網絡結構
卷積神經網絡的主要層次結構
1 卷積層：
卷積的輸出被稱作特征映射
卷積核共享權重
卷積神經網絡具有稀疏交互性
2 池化層：
將鄰域內語義相近的特征進行融合
常見池化操作： Max-pool Average-pool
當前一層特征組件發(fā)生位置變化或表現(xiàn)變化，降低當前層的表征變化
2-3個卷積層+非線性激活函數+池化層作為一個模塊
一個模型含有多個這樣的模塊
卷積神經網絡的反向傳播計算和常規(guī)的深度神經網絡計算一樣簡單
經典的卷積神經網絡有：
LeNet AlexNet VGG GoogleNet ResNet DenseNet
經典的人臉識別：
FaceNet DeepFace SphereFace
循環(huán)神經網絡
分布式特征表示： 發(fā)現(xiàn)數據之間的語義相似性
分布式特征表示
Word-embedding
將高緯詞向量嵌入到一個低緯空間
用分布式特診表示表示的較短詞向量
較容易分析詞與詞之間的關系
Word2Vec:
- 簡化的神經網絡
- 輸入是one-hot Vector
- 隱藏層沒有激活函數，是線性單元
- 輸出維度 = 輸入維度 Softmax 回歸
- 訓練后只需要隱層的權重矩陣
- 分為 CBOW 和 Skip-gram 兩種模型
word2Vec
RNN
適用于序列化輸入，如語音和語言
一次處理一個輸入序列元素
維護隱單元中的”狀態(tài)向量“，這個向量隱式地包含過去時刻序列元素的歷史信息
訓練過程中反傳梯度在每一個時刻會增長或下降，長時間迭代后會出現(xiàn)梯度爆炸或消失
一旦展開，可以把它當做一個所有層共享權值的前饋神經網絡
RNN
LSTM
輸入門 遺忘門 記憶單元 輸出門
https://www.cnblogs.com/bonelee/p/7715131.html
無監(jiān)督學習
其實平時用的很多，只是不知道而已哈哈
無監(jiān)督學習
強化學習
通常用馬爾科夫決策過程來描述
待學。。。
GAN
生成器和鑒別器
