系列一介紹了Seq2seq和 Attention model。這篇文章將重點擺在Google於2017年發(fā)表論文“Attention is all you need”中提出的 “”The transformer模型。”The transformer”模型中主要的概念有2項：1. Self attention 2. Multi-head，此外，模型更解決了傳統(tǒng)attention model中無法平行化的缺點，并帶來優(yōu)異的成效。
前言
系列一中，我們學(xué)到attention model是如何運作的，缺點就是不能平行化，且忽略了輸入句中文字間和目標句中文字間的關(guān)係。
為了解決此問題，2017年，Self attention誕生了。
Self Attention
Self attention是Google在 “Attention is all you need”論文中提出的”The transformer”模型中主要的概念之一，我們可以把”The transformer”想成是個黑盒子，將輸入句輸入這個黑盒子，就會產(chǎn)生目標句。
最特別的地方是，”The transformer”完全捨棄了RNN、CNN的架構(gòu)。
The transformer
“The transformer”和Seq2seq模型皆包含兩部分：Encoder和Decoder。比較特別的是，”The transformer”中的Encoder是由6個Encoder堆積而成(paper當中N=6)，Deocder亦然，這和過去的attention model只使用一個encoder/decoder是不同的。
Query, Key, Value
進入”The transformer”前，我們重新復(fù)習(xí)attention model，attention model是從輸入句<X1,X2,X3…Xm>產(chǎn)生h1,h2,h….hm的hidden state，透過attention score α 乘上input 的序列加權(quán)求和得到Context vector c_{i}，有了context vector和hidden state vector，便可計算目標句<y1…yn>。換言之，就是將輸入句作為input而目標句作為output。
如果用另一種說法重新詮釋：
輸入句中的每個文字是由一系列成對的 <地址Key, 元素Value>所構(gòu)成，而目標中的每個文字是Query，那麼就可以用Key, Value, Query去重新解釋如何計算context vector，透過計算Query和各個Key的相似性，得到每個Key對應(yīng)Value的權(quán)重係數(shù)，權(quán)重係數(shù)代表訊息的重要性，亦即attention score；Value則是對應(yīng)的訊息，再對Value進行加權(quán)求和，得到最終的Attention/context vector。
筆者認為這概念非常創(chuàng)新，特別是從attention model到”The transformer”間，鮮少有論文解釋這種想法是如何連結(jié)的，間接導(dǎo)致”attention is all you need”這篇論文難以入門，有興趣可以參考key、value的起源論文 Key-Value Memory Networks for Directly Reading Documents。
在NLP的領(lǐng)域中，Key, Value通常就是指向同一個文字隱向量(word embedding vector)。
有了Key, Value, Query的概念，我們可以將attention model中的Decoder公式重新改寫。1. score e_{ij}= Similarity(Query, Key_{i})，上一篇有提到3種計算權(quán)重的方式，而我們選擇用內(nèi)積。2. 有了Similarity(Query, Key_{i})，便可以透過softmax算出Softmax(sim_{i})=a_{i}，接著就可以透過attention score a_{i}乘上Value_{i}的序列和加總所得 = Attention(Query, Source)，也就是context/attention vector。
在了解Key, Value, Query的概念后，我們可以進入”the transformer”的世界了。
Scaled Dot-Product Attention
如果仔細觀察，其實“The transformer”計算 attention score的方法和attention model如出一轍，但”The transformer”還要除上分母=根號d_{k}，目的是避免內(nèi)積過大時，softmax產(chǎn)出的結(jié)果非0即1。
Three kinds of Attention
“The transformer”在計算attention的方式有三種，1. encoder self attention，存在於encoder間. 2. decoder self attention，存在於decoder間，3. encoder-decoder attention, 這種attention算法和過去的attention model相似。
接下來我們透過encoder和decoder兩部份，來分別介紹encoder/decoder self attention。
Encoder
我們將”The transformer”模型分為左右兩部分，左邊是Encoder，如前述，”Attention is all you need”當中N=6，代表Encoder部分是由6個encoder堆積而成的。其中在計算encoder self attention時，更透過multi-head的方式去學(xué)習(xí)不同空間的特徵，在后續(xù)內(nèi)容會探討multi-head的部分。
如何計算encoder self attention?
我們先用微觀的角度來觀察Attention(q_{t}, K, V)，也就是輸入句中的某個文字，再將所有輸入句中的文字一次用矩陣Attention(Q,K,V)來解決。
第一步是創(chuàng)造三個encoder的輸入向量Q,K,V，舉例來說，“Are you very big?”中的每一個字的隱向量都有各自的Q,K,V，接著我們會乘上一個初始化矩陣，論文中輸出維度d_{model}=512。
第二步是透過內(nèi)積來計算score <q_{t}, k_{s}>，類似attention model 中的score e_{ij}。假設(shè)我們在計算第一個字”Are”的self-attention，我們可能會將輸入句中的每個文字”Are”, ”you”, ‘very’, ‘big’分別和”Are”去做比較，這個分數(shù)決定了我們在encode某個特定位置的文字時，應(yīng)該給予多少注意力(attention)。所以當我們在計算#位置1的self-attention，第一個分數(shù)是q1、k1的內(nèi)積 (“Are vs Are”)，第二個分數(shù)則是q1、k2 (“Are vs you”)，以此類推。
第三步是將算出的分數(shù)除以根號d_{k}，論文當中假定d_{k}=64，接著傳遞至exponential函數(shù)中并乘上1/Z，其實這結(jié)果就是attention/softmax score，我們可以把1/Z看成是softmax時，所除上的exponential總和，最終的總分數(shù)就是attention score，代表我們應(yīng)該放多少注意力在這個位置上，也就是attention model的概念，有趣的是，怎麼算一定都會發(fā)現(xiàn)自己位置上的分數(shù)永遠最高，但有時候可以發(fā)現(xiàn)和其他位置的文字是有關(guān)聯(lián)的。
最后一步就是把attention score再乘上value，然后加總得到attention vector(z_{I})，這就是#位置1的attention vector z1，概念都和以往的attention model類似。
以上就是self-attention的計算，算出來的向量我們可以往前傳遞至feed-forward neural network，實際的運作上，是直接將每個文字同時處理，因此會變成一個矩陣，而非單一詞向量，計算后的結(jié)果attention vector也會變成attention matrix Z。
Multi-head attention
有趣的是，如果我們只計算一個attention，很難捕捉輸入句中所有空間的訊息，為了優(yōu)化模型，論文當中提出了一個新穎的做法：Multi-head attention，概念是不要只用d_{model}維度的key, value, query們做單一個attention，而是把key, value, query們線性投射到不同空間h次，分別變成維度d_{q}, d_{k} and d_{v}，再各自做attention，其中，d_{k}=d_{v}=d_{model}/h=64，概念就是投射到h個head上。
此外，”The transformer”用了8個attention head，所以我們會產(chǎn)生8組encoder/decoder，每一組都代表將輸入文字的隱向量投射到不同空間，如果我們重復(fù)計算剛剛所講的self-attention，我們就會得到8個不同的矩陣Z，可是呢，feed-forward layer期望的是一個矩陣而非8個，所以我們要把這8個矩陣併在一起，透過乘上一個權(quán)重矩陣，還原成一個矩陣Z。
Residual Connections
Encoder還有一個特別的架構(gòu)，Multihead-attention完再接到feed-forward layer中間，還有一個sub-layer，會需要經(jīng)過residual connection和layer normalization。
Residual connection 就是構(gòu)建一種新的殘差結(jié)構(gòu)，將輸出改寫成和輸入的殘差，使得模型在訓(xùn)練時，微小的變化可以被注意到，這種架構(gòu)很常用在電腦視覺(computer vision)，有興趣可以參考神人Kaiming He的Deep Residual Learning for Image Recognition。
Layer normalization則是在深度學(xué)習(xí)領(lǐng)域中，其中一種正規(guī)化方法，最常和batch normalization進行比較，layer normalization的優(yōu)點在於它是獨立計算的，也就是針對單一樣本進行正規(guī)化，batch normalization則是針對各維度，因此和batch size有所關(guān)聯(lián)，可以參考layer normalization。
Position-wise Feed-Forward Networks
Encoder/Decoder中的attention sublayers都會接到一層feed-forward networks(FFN)：兩層線性轉(zhuǎn)換和一個RELU，論文中是根據(jù)各個位置(輸入句中的每個文字)分別做FFN，舉例來說，如果輸入文字是<x1,x2…xm>，代表文字共有m個。
其中，每個位置進行相同的線性轉(zhuǎn)換，這邊使用的是convolution1D，也就是kernel size=1，原因是convolution1D才能保持位置的完整性，可參考CNN，模型的輸入/輸出維度d_{model}=512，但中間層的維度是2048，目的是為了減少計算量，這部分一樣參考神人Kaiming He的Deep Residual Learning for Image Recognition。
Positional Encoding
和RNN不同的是，multi-head attention不能學(xué)到輸入句中每個文字的位置，舉例來說，“Are you very big?” and “Are big very you?”，對multi-head而言，是一樣的語句，因此，”The transformer”透過positional encoding，來學(xué)習(xí)每個文字的相對/絕對位置，最后再和輸入句中文字的隱向量相加。
論文使用了方程式PE(pos, 2i)=sin(pos/10000^{2i/d_{model}})、PE(pos, 2i+1)=cos(pos/10000^{2i/d_{model}})來計算positional encoding，pos代表的是位置，i代表的是維度，偶數(shù)位置的文字會透過sin函數(shù)進行轉(zhuǎn)換，奇數(shù)位置的文字則透過cos函數(shù)進行轉(zhuǎn)換，藉由三角函數(shù)，可以發(fā)現(xiàn)positional encoding 是個有週期性的波長；舉例來說，[pos+k]可以寫成PE[pos]的線性轉(zhuǎn)換，使得模型可以學(xué)到不同位置文字間的相對位置。
如下圖，假設(shè)embedding 的維度為4：
每列對應(yīng)的是經(jīng)過positional encoding后的向量，以第一列而言，就是輸入句中第一個文字隱向量和positioncal encoding后的向量和，所以每列維度都是d_{model}，總共有pos列，也就是代表輸入句中有幾個文字。
下圖為含有20字的輸入句，文字向量維度為512，可以發(fā)現(xiàn)圖層隨著位置產(chǎn)生變化。
Encoder內(nèi)容告一段落，接下來讓我們看Decoder的運作模式。
Decoder
Masked multi-head attention
Decoder的運作模式和Encoder大同小異，也都是經(jīng)過residual connections再到layer normalization。Encoder中的self attention在計算時，key, value, query都是來自encoder前一層的輸出，Decoder亦然。
不同的地方是，為了避免在解碼的時后，還在翻譯前半段時，就突然翻譯到后半段的句子，會在計算self-attention時的softmax前先mask掉未來的位置(設(shè)定成-∞)。這個步驟確保在預(yù)測位置i的時候只能根據(jù)i之前位置的輸出，其實這個是因應(yīng)Encoder-Decoder attention 的特性而做的配套措施，因為Encoder-Decoder attention可以看到encoder的整個句子，
Encoder-Decoder Attention
“Encoder-Decoder Attention”和Encoder/Decoder self attention不一樣，它的Query來自於decoder self-attention，而Key、Value則是encoder的output。
至此，我們講完了三種attention，接著看整體運作模式。
從輸入文字的序列給Encoder開始，Encoder的output會變成attention vectors的Key、Value，接著傳送至encoder-decoder attention layer，幫助Decoder該將注意力擺在輸入文字序列的哪個位置進行解碼。
The Final Linear and Softmax Layer
Decoder最后會產(chǎn)出一個向量，傳到最后一層linear layer后做softmax。Linear layer只是單純的全連接層網(wǎng)絡(luò)，并產(chǎn)生每個文字對應(yīng)的分數(shù)，softmax layer會將分數(shù)轉(zhuǎn)成機率值，最高機率的值就是在這個時間順序時所要產(chǎn)生的文字。
Why self attention?
過去，Encoder和Decoder的核心架構(gòu)都是RNN，RNN把輸入句的文字序列 (x1…, xn)一個個有序地轉(zhuǎn)成hidden encodings (h1…h(huán)n)，接著在產(chǎn)出目標句的文字序列(y1…yn)。然而，RNN的序列性導(dǎo)致模型不可能平行計算，此外，也導(dǎo)致計算復(fù)雜度很高，而且，很難捕捉長序列中詞語的依賴關(guān)係(long-range dependencies)。
透過 “the transformer”，我們可以用multi-head attention來解決平行化和計算復(fù)雜度過高的問題，依賴關(guān)係也能透過self-attention中詞語與詞語比較時，長度只有1的方式來克服。
Future
在金融業(yè)，企業(yè)可以透過客戶歷程，深入了解客戶行為企業(yè)，進而提供更好的商品與服務(wù)、提升客戶滿意度，藉此創(chuàng)造價值。然而，和以往的基本特徵不同，從序列化的客戶歷程資料去萃取資訊是非常困難的，在有了self-attention的知識后，我們可以將這種處理序列資料的概念應(yīng)用在復(fù)雜的客戶歷程上，探索客戶潛在行為背后無限的商機。
筆者也推薦有興趣鉆研self-attention概念的讀者，可以參考阿里巴巴所提出的論文ATrank，此篇論文將self-attention應(yīng)用在產(chǎn)品推薦上，并帶來更好的成效。
參考
[1] Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translationr. arXiv:1406.1078v3 (2014).
[2] Sequence to Sequence Learning with Neural Networks. arXiv:1409.3215v3 (2014).
[3] Neural machine translation by joint learning to align and translate. arXiv:1409.0473v7 (2016).
[4] Effective Approaches to Attention-based Neural Machine Translation. arXiv:1508.0402v5 (2015).
[5] Convolutional Sequence to Sequence learning. arXiv:1705.03122v3(2017).
[6] Attention Is All You Need. arXiv:1706.03762v5 (2017).
[7] ATRank: An Attention-Based User Behavior Modeling Framework for Recommendation. arXiv:1711.06632v2 (2017).
[8] Key-Value Memory Networks for Directly Reading Documents. arXiv:1606.03126v2 (2016).
[9] Show, Attend and Tell: Neural Image Caption Generation with Visual Attention. arXiv:1502.03044v3 (2016).
[10] Deep Residual Learning for Image Recognition. arXiv:1512.03385v1 (2015).
[11] Layer Normalization. arXiv:1607.06450v1 (2016).
