論文: http://www.aclweb.org/anthology/D16-1223
Introduction
LSTM已經廣泛應用與sequence labeling，又考慮到encoder-decoder模型在機器翻譯上的成功，這篇文章就提出一個encoder-labeler LSTM去把句子級別的信息整合到slot filling任務。主要貢獻是：
- Proposed an encoder-labeler LSTM to leverage sentence-level information for slot filling.
- Achieved the state-of-the-art F1-score of 95.66% in the slot filling task of the standard ATIS corpus.
Methods
Labeler LSTM(W)
Typical LSTM for slot filling. (W) means words are fed to the LSTM.
缺點：沒有考慮label之間的依賴關系Labeler LSTM(W+L)
除了words，上一個時刻的output label也作為隱層的輸入。
在訓練的時候，輸入的是真實label (one-hot-vector)，測試時是預測的label。Encoder-decoder LSTM
機器翻譯的encoder-decoder模型，不過不同的是，encoder-labeler接受同樣的輸入序列兩次，而不是一次。Encoder-labeler LSTM(W)
encoder LSTM倒序讀入整個句子，最后的隱層中還有整個句子的信息。labeler LSTM和（a）一樣，不過初始隱層向量用encoder的最后隱層初始化。Encoder-labeler LSTM(W+L)
encoder和（d）一樣，labeler和（d）一樣
Experiments
-
ATIS
Encoder-labeler的比對應單labeler的好，W+L相比于W沒有提升 -
a large-scale data set
MIT Restaurant + MIT Movie + ATIS
Conclusion
以后可以把encoder-labeler LSTM方法與multi-task (slot filling & intent classification)結合
