通常如果我們想獲取一個文件里不重復的行的時候，我們可以直接通過 sort -u命令，先把文件排序，然后去掉連續的重復行就行。
可是，如果我們去掉重復行之后，還想保留文件原有的順序，該怎么辦呢？雖然 Linux 下有個看上去似乎很有用的命令叫uniq，但事實上 uniq命令僅僅只對連續的重復行有效。譬如我們有這樣一個文件：
$ cat file
AAAA
FFFF
BBBB
BBBB
CCCC
AAAA
FFFF
DDDD
如果不排序，直接使用 uniq 命令是沒有用的：
$ uniq file
AAAA
FFFF
BBBB
CCCC
AAAA
FFFF
DDDD
sort和 uniq一起用，和 sort -u 效果是一樣的
$ sort -u file
AAAA
BBBB
CCCC
DDDD
FFFF
一個終極的解決方案是使用 awk：
$ awk ' !x[$0]++' file
AAAA
FFFF
BBBB
CCCC
DDDD
簡要解釋一下，awk 的基本執行流程是，對文件的每一行，做一個指定的邏輯判斷，如果邏輯判斷成立，則執行指定的命令；如果邏輯判斷不成立，則直接跳過這一行。
我們這里寫的 awk 命令是 !x[$0]++，意思是，首先創建一個 map 叫 x，然后用當前行的全文 $0
作為 map 的 key，到 map 中查找相應的 value，如果沒找到，則整個表達式的值為真，可以執行之后的語句；如果找到了，則表達式的值為假，跳過這一行。由于表達式之后有 ++，因此如果某個 key 找不到對應的 value，該 ++操作會先把對應的 value 設成 0，然后再自增成 1，這樣下次再遇到重復的行的時候，對應的 key 就能找到一個非 0 的 value 了。
我們前面說過，awk 的流程是先判斷表達式，表達式為真的時候就執行語句，可是我們前面寫的這個 awk 命令里只有表達式，沒有語句，那我們執行什么呢？原來，當語句被省略的時候，awk 就執行默認的句，即打印整個完整的當前行。就這樣，我們通過這個非常簡短的 awk 命令實現了去除重復行并保留原有文件順序的功能。
