安裝配置sqoop
原料:
1.sqoop tar 包
2.mysql jar包[最好用高版本的，我用的是5.1.32版]
步驟1
解壓tar包，指定安裝路徑。
2配置環境變量，在/etc/profile文件里指定家目錄和path目錄。
3.將mysql jar 驅動包放在sqoop安裝目錄的lib目錄下。
4測試 ? sqoop list-databases jdbc:mysql://master:3306/sqoopDB ? --username sqoop -P
5輸入密碼。如果能顯示所有數據庫，則證明sqoop安裝配置成功，并且與mysql建立鏈接，剩下要做的就是利用sqoop實現數據的導入導出。
創建數據源
接下來便是在Linux上的MySQL中創建一個數據庫，我這里創建的是sqoopDB數據庫，并創建一個sqoop用戶并授予權限。
create user ‘uername’ indentified by'password'?
grant all privileges on sqoopDB.* to userame@ % indentified by 'password'
再然后對權限的刷新
flush privileges;
接著在這個sqoopDB數據庫創建表 并添加數據。添加完成后 使用sqoop將MySQL中數據上傳到hdfs 或者是hive 中去。
sqoop導入數據命令
上傳到hdfs命令： sqoop import --connect jdbc:mysql://mysql.server.ip:3306/sqoopDB --username 'username' -P --table 'tablename'? --target-dir /user/sqoop
要注意的是hdfs中的user/sqoop中的sqoop不能存在，要是存在就無法自動創建 就會報錯。
上傳到hive 命令：sqoop import --connect jdbc:mysql://mysql.server.ip:3306/sqoopDB
--table 'tablename'? --username 'username' -P?? --hive-import -m 1
--hive-import-m 1? 是指定有一個map任務。
如果源數據發生改變了怎么辦，比如發生insert update操作。這時候需要增量導入數據操作
目前sqoop支持兩種增量導入，分別為append和lastmodified
append主要針對insert操作
lastmoified主要針對update操作
實現數據導入hive倉庫分三步驟
1.將相應的表數據導入到hdfs中
2.把表數據類型映射為hive數據類型。然后根據表結構在hive上執行create table 操作創建hive表。
3.在hive中執行load data input 語句將hdfs上的表數據移動到hive數據倉庫目錄【該目錄位置有定義在文件hive_home/conf/hive/hive_site.xml中的屬性${hive.metastore.warehose.dir}設置】
sqoop-import-all -tables 操作
這個命令是把MySQL中的某一個數據庫中的所有的表數據導入到hdfs中，每一個表數據分別位于hdfs上的一個單獨目錄下。
執行該命令操作必須滿足三個條件。
1.要有主鍵，但主鍵不是組合鍵。
2，不能有任何子句。
3，所有表中的所有列都將被導入到hdfs上不能出現列數據丟失，否則不能導入。
此時需要把添加的兩個表同時導入到hdfs 上
命令操作：sqoop import-all-tables --connect jdbc:mysql://192.168.145.100:3306/sqoopDB --username sqoop -P
數據的導出
sqoop -export 與sqoop-import 操作功能相反的。 即 吧HDFS HIVE HBase 上的數據導出數據庫中，條件是數據庫中的表必須存在，表結構也要相同。sqoop-export 支持三種模式，insert update call? 執行導出操作時，sqoop將HDFS上輸入文件中的數據根據用戶指定的分隔符解析成一系列的記錄和記錄字段，sqoop export 操作默認將這些記錄以insert方式插入到指定的數據庫目標表中，用戶可以指定update方式替換數據庫系統中已經存在的記錄，或指定call模式調用數據庫系統存儲過程。
sqoop 有很多命令，也有很多組合選項，一時半會記不來，也記不住，需要積累的，只要知道怎么操作，需要達成什么效果，到時候在上網搜命令。
最后有兩個命令要注意
1 sqoop list-databases 這個在前面在我測試時候用到了，它是用于列舉出指定數據庫服務器中的數據庫模式。
2.sqoop list-tables 用于列決出指定數據庫服務器中的數據表。
eg:? sqoop list -tables --connect jdbc:mysql://192.168.145.100/sqoopDB --username sqoop -P
