Hive的主要作用是什么？
Hive是基于hadoop的數據倉庫工具，可以將結構化的數據文件映射成一張數據表，并且提供sql查詢。相當于mapreduce的客戶端
配置hive-env.sh都涉及到哪些屬性？
1.添加JAVA_HOME路徑 JAVA_HOME=/opt/modules/jdk1.7.0_67
2.添加HADOOP_HOME路徑 HADOOP_HOME=/opt/modules/hadoop-2.5.0-cdh5.3.6/
3.添加HIVE_COF路徑 export HIVE_CONF_DIR=/opt/modules/hive-0.13.1-cdh5.3.6/conf
配置hive-site.xml都修改了哪些屬性，請寫出屬性名稱并解釋該屬性。
1.連接數據庫的uRL
2.數據庫驅動名
3.數據庫賬戶
4.數據庫密碼
Hive的兩個重要參數是什么？
1.hive -e ‘’ 從命令行執行指定的HQL
2.hive -f *.hql 執行hive腳本命令
Hive幾種排序的特點
1.order by 全局排序
2.sort by 非全局排序
3.distribute by hash散列分區，常和sort by同時使用。即分區又排序，需要設置mapreduce.job.reduces的個數
4.cluster by 當distribute by 和sort by的字段相同時，等同于cluster by.可以看做特殊的distribute + sort
Sqoop如何導入數據，如何導出數據？
1.將mysql數據導入到hive中。
bin/sqoop import \
--jdbc:mysql//hadoop102:3306/company \
--username root
--password 123456
--table staff
--terminated by '\t'
--m 1
2.用sqoop將hive中的數據導出到hdfs
bin/sqoop export \
--connect jdbc:mysql://hadoop102/test\
--username root \
--password 123456 \
--table employee \
--export-dir /user/hadoop/emp/
hive表關聯查詢，如何解決數據傾斜的問題?
傾斜原因：
map輸出數據按key Hash的分配到reduce中，由于key分布不均勻、業務數據本身的特、建表時考慮不周、等原因造成的reduce 上的數據量差異過大。
1)、key分布不均勻;
2)、業務數據本身的特性;
3)、建表時考慮不周;
4)、某些SQL語句本身就有數據傾斜;
如何避免：對于key為空產生的數據傾斜，可以對其賦予一個隨機值。
解決方案
1>.參數調節：
hive.map.aggr = true
hive.groupby.skewindata=true
有數據傾斜的時候進行負載均衡，當選項設定位true,生成的查詢計劃會有兩個MR Job。第一個MR Job中，Map的輸出結果集合會隨機分布到Reduce中，每個Reduce做部分聚合操作，并輸出結果，這樣處理的結果是相同的Group By Key有可能被分發到不同的Reduce中，從而達到負載均衡的目的；第二個MR Job再根據預處理的數據結果按照Group By Key 分布到 Reduce 中（這個過程可以保證相同的 Group By Key 被分布到同一個Reduce中），最后完成最終的聚合操作。
2>.SQL 語句調節：
1)、選用join key分布最均勻的表作為驅動表。做好列裁剪和filter操作，以達到兩表做join 的時候，數據量相對變小的效果。
從左到右表的大小依次增大
2)、大小表Join：
使用map join讓小的維度表（1000 條以下的記錄條數）先進內存。在map端完成reduce.
set hive.auto.convert.join = true 表示開啟map端優化
4)、大表Join大表：
把空值的key變成一個字符串加上隨機數，把傾斜的數據分到不同的reduce上，由于null 值關聯不上，處理后并不影響最終結果。
5)、count distinct大量相同特殊值:
count distinct 時，將值為空的情況單獨處理，如果是計算count distinct，可以不用處理，直接過濾，在最后結果中加1。如果還有其他計算，需要進行group by，可以先將值為空的記錄單獨處理，再和其他計算結果進行union。
Hive文件壓縮格式有哪些？壓縮效率如何
開啟壓縮
set hive.exec.compress.output=true;
set mapred.output.compress=true;
set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;
set io.compression.codec=org.apache.hadoop.io.compress.GzipCodec;
set mapred.output.compression.type=BLOCK;
TextFile（壓縮方式Bzip2，Gzip壓縮后不支持split）
SequenceFile-<key,value> （NONE，RECORD，BLOCK！。Record）
RCFile(存儲方式：數據按行分塊，每塊按列存儲。結合了行存儲和列存儲的優點)
ORCFile
https://blog.csdn.net/wf1982/article/details/7988566
Hive的分組排序(row_number())，組內TopN
select * from(
select g_field,
pv,
row_number() over(partition by g_field order by pv desc) as rn
)where rn <=3;
Hive解析hql轉化為MR的執行過程
hive自定義函數
1.寫一個類繼承(org.apache.hadoop.hive.ql.)UDF
public class IpToNum extends UDF {
public long evaluate(String ip) {
String[] nums = ip.split("\\.");
return Long.parseLong(nums[3]) + Long.parseLong(nums[2]) * 256
+ Long.parseLong(nums[1]) * 65536 + Long.parseLong(nums[0]) * 16777216;
}
}
2.打jar包，提交hive服務器
3.創建函數分為臨時函數和永久函數
永久函數，可以制定庫
create function test.iptonum as 'com.liam8.hive.IpToNum' using jar 'hdfs:///user/hadoop/hiveUDF/udfs-0.1.jar'
臨時函數
create temporary function iptonum as 'com.liam8.hive.IpToNum' using jar 'hdfs:///user/hadoop/hiveUDF/udfs-0.1.jar'
4.使用
select iptonum('127.0.0.1');
hive有哪些保存元數據的方式，有什么特點
1、Single User Mode：
默認安裝hive，hive是使用derby內存數據庫保存hive的元數據，這樣是不可以并發調用hive的，
這種模式時hive默認的存儲模式，。
2、Multi User Mode：
通過網絡連接到一個數據庫中，是最經常使用到的模式。假設使用本機mysql服務器存儲元數據。這種存儲
方式需要在本地運行一個mysql服務器，并作如下配置（需要將mysql的jar包拷貝到$HIVE_HOME/lib目錄下
）。
3、Remote Server Mode：
在服務器端啟動一個 MetaStoreServer，客戶端利用 Thrift 協議通過 MetaStoreServer 訪問元數據
庫。
