測試數據
95001,李勇,男,20,CS
95002,劉晨,女,19,IS
95003,王敏,女,22,MA
95004,張立,男,19,IS
95005,劉剛,男,18,MA
95006,孫慶,男,23,CS
95007,易思玲,女,19,MA
95008,李娜,女,18,CS
95009,夢圓圓,女,18,MA
95010,孔小濤,男,19,CS
95011,包小柏,男,18,MA
95012,孫花,女,20,CS
95013,馮偉,男,21,CS
95014,王小麗,女,19,CS
95015,王君,男,18,MA
95016,錢國,男,21,MA
95017,王風娟,女,18,IS
95018,王一,女,19,IS
95019,邢小麗,女,19,IS
95020,趙錢,男,21,IS
95021,周二,男,17,MA
95022,鄭明,男,20,MA
創建分桶表
drop table stu_buck;
create table stu_buck(Sno int,Sname string,Sex string,Sage int,Sdept string)
clustered by(Sno) //根據Sno分桶
sorted by(Sno DESC)
into 4 buckets
row format delimited
fields terminated by ',';
設置變量,設置分桶為true, 設置reduce數量是分桶的數量個數
set hive.enforce.bucketing = true;
set mapreduce.job.reduces=4;
加載數據
load data local inpath '/mnt/hgfs/share_folder/hiveDATA/students.txt' into table stu_buck;
Loading data to table default.stu_buck
Table default.stu_buck stats: [numFiles=1, totalSize=526]
檢查剛剛加載的數據
select * from stu_buck;
OK
95001 李勇 男 20 CS
95002 劉晨 女 19 IS
95003 王敏 女 22 MA
95004 張立 男 19 IS
95005 劉剛 男 18 MA
95006 孫慶 男 23 CS
95007 易思玲 女 19 MA
95008 李娜 女 18 CS
95009 夢圓圓 女 18 MA
95010 孔小濤 男 19 CS
95011 包小柏 男 18 MA
95012 孫花 女 20 CS
95013 馮偉 男 21 CS
95014 王小麗 女 19 CS
95015 王君 男 18 MA
95016 錢國 男 21 MA
95017 王風娟 女 18 IS
95018 王一 女 19 IS
95019 邢小麗 女 19 IS
95020 趙錢 男 21 IS
95021 周二 男 17 MA
95022 鄭明 男 20 MA
創建測試數據表
> create table t_p(Sno int,Sname string)
row format delimited fields terminated by ',';
//結合mapreduce。map輸出的數據都有分區的概念，分區的時候有一個根據key來partionar， cluster by即指定key是根據哪個字段來排序，則reduce拿到的數據就是hashKey%bucket的個數，形成bucket個數的文件，sort by:每個bucket的文件內部數據排序
distribute by指定分區字段 sort by：指定排序字段
select Sno,Sname from stu_buck cluster by (Sno);
OK
95001 李勇
95002 劉晨
95003 王敏
95004 張立
95005 劉剛
95006 孫慶
95007 易思玲
95008 李娜
95009 夢圓圓
95010 孔小濤
95011 包小柏
95012 孫花
95013 馮偉
95014 王小麗
95015 王君
95016 錢國
95017 王風娟
95018 王一
95019 邢小麗
95020 趙錢
95021 周二
95022 鄭明
//只排序
select Sno,Sname from stu_buck sort by (Sno);
OK
95001 李勇
95002 劉晨
95003 王敏
95004 張立
95005 劉剛
95006 孫慶
95007 易思玲
95008 李娜
95009 夢圓圓
95010 孔小濤
95011 包小柏
95012 孫花
95013 馮偉
95014 王小麗
95015 王君
95016 錢國
95017 王風娟
95018 王一
95019 邢小麗
95020 趙錢
95021 周二
95022 鄭明
select Sno,Sname from stu_buck distribute by (Sno) sort by (Sno);
OK
95001 李勇
95002 劉晨
95003 王敏
95004 張立
95005 劉剛
95006 孫慶
95007 易思玲
95008 李娜
95009 夢圓圓
95010 孔小濤
95011 包小柏
95012 孫花
95013 馮偉
95014 王小麗
95015 王君
95016 錢國
95017 王風娟
95018 王一
95019 邢小麗
95020 趙錢
95021 周二
95022 鄭明
加載分桶數據到空表t_p
insert into table t_p
select Sno,Sname from stu_buck cluster by (Sno);
加載完成后查詢新表數據
//hive表默認目錄
dfs -ls /user/hive/warehouse/;
dfs -cat /user/hive/warehouse/t_p/000000_0;//應該也是4個同樣的分桶
注：1、order by 輸出數據一定全局有序，因此只有一個reducer（哪怕設置了 hive> set mapredce.job.reduces=4 運行sql時仍會被重置為1個），會導致當輸入規模較大時，需要較長的計算時間。
2、sort by不是全局排序，其在數據進入reducer前完成排序。因此，如果用sort by進行排序，并且設置mapred.reduce.tasks>1，則sort by只保證每個reducer的輸出有序，不保證全局有序。
3、distribute by(字段)根據指定的字段將數據分到不同的reducer，且分發算法是hash散列。
4、（Cluster by字段) 除了具有Distribute by的功能外，還會對該字段進行排序。因此，如果分桶和sort字段是同一個時，此時，cluster by = distribute by + sort by
分桶表的作用：最大的作用是用來提高join操作的效率；
（思考這個問題：select a.id,a.name,b.addr from a join b on a.id = b.id;
如果a表和b表已經是分桶表，而且分桶的字段是id字段做這個join操作時，還需要全表做笛卡爾積嗎？）
如果兩個表的分桶個數不一致：那么分桶聯查就沒意義，但是為倍數的時候還是有意義的
insert overwrite table student_buck
select * from student cluster by(Sno) sort by(Sage); 報錯,cluster 和 sort 不能共存
開會往創建的分通表插入數據(插入數據需要是已分桶, 且排序的)
可以使用distribute by(sno) sort by(sno asc) 或是排序和分桶的字段相同的時候使用Cluster by(字段)
注意使用cluster by 就等同于分桶+排序(sort)
insert into table stu_buck
select Sno,Sname,Sex,Sage,Sdept from student distribute by(Sno) sort by(Sno asc);
insert overwrite table stu_buck
select * from student distribute by(Sno) sort by(Sno asc);
insert overwrite table stu_buck
select * from student cluster by(Sno);
