096-BigData-24Hive查詢排序分桶

六、查詢

[WITH CommonTableExpression (, CommonTableExpression)*]    (Note: Only available starting with Hive 0.13.0)
SELECT [ALL | DISTINCT] select_expr, elect_expr, ...
  FROM table_reference
  [WHERE where_condition]
  [GROUP BY col_list]
  [ORDER BY col_list]
  [CLUSTER BY col_list
    | [DISTRIBUTE BY col_list] [SORT BY col_list]
  ]
 [LIMIT number]

6.1 基本查詢（Select…From）

6.1.1 全表和特定列查詢
1）全表查詢
hive (default)> select * from emp;
2）選擇特定列查詢
hive (default)> select empno, ename from emp;
注意：
（1）SQL 語言大小寫不敏感。
（2）SQL 可以寫在一行或者多行
（3）關鍵字不能被縮寫也不能分行
（4）各子句一般要分行寫。
（5）使用縮進提高語句的可讀性。

6.1.2 列別名
1）重命名一個列。
2）便于計算。
3）緊跟列名，也可以在列名和別名之間加入關鍵字‘AS’
4）案例實操
（1）查詢名稱和部門
hive (default)> select ename AS name, deptno dn from emp;

6.1.3 算術運算符

image.png

案例實操
查詢出所有員工的薪水后加1顯示。
hive (default)> select sal +1 from emp;

6.1.4 常用函數 (重點)

1）求總行數（count）
hive (default)> select count(1) cnt from emp;
2）求工資的最大值（max）
hive (default)> select max(sal) max_sal from emp;
3）求工資的最小值（min）
hive (default)> select min(sal) min_sal from emp;
4）求工資的總和（sum）
hive (default)> select sum(sal) sum_sal from emp;
5）求工資的平均值（avg）
hive (default)> select avg(sal) avg_sal from emp;

6.1.5 Limit語句(實用重點)

典型的查詢會返回多行數據。LIMIT子句用于限制返回的行數。
hive (default)> select * from emp limit 5;

6.2 Where語句(實用重點)

6.2 Where語句
1）使用WHERE子句，將不滿足條件的行過濾掉。
2）WHERE子句緊隨FROM子句。
3）案例實操
查詢出薪水大于1000的所有員工
hive (default)> select ename , sal from emp where sal > 1000;

6.2.1 比較運算符（Between/In/ Is Null）
1）下面表中描述了謂詞操作符，這些操作符同樣可以用于JOIN…ON和HAVING語句中。

image.png

2）案例實操
（1）查詢出薪水等于5000的所有員工
hive (default)> select * from emp where sal =5000;
（2）查詢工資在500到1000的員工信息，注意between ... and 是閉區間
hive (default)> select * from emp where sal between 500 and 1000;
（3）查詢comm(獎金)為空的所有員工信息
hive (default)> select * from emp where comm is null;
（4）查詢工資是1500和5000的員工信息
hive (default)> select * from emp where sal IN (1500, 5000);

6.2.2 Like和RLike
1）使用LIKE運算選擇類似的值
2）選擇條件可以包含字符或數字:
% 代表零個或多個字符(任意個字符)。
_ 代表一個字符。
3）RLIKE子句是Hive中這個功能的一個擴展，其可以通過Java的正則表達式這個更強大的語言來指定匹配條件。
4）案例實操
（1）查找以2開頭薪水的員工信息
hive (default)> select * from emp where sal LIKE '2%';
（2）查找第二個數值為2的薪水的員工信息
hive (default)> select * from emp where sal LIKE '_2%';
（3）查找薪水中含有2的員工信息
hive (default)> select * from emp where sal RLIKE '[2]';

6.2.3 邏輯運算符（And/Or/Not）

image.png

案例實操
（1）查詢薪水大于1000，部門是30
hive (default)> select * from emp where sal>1000 and deptno=30;
（2）查詢薪水大于1000，或者部門是30
hive (default)> select * from emp where sal>1000 or deptno=30;
（3）查詢除了20部門和30部門以外的員工信息
hive (default)> select * from emp where deptno not IN(30, 20);

6.3 分組

6.3.1 Group By語句
GROUP BY語句通常會和聚合函數一起使用，按照一個或者多個列隊結果進行分組，然后對每個組執行聚合操作。
案例實操：
（1）計算emp表每個部門的平均工資
hive (default)> select t.deptno, avg(t.sal) avg_sal from emp t group by t.deptno;
（2）計算emp每個部門中每個崗位的最高薪水
hive (default)> select t.deptno, t.job, max(t.sal) max_sal from emp t group by t.deptno, t.job;

6.3.2 Having語句
1）having與where不同點
（1）where針對表中的列發揮作用，查詢數據；having針對查詢結果中的列發揮作用，篩選數據。
（2）where后面不能寫分組函數，而having后面可以使用分組函數。
（3）having只用于group by分組統計語句。
2）案例實操：
（1）求每個部門的平均薪水大于2000的部門
求每個部門的平均工資
hive (default)> select deptno, avg(sal) from emp group by deptno;
求每個部門的平均薪水大于2000的部門
hive (default)> select deptno, avg(sal) avg_sal from emp group by deptno having avg_sal > 2000;

6.4 Join語句

6.4.1 等值Join

Hive支持通常的SQL JOIN語句，但是只支持等值連接，不支持非等值連接。

案例實操

（1）根據員工表和部門表中的部門編號相等，查詢員工編號、員工名稱和部門編號；

hive (default)> select e.empno, e.ename, d.deptno, d.dname from emp e join dept d on e.deptno = d.deptno;

同樣與

select e.empno,e.ename,d.deptno,d.dname from emp e,dept d where e.deptno=d.deptno;

6.4.2 表的別名
1）好處
（1）使用別名可以簡化查詢。
（2）使用表名前綴可以提高執行效率。
2）案例實操
合并員工表和部門表
hive (default)> select e.empno, e.ename, d.deptno from emp e join dept d on e.deptno = d.deptno;

6.4.3 內連接
內連接：只有進行連接的兩個表中都存在與連接條件相匹配的數據才會被保留下來。
hive (default)> select e.empno, e.ename, d.deptno from emp e join dept d on e.deptno = d.deptno;
6.4.4 左外連接
左外連接：JOIN操作符左邊表中符合WHERE子句的所有記錄將會被返回。
hive (default)> select e.empno, e.ename, d.deptno from emp e left join dept d on e.deptno = d.deptno;
6.4.5 右外連接
右外連接：JOIN操作符右邊表中符合WHERE子句的所有記錄將會被返回。
hive (default)> select e.empno, e.ename, d.deptno from emp e right join dept d on e.deptno = d.deptno;
6.4.6 滿外連接
滿外連接：將會返回所有表中符合WHERE語句條件的所有記錄。如果任一表的指定字段沒有符合條件的值的話，那么就使用NULL值替代。
hive (default)> select e.empno, e.ename, d.deptno from emp e full join dept d on e.deptno = d.deptno;
6.4.7 多表連接
注意：連接 n個表，至少需要n-1個連接條件。例如：連接三個表，至少需要兩個連接條件。
0）數據準備

1）創建位置表

create table if not exists location(
loc int,
loc_name string
)
row format delimited fields terminated by '\t';

2）導入數據
hive (default)> load data local inpath '/opt/module/datas/location.txt' into table default.location;
3）多表連接查詢distinct
hive (default)>SELECT e.ename, d.deptno, l. loc_name
FROM emp e
JOIN dept d
ON d.deptno = e.deptno
JOIN location l
ON d.loc = l.loc;
大多數情況下，Hive會對每對JOIN連接對象啟動一個MapReduce任務。本例中會首先啟動一個MapReduce job對表e和表d進行連接操作，然后會再啟動一個MapReduce job將第一個MapReduce job的輸出和表l;進行連接操作。
注意：為什么不是表d和表l先進行連接操作呢？這是因為Hive總是按照從左到右的順序執行的。

6.4.8 笛卡爾積
1）笛卡爾集會在下面條件下產生:
（1）省略連接條件
（2）連接條件無效
（3）所有表中的所有行互相連接
2）案例實操
hive (default)> select empno, deptno from emp, dept;
FAILED: SemanticException Column deptno Found in more than One Tables/Subqueries
6.4.9 連接謂詞中不支持or
hive (default)> select e.empno, e.ename, d.deptno from emp e join dept d on e.deptno = d.deptno or e.ename=d.ename; 錯誤的

6.5 排序

6.5.1 全局排序（Order By）
Order By：全局排序，一個MapReduce
1）使用 ORDER BY 子句排序
ASC（ascend）: 升序（默認）
DESC（descend）: 降序
2）ORDER BY 子句在SELECT語句的結尾。
3）案例實操
（1）查詢員工信息按工資升序排列
hive (default)> select * from emp order by sal;
（2）查詢員工信息按工資降序排列
hive (default)> select * from emp order by sal desc;
6.5.2 按照別名排序
按照員工薪水的2倍排序
hive (default)> select ename, sal*2 twosal from emp order by twosal;
6.5.3 多個列排序
按照部門和工資升序排序
hive (default)> select ename, deptno, sal from emp order by deptno, sal ;
注：這個是先按部門號排序，部門號相同，按薪水升序排序
6.5.4 每個MapReduce內部排序（Sort By）
Sort By：每個MapReduce內部進行排序，分區規則按照key的hash來運算，（區內排序）對全局結果集來說不是排序。
1）設置reduce個數
hive (default)> set mapreduce.job.reduces=3;
2）查看設置reduce個數
hive (default)> set mapreduce.job.reduces;
3）根據部門編號降序查看員工信息
hive (default)> select * from emp sort by empno desc;
4）將查詢結果導入到文件中（按照部門編號降序排序）
hive (default)> insert overwrite local directory '/opt/module/datas/emp.txt' row format delimited fields terminated by '\t' select * from emp sort by deptno desc;

6.5.5 分區排序（Distribute By）
Distribute By：類似MR中partition，進行分區，結合sort by使用。
注意，Hive要求DISTRIBUTE BY語句要寫在SORT BY語句之前。
對于distribute by進行測試，一定要分配多reduce進行處理，否則無法看到distribute by的效果。

案例實操：
（1）先按照部門編號分區，再按照員工編號降序排序。
hive (default)> set mapreduce.job.reduces=3;
hive (default)> insert overwrite local directory '/opt/module/datas/distribute-result' row format delimited fields terminated by '\t' select * from emp distribute by deptno sort by empno desc;
6.5.6 Cluster By
當distribute by和sorts by字段相同時，可以使用cluster by方式。
cluster by除了具有distribute by的功能外還兼具sort by的功能。但是排序只能是倒序排序，不能指定排序規則為ASC或者DESC。
1）以下兩種寫法等價
hive (default)> insert overwrite local directory '/root/emp3' row format delimited fields terminated by '\t' select * from emp cluster by deptno;
hive (default)> select * from emp distribute by deptno sort by deptno;
注意：按照部門編號分區，不一定就是固定死的數值，可以是20號和30號部門分到一個分區里面去。

6.6 分桶及抽樣查詢

6.6.1 分桶表數據存儲
分區針對的是數據的存儲路徑；分桶針對的是數據文件。
分區提供一個隔離數據和優化查詢的便利方式。不過，并非所有的數據集都可形成合理的分區，特別是之前所提到過的要確定合適的劃分大小這個疑慮。
分桶是將數據集分解成更容易管理的若干部分的另一個技術。
1）先創建分桶表，通過直接導入數據文件的方式
（0）數據準備

（1）創建分桶表

create table stu_buck1(id int, name string)
clustered by(id) 
into 4 buckets
row format delimited fields terminated by '\t';

（2）查看表結構
hive (default)> desc formatted stu_buck;
Num Buckets: 4
（3）導入數據到分桶表中
hive (default)> load data local inpath '/opt/module/datas/s/student.txt' into table stu_buck;
（4）查看創建的分桶表中是否分成4個桶
發現并沒有分成4個桶。是什么原因呢？
2）創建分桶表時，數據通過子查詢的方式導入
（1）先建一個普通的stu表

create table stu(id int, name string)
row format delimited fields terminated by '\t';

（2）向普通的stu表中導入數據

load data local inpath '/opt/module/datas/s/student.txt' into table stu;

（3）清空stu_buck表中數據

truncate table stu_buck;
select * from stu_buck;

（4）導入數據到分桶表，通過子查詢的方式

insert into table stu_buck
select id, name from stu;

（5）發現還是只有一個分桶
（6）需要設置一個屬性

hive (default)> set hive.enforce.bucketing=true;
hive (default)> set mapreduce.job.reduces=-1;
hive (default)> insert into table stu_buck1
select id, name from stu;

（7）查詢分桶的數據

hive (default)> select * from stu_buck;
OK
stu_buck.id     stu_buck.name
1001    ss1
1005    ss5
1009    ss9
1012    ss12
1016    ss16
1002    ss2
1006    ss6
1013    ss13
1003    ss3
1007    ss7
1010    ss10
1014    ss14
1004    ss4
1008    ss8
1011    ss11
1015    ss15

6.6.2 分桶抽樣查詢
對于非常大的數據集，有時用戶需要使用的是一個具有代表性的查詢結果而不是全部結果。Hive可以通過對表進行抽樣來滿足這個需求。
查詢表stu_buck中的數據。

hive (default)> select * from stu_buck tablesample(bucket 1 out of 4 on id);

注：tablesample是抽樣語句，語法：TABLESAMPLE(BUCKET x OUT OF y) 。

hive (default)> select * from stu_buck tablesample(bucket 1 out of 3 on id);

不是桶數的倍數或者因子也可以，但是不推薦。
y必須是table總bucket數的倍數或者因子。hive根據y的大小，決定抽樣的比例。例如，table總共分了4份，當y=2時，抽取(4/2=)2個bucket的數據，當y=8時，抽取(4/8=)1/2個bucket的數據。

hive (default)> select * from stu_buck tablesample(bucket 1 out of 2 on id);

x表示從哪個bucket開始抽取。例如，table總bucket數為4，tablesample(bucket 4 out of 4)，表示總共抽取（4/4=）1個bucket的數據，抽取第4個bucket的數據。

hive (default)> select * from stu_buck tablesample(bucket 1 out of 8 on id);

注意：x的值必須小于等于y的值，否則
FAILED: SemanticException [Error 10061]: Numerator should not be bigger than denominator in sample clause for table stu_buck

6.6.3 數據塊抽樣

Hive提供了另外一種按照百分比進行抽樣的方式，這種是基于行數的，按照輸入路徑下的數據塊百分比進行的抽樣。

hive (default)> select * from stu tablesample(0.1 percent) ;

提示：這種抽樣方式不一定適用于所有的文件格式。另外，這種抽樣的最小抽樣單元是一個HDFS數據塊。因此，如果表的數據大小小于普通的塊大小128M的話，那么將會返回所有行。

下一篇：097-BigData-25Hive函數壓縮存儲格式

最后編輯于：2019.10.11 15:36:11

?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明：文章內容（如有圖片或視頻亦包括在內）由作者上傳并發布，文章內容僅代表作者本人觀點，簡書系信息發布平臺，僅提供信息存儲服務。

人面猴
序言：七十年代末，一起剝皮案震驚了整個濱河市，隨后出現的幾起案子，更是在濱河造成了極大的恐慌，老刑警劉巖，帶你破解...
沈念sama閱讀 227,882評論 6贊 531
死咒
序言：濱河連續發生了三起死亡事件，死亡現場離奇詭異，居然都是意外死亡，警方通過查閱死者的電腦和手機，發現死者居然都...
沈念sama閱讀 98,208評論 3贊 414
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進店門，熙熙樓的掌柜王于貴愁眉苦臉地迎上來，“玉大人，你說我怎么就攤上這事。” “怎么了？”我有些...
開封第一講書人閱讀 175,746評論 0贊 373
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵，是天一觀的道長。經常有香客問我，道長，這世上最難降的妖魔是什么？我笑而不...
開封第一講書人閱讀 62,666評論 1贊 309
?港島之戀（遺憾婚禮）
正文為了忘掉前任，我火速辦了婚禮，結果婚禮上，老公的妹妹穿的比我還像新娘。我一直安慰自己，他們只是感情好，可當我...
茶點故事閱讀 71,477評論 6贊 407
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布。她就那樣靜靜地躺著，像睡著了一般。火紅的嫁衣襯著肌膚如雪。梳的紋絲不亂的頭發上，一...
開封第一講書人閱讀 54,960評論 1贊 321
城市分裂傳說
那天，我揣著相機與錄音，去河邊找鬼。笑死，一個胖子當著我的面吹牛，可吹牛的內容都是我干的。我是一名探鬼主播，決...
沈念sama閱讀 43,047評論 3贊 440
雙鴛鴦連環套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼，長吁一口氣：“原來是場噩夢啊……” “哼！你這毒婦竟也來了？” 一聲冷哼從身側響起，我...
開封第一講書人閱讀 42,200評論 0贊 288
萬榮殺人案實錄
序言：老撾萬榮一對情侶失蹤，失蹤者是張志新（化名）和其女友劉穎，沒想到半個月后，有當地人在樹林里發現了一具尸體，經...
沈念sama閱讀 48,726評論 1贊 333
?護林員之死
正文獨居荒郊野嶺守林人離奇死亡，尸身上長有42處帶血的膿包…… 初始之章·張勛以下內容為張勛視角年9月15日...
茶點故事閱讀 40,617評論 3贊 354
?白月光啟示錄
正文我和宋清朗相戀三年，在試婚紗的時候發現自己被綠了。大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
茶點故事閱讀 42,807評論 1贊 369
活死人
序言：一個原本活蹦亂跳的男人離奇死亡，死狀恐怖，靈堂內的尸體忽然破棺而出，到底是詐尸還是另有隱情，我是刑警寧澤，帶...
沈念sama閱讀 38,327評論 5贊 358
?日本核電站爆炸內幕
正文年R本政府宣布，位于F島的核電站，受9級特大地震影響，放射性物質發生泄漏。R本人自食惡果不足惜，卻給世界環境...
茶點故事閱讀 44,049評論 3贊 347
男人毒藥：我在死后第九天來索命
文/蒙蒙一、第九天我趴在偏房一處隱蔽的房頂上張望。院中可真熱鬧，春花似錦、人聲如沸。這莊子的主人今日做“春日...
開封第一講書人閱讀 34,425評論 0贊 26
一樁弒父案，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽。三九已至，卻和暖如春，著一層夾襖步出監牢的瞬間，已是汗流浹背。一陣腳步聲響...
開封第一講書人閱讀 35,674評論 1贊 281
情欲美人皮
我被黑心中介騙來泰國打工，沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留，地道東北人。一個月前我還...
沈念sama閱讀 51,432評論 3贊 390
代替公主和親
正文我出身青樓，卻偏偏與公主長得像，于是被迫代替她去往敵國和親。傳聞我的和親對象是個殘疾皇子，可洞房花燭夜當晚...
茶點故事閱讀 47,769評論 2贊 372

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美国产综合欧美视频

096-BigData-24Hive查詢排序分桶

096-BigData-24Hive查詢排序分桶

六、查詢

6.1 基本查詢（Select…From）

6.1.4 常用函數 (重點)

6.1.5 Limit語句(實用重點)

6.2 Where語句(實用重點)

6.3 分組

6.4 Join語句

6.5 排序

6.6 分桶及抽樣查詢

推薦閱讀更多精彩內容

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美 国产 综合 欧美 视频

096-BigData-24Hive查詢排序分桶

六、查詢

6.1 基本查詢（Select…From）

6.1.4 常用函數 (重點)

6.1.5 Limit語句(實用重點)

6.2 Where語句(實用重點)

6.3 分組

6.4 Join語句

6.5 排序

6.6 分桶及抽樣查詢

推薦閱讀更多精彩內容

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美国产综合欧美视频