IP屬地：上海
-
52 條 SQL 語句性能優化策略[轉]
本文會提到52條SQL語句性能優化策略。 1、對查詢進行優化，應盡量避免全表掃描，首先應考慮在where及order by涉及的列上建立索引。 2、應盡量避免在where子句...
-
airflow的使用方法簡介 airflow是airbnb家的基于DAG(有向無環圖)的任務管理系統, 最簡單的理解就是一個高級版的crontab。它解決了crontab無法解決的任務依賴問題。 類...
-
布隆過濾器(Bloom Filter)的原理和實現布隆過濾器使用場景 之前在《數學之美》里面看到過布隆過濾器的介紹。那么什么場景下面需要使用布隆過濾器呢？ 看下下面幾個問題 字處理軟件中，需要檢查一個英語單詞是否拼寫正確 在...
-
-
SQL-分組月度環比同比
有一個需求是按月份統計環比和同比值,每次都取一遍非常麻煩,同時也容易出錯,這里我把要取的數據報表化,這里提供一個模板,這個SQL寫了我好久,經過對比數據發現,這樣寫是沒什么問...
-
Sqoop：Hive / Impala導出數據到MySQL Shell腳本記錄
摘要：Sqoop，MySQL，Hive，Impala 在Spark跑批到Hive的任務后面加入Sqoop任務，將數據從Hive導入MySQL提供在線查詢服務，記錄一下Shel...
-
MySQL常用30種SQL查詢語句優化方法
1、應盡量避免在 where 子句中使用!=或<>操作符，否則將引擎放棄使用索引而進行全表掃描。 2、對查詢進行優化，應盡量避免全表掃描，首先應考慮在 where 及 ord...
-
Hive總結及案例講解
完整hive總結 hive建立一張表，跟已經存在的結構化的數據文件產生映射關系。映射成功后，就可以通過寫HQL來分析這個結構化的數據文件，避免了寫mr程序的麻煩。 數據庫：和...
-
095-BigData-23Hive分區及DML操作
上一篇：094-BigData-22Hive數據類型及操作 一、Hive分區 分區表實際上就是對應一個HDFS文件系統上的獨立的文件夾，該文件夾下是該分區所有的數據文件。Hi...
-
-
數據蛙 銀行貸款檢測案例本次信用卡檢測欺詐案例訓練模型的大致步驟 一、數據說明 導入數據 讀取數據 由于涉及到客戶資料的隱私（交易時間、交易卡號、交易銀行代碼），所以數據已經經過預處理，我們拿到上述...
-
開朗樂觀、熱愛編程、熱愛生活、熱愛寫作的IT老男人。<br><br>【微信公眾號】<br><br>- 公眾號 ID ： TechFrontier2016 <br>- 公眾號名稱： 大數據與微服務<br>- 公眾號簡介： 面向互聯網技術愛好者， 提供大數據技術、微服務架構等技術學習、交流和分享平臺，共同努力做一個值得大家尊敬的IT人員。<br><br>【個人CSDN博客】<br><br>- 鏈接：<a href="http://blog.csdn.net/garyond" rel="nofollow" target="_blank">http://blog.csdn.net/garyond</a><br><br>
-
常見的Hadoop大數據架構介紹
1. 概述 隨著互聯網的快速普及，全球數據呈現出快速增長、海量集聚的特點。運用大數據技術對這些數據進行分析，使得人們的生產生活方式都發生了許多變化。數據分析雖然隱藏在業務系統...
