發簡信
IP屬地：浙江
-
基于SparkSQL實現的一套即席查詢服務IQL (項目地址：https://github.com/teeyog/IQL) English | 簡體中文 基于SparkSQL實現了一套即...
-
[Spark SQL] 源碼解析之Optimizer
前言 由前面博客我們知道了SparkSql整個解析流程如下： sqlText 經過 SqlParser 解析成 Unresolved Logic...
-
[Spark SQL] 源碼解析之Analyzer
前言 由前面博客我們知道了SparkSql整個解析流程如下： sqlText 經過 SqlParser 解析成 Unresolved Logic...
-
[Spark SQL] 源碼解析之Parser前言 由上篇博客我們知道了SparkSql整個解析流程如下： sqlText 經過 SqlParser 解析成 Unresolved Logic...
-
[Spark SQL] 主要執行流程預備知識 先介紹在Spark SQL中兩個非常重要的數據結構：Tree和Rule。 SparkSql的第一件事就是把SQLText解析成語法樹，...
-
Spark metrics實現KafkaSink
背景 監控是Spark非常重要的一部分。Spark的運行情況是由ListenerBus以及MetricsSystem 來完成的。通過Spark的...
-
Spark 實現MySQL update操作
背景 目前 spark 對 MySQL 的操作只有 Append,Overwrite,ErrorIfExists,Ignore幾種表級別的模式，...
-
spark任務之Task失敗監控
需求 spark應用程序中，只要task失敗就發送郵件，并攜帶錯誤原因。 背景 在spark程序中，task有失敗重試機制（根據 spark.t...
-
Spark整合HBase（自定義HBase DataSource）
背景 Spark支持多種數據源，但是Spark對HBase 的讀寫都沒有相對優雅的api，但spark和HBase整合的場景又比較多，故通過sp...