發(fā)簡(jiǎn)信
IP屬地：北京
-
部署Ganglia監(jiān)控Hadoop集群并通過Nagios發(fā)送告警郵件的過程基本介紹Ganglia：是UC Berkeley發(fā)起的一個(gè)開源集群監(jiān)視項(xiàng)目，設(shè)計(jì)用于測(cè)量數(shù)以千計(jì)的節(jié)點(diǎn)。Ganglia的核心包含gmond、gm...
-
Spark Streaming使用Receiver機(jī)制消費(fèi)Kafka時(shí)，任務(wù)并發(fā)度如何設(shè)置？（本文基于Spark 2.1.1、Kafka 0.10.2、Scala 2.11.8、Zookeeper 3.4.9、Kafka-manager...
-
百度天算大數(shù)據(jù)平臺(tái)初體驗(yàn)曾經(jīng)試用過主流大廠提供的大數(shù)據(jù)平臺(tái)服務(wù)，僅從用戶體驗(yàn)角度上來(lái)說，各有千秋。 百度天算控制臺(tái) 功能分類明確，使用簡(jiǎn)單，組件版本較新，客服響應(yīng)...
-
一篇漫畫理解HDFS讀寫工作原理淺顯易懂的介紹，很多資料對(duì)File Blocks副本Location位置的描述是有誤的，正確的理解請(qǐng)參考本漫畫，后附Hadoop 2.7.3 B...
-
利用Spark提供的屬性來(lái)提升Spark Web UI的安全性本文基于Spark 2.1.0版本、Hadoop 2.7.3版本 如無(wú)特殊說明，本文的Spark Web UI，特指: [Driver Web ...
-
利用Kryo序列化庫(kù)是你提升Spark性能要做的第一件事本文基于Spark2.1.0版本套用官文Tuning Spark中的一句話作為文章的標(biāo)題： *Often, choose a serializa...
-
（基于最新的Kafka version 0.10.2 new consumer API ）想要Spark Streaming精確一次消費(fèi)Topic？拿去不謝，記得點(diǎn)贊和分享！本文基于Spark2.1.0、Kafka 0.10.2、Scala 2.11.8版本 背景： Kafka做為一款流行的分布式發(fā)布訂閱消息系統(tǒng)，以...
-
Spark Streaming如何消費(fèi)Kafka的大消息(30M-40MB)本文基于Spark2.1.0版本 雖然很少有生產(chǎn)環(huán)境用Kafka傳遞超過1M消息的場(chǎng)景（因?yàn)楦咄掏隆⒌脱訒r(shí)的要求，Kafka 發(fā)布-訂閱模型中P...
-
15分鐘學(xué)會(huì)SparkSQL通過JDBC連接外部數(shù)據(jù)庫(kù)（PostgreSQL為例）本文基于Spark2.1.0版本 1，先簡(jiǎn)單介紹一下通過SparkSQL JDBC連接數(shù)據(jù)庫(kù)的好處，不過這不是本文的重點(diǎn) 。 JDBC(Java...