為什么要編譯源碼呢?要搞hive on spark。。。
1.CHD不好用,缺jar包啊
2.hive1.1的 pom文件寫了只支持spark1.2
3.Apache版本的部署包有-Phive編譯,不能用
簡單粗暴的說
下載源碼包開始編譯:
1.使用這個命令:
mvn -Pyarn -Phadoop-2.6 -Dscala-2.11 -DskipTests clean package
官網只支持參數hadoop版本到2.4,想編譯其他版本 改pom文件,加進去就好了
編譯完之后是是沒有部署包的,要做的就是把./assembly/target/scala-2.11中的spark-assembly-1.2.0-hadoop2.4.0.jar包 替換到 之前解壓的Apache版本的lib目錄下
2.上步做完還是不能用。。。報錯。。呵呵
3.恩。。在編譯完的目錄內再使用這個命令編譯一遍
./make-distribution.sh --name"hadoop2-without-hive"--tgz"-Pyarn,hadoop-provided,hadoop-2.6,parquet-provided"
4.編譯完之后的目錄下會有個tar包,拿出來重新解壓
5.
./bin/spark-submit --classorg.apache.spark.examples.SparkPi--masteryarn--deploy-modeclientlib/spark-examples-
測試成功了,服務也開啟了。。。。
接下來hive on spark 。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。
附個我自己編譯完的包~
鏈接: https://pan.baidu.com/s/1qXH0Eh2 密碼: 7x2h