安裝好spark,scala, java, hadoop并設置好相應環境變量后,在終端輸入spark-shell
時出現以下錯誤:
Failed to initialize compiler: object java.lang.Object in compiler mirror not found.
** Note that as of 2.8 scala does not assume use of the java classpath.
** For the old behavior pass -usejavacp to scala, or if using a Settings
** object programmatically, settings.usejavacp.value = true.
但啟動pyspark
卻可以正常使用。google了好久,嘗試了各種可能的修改方法,最終查出是我安裝的java9,與spark兼容出現問題,而python不需要jdk,所以啟動pyspark就沒有問題。
剩下的就是卸載java9,安裝java8了。
java官方給出的卸載方案是,在“終端”窗口中,復制和粘貼命令:
sudo rm -fr /Library/Internet\ Plug-Ins/JavaAppletPlugin.plugin
sudo rm -fr /Library/PreferencesPanes/JavaControlPanel.prefPane
sudo rm -fr ~/Library/Application\ Support/Java
最后刪除相應的jdk文件(/Library/Java/JavaVirtualMachines/jdk9.jdk)即可完成java的卸載。
重新安裝好java8后,spark-shell
正常啟動scala。