在一開始的時候,情況是這樣的:
QQ圖片20160926210136.png
可以看得出來,本來Receiver應該有一個專門的job啟動起來,但是并沒有
但是可以看到 DummyJob已經啟動了,并且有日志顯示 receivers是有1個的,對應的代碼在這里:
runDummySparkJob()
logInfo("Starting " + receivers.length + " receivers")
endpoint.send(StartAllReceivers(receivers))
在過一段時間,Spark App 就會報錯,報的錯是:
spark.rpc.asktimeout
在經過一段的時間的研究之后,沒有找出原因,就請求了大神(王鵬哥)的幫忙,經過一段的時間探討之后,終于找出了原因,就是因為虛擬機的processor 的個數只有1個,Driver根本處理不過來,
QQ圖片20160926211014.png
在改完以后,問題就解決了,
希望大家不要和我犯同樣的錯誤~~