曾經試用過主流大廠提供的大數據平臺服務，僅從用戶體驗角度上來說，各有千秋。
- 百度天算控制臺 功能分類明確，使用簡單，組件版本較新，客服響應及時
- 騰訊大數據處理套件TBDS 沒有完全開放服務，使用前需要申請，申請周期較長。我通過聯系客服，獲得了一個臨時體驗賬號，見第二張圖
- 華為企業云控制臺 提供開發、測試管理流程（果然是以軟件著稱），Spark版本較低（1.5.1），退還押金讓人蛋疼（走各類審批流程、客服多次騷擾、周期長）
- 阿里云數加控制臺 阿里的云平臺種類較多，云梯（貌似已下線）、飛天（自研）、數加，有點眼花繚亂。因為是自研，使用較繁雜（可能是因為不熟悉），使用前要購買MaxCompute服務，性能較好（個人體驗）
- Amazon EMR控制臺 各組件基本是當前最新版本！申請賬號時需要綁定信用卡，萬一集群忘記銷毀。。。
各產品的收費情況和其能提供的服務器性能、服務功能相關，收費方式多樣化，可年、月、時。4臺規模集群的Hadoop+Spark服務，大概3-5元／小時不等。
因為都是大廠的大數據平臺產品，所以肯定都是功底深厚、面向廣泛。上述描述，僅僅是個人體驗，不具有通用性、不帶有批判性、沒有代表性。
本文僅簡單介紹一下我比較喜歡的百度天算這個產品：
使用過程如下：執行WordCount應用程序，統計文本中單詞詞頻。
-
需要使用對象存儲BOS和百度MapReduce BMR功能
使用對象存儲BOS和百度MapReduce BMR功能 -
進入對象存儲BOS后，用戶通過新建bucket，建立存放在 BOS上的文件夾
新建Bucket -
將需要執行的Spark應用程序及被測數據上傳到剛才建立的文件夾中
上傳文件 -
通過導航欄進入百度MapReduce功能，準備創建集群
創建集群 -
配置集群名稱、登錄用戶名、密碼（用來進入Web UI和SSH連接）、BOS路徑、選擇組件版本
集群配置頁面 我選擇使用Hadoop 2.7、Spark 1.6.0、Hue 3.10.0、HBase 1.1.2，創建4個節點
-
付費
付費 -
支付成功后，集群就開通了
集群成功開通 -
4臺規模的集群，初始化了10分鐘，時間較長，應該是啟動虛機后，根據用戶的選擇，下載相應的組件包，修改配置，啟動服務。
集群正在初始化 -
集群服務啟動成功
集群服務啟動成功 -
通過集群的實例詳情，可以鏈接Yarn Web UI和Hue Web UI
集群詳情頁面 -
通過導航欄選擇作業，創建作業
創建作業 -
選擇Spark作業，指定Spark-submit命令參數及應用程序參數（位置在BOS）
配置作業參數
-
作業創建成功后，等待執行
作業等待執行 -
作業執行過程中可以查看作業詳情
作業執行過程中可以查看作業詳情 -
一段時間后，作業完成
作業成功的執行完畢 -
通過查看作業日志，觀察輸出結果
通過查看作業日志，觀察輸出結果 通過集群界面中的Hadoop Yarn Web UI鏈接，查看應用程序的具體執行情況
-
可用在集群的監控頁面，觀察集群狀態和各大數據組件信息
集群的監控頁面
集群的監控頁面 -
可以在導航欄選擇多用戶訪問控制，對多用戶權限進行管理和控制
多用戶訪問控制頁面
多用戶訪問控制頁面 -
百度云提供詳盡的產品手冊，對用戶進行指導
百度云產品手冊
使用過程中一些小坑：
- 集群環境默認使用JDK 1.7版本，所以用戶編譯應用程序時，請使用JDK 1.7，否則會出現類似:Unsupported major.minor.version 51.0的錯誤
- 集群環境默認使用Scala 2.10版本，所以用戶編譯應用程序時，請使用Scala 2.10.x，否則會出現類似： java.lang.AbstractMethodError: bdsparkwc$1.call(Ljava/lang/Object;)Ljava/lang/Iterable;的錯誤
- 當應用程序執行完畢后，無法使用Yarn Web UI來登陸應用程序的Driver Web UI 4040界面，估計是Spark History Server服務沒有開啟
- 其提供IP用來SSH連接，經常出現超時
總結：
目前來看，主流大廠都是通過這種SaaS方式來提供大數據平臺全托管的服務，面向一些沒有數據中心、沒有運維能力的中小型企業，按需部署和使用，非常的快捷。通過其詳盡的產品使用指南，用戶再具備一些大數據組件相關使用的知識，就可以快速的進行大數據的清洗、挖掘、分析和報告，無需為集群節點分配、部署、優化、維護投入時間。
相關鏈接：
