Apache Kylin在唯品會大數據的應用搜狐科技搜狐網
http://www.sohu.com/a/123794954_470008
在2015年 唯品會的數據分析碰到了以下兩個瓶頸:第一是數據準備的流程長,第二是缺少合適數據提取和分析工具。
總結下來,在唯品會這樣規模的公司里,數據分析有兩個痛點:
1.需要一個可以自由組合的維度和指標的平臺,業務人員可以根據自己的視角自給自足的完成數據提取和分析;
2.這個平臺,不僅數據要夠豐富,即使大數據量響應速度也要快。
針對這兩個痛點,本著“讓大數據成為唯品會的增長引擎”這個目標,我們大數據部門的提供了一套完整的解決方案:自助多維分析平臺。我們通過有較高可擴展性的維度建模準備數據,在此之上搭建一套數據查詢引擎,并配上操作簡單的數據可視化前端,為業務人員搭了數據分析的臺子。隨著大家數據分析技能的提升,人人都是數據分析師的這個理念就逐漸在公司內部擴展開來了。
image.png
唯品會如何使用Kylin
數據和前端是皮和肉,需要通過好的數據引擎才能支撐起來。在數據引擎角度,我們通過一段時間的積累和演進,從基于Presto的ROLAP模型進化到了基于Kylin和Presto的雙計算引擎。往超大數據集也要快速ad-hoc響應的方向走近了一步。