機器學習:西瓜書?
- 熟練掌握C++、Java、Python等語言中的一種或幾種,熟悉Spark、Tensorflow等平臺;
Hadoop,HIVE - 熟練掌握基礎(chǔ)機器學習知識,對2-3種模型有較深的認識。
Linux因為大數(shù)據(jù)相關(guān)軟件都是在Linux上運行的,所以Linux要學習的扎實一些,學好Linux對你快速掌握大數(shù)據(jù)相關(guān)技術(shù)會有很大的幫助,能讓你更好的理解hadoop、hive、hbase、spark等大數(shù)據(jù)軟件的運行環(huán)境和網(wǎng)絡(luò)環(huán)境配置,能少踩很多坑,學會shell就能看懂腳本這樣能更容易理解和配置大數(shù)據(jù)集群。還能讓你對以后新出的大數(shù)據(jù)技術(shù)學習起來更快。好說完基礎(chǔ)了,再說說還需要學習哪些大數(shù)據(jù)技術(shù),可以按我寫的順序?qū)W下去。
Hadoop這是現(xiàn)在流行的大數(shù)據(jù)處理平臺幾乎已經(jīng)成為大數(shù)據(jù)的代名詞,所以這個是必學的。
Hadoop里面包括幾個組件HDFS、MapReduce和YARN,HDFS是存儲數(shù)據(jù)的地方就像我們電腦的硬盤一樣文件都存儲在這個上面,MapReduce是對數(shù)據(jù)進行處理計算的,它有個特點就是不管多大的數(shù)據(jù)只要給它時間它就能把數(shù)據(jù)跑完,但是時間可能不是很快所以它叫數(shù)據(jù)的批處理。YARN是體現(xiàn)Hadoop平臺概念的重要組件有了它大數(shù)據(jù)生態(tài)體系的其它軟件就能在hadoop上運行了,這樣就能更好的利用HDFS大存儲的優(yōu)勢和節(jié)省更多的資源比如我們就不用再單獨建一個spark的集群了,讓它直接跑在現(xiàn)有的hadoop yarn上面就可以了。其實把Hadoop的這些組件學明白你就能做大數(shù)據(jù)的處理了,
記住學到這里可以作為你學大數(shù)據(jù)的一個節(jié)點。
Mysql我們學習完大數(shù)據(jù)的處理了,接下來學習學習小數(shù)據(jù)的處理工具mysql數(shù)據(jù)庫,因為一會裝hive的時候要用到,mysql需要掌握到什么層度那?你能在Linux上把它安裝好,運行起來,會配置簡單的權(quán)限,修改root的密碼,創(chuàng)建數(shù)據(jù)庫。這里主要的是學習SQL的語法,因為hive的語法和這個非常相似。
Hive
這個東西對于會SQL語法的來說就是神器,它能讓你處理大數(shù)據(jù)變的很簡單,不會再費勁的編寫MapReduce程序。有的人說Pig那?它和Pig差不多掌握一個就可以了。
Spark它是用來彌補基于MapReduce處理數(shù)據(jù)速度上的缺點,它的特點是把數(shù)據(jù)裝載到內(nèi)存中計算而不是去讀慢的要死進化還特別慢的硬盤。特別適合做迭代運算,所以算法流們特別稀飯它。它是用scala編寫的。Java語言或者Scala都可以操作它,因為它們都是用JVM的。
最后再學習下推薦、分類等算法的原理這樣你能更好的與算法工程師打交道。
作者:青牛
鏈接:https://www.zhihu.com/question/35942305/answer/296719142
來源:知乎
著作權(quán)歸作者所有。商業(yè)轉(zhuǎn)載請聯(lián)系作者獲得授權(quán),非商業(yè)轉(zhuǎn)載請注明出處。
BAT機器學習面試1000題系列(第1~325題)
/* 其他 */
什么是boosting tree
GBDT
L1和L2正則為何可以減弱over-fitting?
L1和L2正則有什么區(qū)別
KNN和LR有什么本質(zhì)區(qū)別
怎么理解Dropout
為什么random forest具有特征選擇的功能
random forest有哪些重要的參數(shù)?
DNN為什么功能強大,說說你的理解
SVM的損失函數(shù)是什么?怎么理解
介紹下Maxout
項目中over-fitting了,你怎么辦
詳細說一個你知道的優(yōu)化算法(Adam等)
項目(比賽)怎么做的模型的ensemble
stacking是什么?需要注意哪些問題
了解哪些online learning的算法
如何解決樣本不均衡的問題
fasterRCNN中的ROIPooling是如何實現(xiàn)的
如何進行特征的選擇
如何進行模型的選擇
什么是梯度消失?怎么解決
常用的有哪些損失函數(shù)
XX用戶畫像挖掘怎么做的feature engineering?
假設(shè)一個5*5的filter與圖像卷積,如何降低計算量?
做過模型壓縮嗎?介紹下
什么是residual learning?說說你的理解
residual learning所說的residual和GBDT中的residual有什么區(qū)別?
FFM和FTRL有過了解嗎?
你對現(xiàn)在Deep Learning的發(fā)展和遇到的問題有什么看法?