本篇文章是總結官方文檔給出的MapReduce編程模型
Input and Output types of a MapReduce job:
(input)<k1, v1> -> map -> <k2, v2> -> combine -> <k2, v2> -> reduce -> <k3, v3>(output)
MapReduce 講解
新的MapReduce使用 mapreduce包下的類進行mapreduce job的編寫
-
Mapper
應用通過使用 Counter來報告統計數據與給定輸出鍵相關的所有中間值由框架分組，并傳遞到 Reducer來確定最終的輸出。用戶可以通過指定Comparator 來控制分組，
設置如下： job.setGroupingComparatorClass(Class)Mapper的輸出經過排好序后分區到每一個Reducer。總共的分區數量是與reducer的個數是相同的。用戶可以控制哪一個key去哪一個Reducer通過實現一個通用的 Partitioner
用戶可以選擇一個特定的 combiner，通過如下設置： Job.setCombinerClass(Class), 通過執行中間輸出的本地聚合，將會有效的降低從Mapper到Reducer的數據輸出。
這些中間值，輸出排序總是被簡單的格式化。程序可以控制，這些中間值的輸出可以被 compressed 并且這個編碼格式可以在Configuration中控制。
Maps數量的控制，基本上一個hdfs的block分配一個mapper， 但是可以控制Mapper的數量，通過如下配置： Configuration.set(MRJobConfig.NUM_MAPS, int)
2 Reducer
在Job中設置 Reducer的實現類，通過如下設置：Job.setReducerClass(Class)
設置Reducer的數量，通過如下設置： Job.setNumReduceTasks(int)
Reducer有三個主要的階段： shuffle， sort 和 reduce
shuffle
reducer的輸入是mapper中排好序的輸出，在這個階段，框架抓取所有mapper的輸出的相關分區，通過HTTP
sort
在此階段，框架將key進行分組（不同的mapper可能輸出相同的key）
shuffle和sort同時發生，當mapper輸出被獲取時，他們被合并為 key, list<>
reduce
在這個階段，調用reduce方法。 典型的會輸出到文件系統，通過 context.write(WritableComparable, Writable).
應用將會使用 Counter（計數器） 進行統計
輸出的數據是不排序的。
可以將 Reducer的數量設置為0
在這種情況下，mapper的task將會直接將結果寫入到文件系統中。
Partitioner
Partitioner 控制這些key（map-outputs）是如何進行分區的, 一般來說，會對key調用hash函數來進行分區。。分區的數量是和reduce的數量是相同的。
HashPartitioner是默認的分區類
Job Configuration
Job 代表了一個 MapReduce任務的配置
Job 一般用來配置 Mapper類，combiner，Partitioner, Reducer, InputFormat, OutputFormat.
用戶也可以使用 Configuration.set(String, String)/Configuration.get(String)來設置/獲取屬性參數在應用中需要用的到的。
當有大量的數據需要設置/獲取時，通過DistributeCache來進行設置大量的只讀數據。
JOb Input
InputFormat 描述了輸入的規范在一個Mapreduce Job中
TextInputFormat是默認的InputFormat
InputSplit
InputSplit 表示這個一個mapper的被處理的數據。
RecordReader
RecordReader 用來在InputSplit中讀<key, value>
Job Output
OutputFormat 描述了在一個Mapreduce中輸出的規范
TextOutputFormat是默認的OutputFormat
OutputCommitter
OutputCommitter 描述了在MapReduce 任務中如何提交 task的輸出
RecordWriter
RecordWrite將輸出<key, value> 寫入到輸出文件中
