mapreduce原理全剖析--段氏六脈神劍.png
1、mapTask調用InputFormat再調用RecourReader的read()方法來讀取數據，獲得key、value，mapreduce通過InputFormat來解耦
2、read()方法依靠一次讀取一行的邏輯來讀取原始文件的數據，返回key、value，mapTask會將其交給自定義的Mapper
3、map方法我們會調用context.write方法來輸出數據到OutPutCollector類，OutPutCollector會將數據放到（內存中存放 默認MR.SORT.MB：100MB可以自己配置，一般不會放滿默認80%，這里面還要留有空間排序默認20%）環形緩沖區(其實就是一個bite()數組，如果寫滿了，那么就會一邊寫一邊將開始的數據回收，然后繼續寫到回收后的位置上，形成了環形緩沖區)
4、環形緩沖區的溢出的數據溢出之前會通過Hashpartioner進行分區、排序（默認是快速排序法key.compareTO）,會通過spiller寫入到mapTask工作目錄的本地文件（所有溢寫文件分區且區內有序）
5、所有溢出的文件會做歸并排序形成mapTask的最終結果文件，一個mapTask對應一個最終結果文件，形成幾個分區就會有對應幾個reduceTask。reduceTask的個數由配置文件或者參數設置，只要不設置自定義partitioner，那么這里的分區會動態適配reduceTask個數。如果設置了自定義partitioner，那么就需要提前設置對應的reduceTask的個數
6、每個reduceTask都會到每一個mapTask的節點去下載分區文件到reduceTask的本地磁盤工作目錄
7、為了保證最后的結果有序，reduceTask任務A需要再次從所有mapTask下載到的對應文件重新進行歸并排序
8、reduceTask的內部邏輯寫在reducer的reduce(key,values)方法，通過調用GroupingComparaor（key,netxtk）或者自定義GroupingComparaor來判斷哪些key是一組，形成key和values。
9、reducer的reduce方法最后通過context.writer（key，v）寫到輸出文件(所有reduceTask的輸出文件都有序)，輸出路徑由提交任務時的參數決定，默認文件名part-r-00000
10、如果設置了combiner，那么溢寫排序文件會調用，歸并排序時也會combiner，將加快shluffer的效率，但是一般情況下不建議使用,如果符合條件下一定要使用，也可以直接指定reducer為combiner，沒必要重復寫代碼
package cn.itcast.bigdata.mr.wcdemo;
import java.io.IOException;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;
/**
* 輸入為map的輸出
*/
public class WordcountCombiner extends Reducer<Text, IntWritable, Text, IntWritable>{
@Override
protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
int count=0;
for(IntWritable v: values){
count += v.get();
}
context.write(key, new IntWritable(count));
}
}
***紅色方框的類和方法都可以由程序員自定義
mapper類
package cn.itcast.bigdata.mr.wcdemo;
import java.io.IOException;
import java.util.HashMap;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
/**
* KEYIN: 默認情況下，是mr框架所讀到的一行文本的起始偏移量，Long,
* 但是在hadoop中有自己的更精簡的序列化接口，所以不直接用Long，而用LongWritable
*
* VALUEIN:默認情況下，是mr框架所讀到的一行文本的內容，String，同上，用Text
*
* KEYOUT：是用戶自定義邏輯處理完成之后輸出數據中的key，在此處是單詞，String，同上，用Text
* VALUEOUT：是用戶自定義邏輯處理完成之后輸出數據中的value，在此處是單詞次數，Integer，同上，用IntWritable
*
* @author
*
*/
public class WordcountMapper extends Mapper<LongWritable, Text, Text, IntWritable>{
/**
* map階段的業務邏輯就寫在自定義的map()方法中
* maptask會對每一行輸入數據調用一次我們自定義的map()方法
*/
@Override
protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
//將maptask傳給我們的文本內容先轉換成String
String line = value.toString();
//根據空格將這一行切分成單詞
String[] words = line.split(" ");
//將單詞輸出為<單詞，1>
for(String word:words){
//將單詞作為key，將次數1作為value，以便于后續的數據分發，可以根據單詞分發，以便于相同單詞會到相同的reduce task
context.write(new Text(word), new IntWritable(1));
}
}
}
reducer類
package cn.itcast.bigdata.mr.wcdemo;
import java.io.IOException;
import java.util.Iterator;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;
/**
* KEYIN, VALUEIN 對應 mapper輸出的KEYOUT,VALUEOUT類型對應
*
* KEYOUT, VALUEOUT 是自定義reduce邏輯處理結果的輸出數據類型
* KEYOUT是單詞
* VLAUEOUT是總次數
* @author
*
*/
public class WordcountReducer extends Reducer<Text, IntWritable, Text, IntWritable>{
/**
* <angelababy,1><angelababy,1><angelababy,1><angelababy,1><angelababy,1>
* <hello,1><hello,1><hello,1><hello,1><hello,1><hello,1>
* <banana,1><banana,1><banana,1><banana,1><banana,1><banana,1>
* 入參key，是一組相同單詞kv對的key
*/
@Override
protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
int count=0;
/*Iterator<IntWritable> iterator = values.iterator();
while(iterator.hasNext()){
count += iterator.next().get();
}*/
for(IntWritable value:values){
count += value.get();
}
context.write(key, new IntWritable(count));
}
}
Driver類
package cn.itcast.bigdata.mr.wcdemo;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.CombineTextInputFormat;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
/**
* 相當于一個yarn集群的客戶端
* 需要在此封裝我們的mr程序的相關運行參數，指定jar包
* 最后提交給yarn
* @author
*
*/
public class WordcountDriver {
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
//是否運行為本地模式，就是看這個參數值是否為local，默認就是local
/*conf.set("mapreduce.framework.name", "local");*/
//本地模式運行mr程序時，輸入輸出的數據可以在本地，也可以在hdfs上
//到底在哪里，就看以下兩行配置你用哪行，默認就是file:///
/*conf.set("fs.defaultFS", "hdfs://mini1:9000/");*/
/*conf.set("fs.defaultFS", "file:///");*/
//運行集群模式，就是把程序提交到yarn中去運行
//要想運行為集群模式，以下3個參數要指定為集群上的值
/*conf.set("mapreduce.framework.name", "yarn");
conf.set("yarn.resourcemanager.hostname", "mini1");
conf.set("fs.defaultFS", "hdfs://mini1:9000/");*/
Job job = Job.getInstance(conf);
job.setJar("c:/wc.jar");
//指定本程序的jar包所在的本地路徑
/*job.setJarByClass(WordcountDriver.class);*/
//指定本業務job要使用的mapper/Reducer業務類
job.setMapperClass(WordcountMapper.class);
job.setReducerClass(WordcountReducer.class);
//指定mapper輸出數據的kv類型
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(IntWritable.class);
//指定最終輸出的數據的kv類型
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
//指定需要使用combiner，以及用哪個類作為combiner的邏輯
/*job.setCombinerClass(WordcountCombiner.class);*/
job.setCombinerClass(WordcountReducer.class);
//如果不設置InputFormat，它默認用的是TextInputformat.class--CombineTextInputFormat是hdfs中要處理的文件都是大量小文件的情況下---主要是更改了getsplits()方法
job.setInputFormatClass(CombineTextInputFormat.class);
CombineTextInputFormat.setMaxInputSplitSize(job, 4194304);//最大切片大小,如果超過最大值，會被切分開
CombineTextInputFormat.setMinInputSplitSize(job, 2097152);//最小切片大小，那么切下來實際上到底有多大？要考慮具體情況，本節點文件、跨機架文件、跨機房文件
//指定job的輸入原始文件所在目錄
FileInputFormat.setInputPaths(job, new Path(args[0]));
//指定job的輸出結果所在目錄
FileOutputFormat.setOutputPath(job, new Path(args[1]));
//將job中配置的相關參數，以及job所用的java類所在的jar包，提交給yarn去運行
/*job.submit();*/
boolean res = job.waitForCompletion(true);
System.exit(res?0:1);
}
}
