發(fā)簡(jiǎn)信
IP屬地：遼寧
-
我的埃及之旅Today I want to share my experience in Egypt several years ago. 今天我想和大家分...
-
Spark運(yùn)行原理本文主要分以下章節(jié)： 一、Spark專業(yè)術(shù)語(yǔ)定義 二、 Spark的任務(wù)提交機(jī)制 一、Spark專業(yè)術(shù)語(yǔ)定義 1、Application：Spa...
-
spark經(jīng)典案例之統(tǒng)計(jì)每天新增用戶數(shù)
前言 本文源自一位群友的一道美團(tuán)面試題，解題思路（基于倒排索引）。 1、原始數(shù)據(jù) 根據(jù)數(shù)據(jù)可以看出我們要求的結(jié)果為：2017-01-01 新增三...
-
Spark經(jīng)典案例之非結(jié)構(gòu)數(shù)據(jù)處理
需求：根據(jù)tomcat日志計(jì)算url訪問(wèn)了情況，具體的url如下，要求：區(qū)別統(tǒng)計(jì)GET和POST URL訪問(wèn)量結(jié)果為：訪問(wèn)方式、URL、訪問(wèn)量測(cè)...
-
Spark經(jīng)典案例之求top值
需求分析orderid,userid,payment,productid求topN的payment值a.txt1,9819,100,1212,8...
-
Spark經(jīng)典案之求最大最小值
數(shù)據(jù)準(zhǔn)備eightteen_a.txt10210391092001139028 eightteen_b.txt523083810005 結(jié)果輸出...
-
Spark經(jīng)典案例之求平均值
1、需求分析對(duì)輸入文件中數(shù)據(jù)進(jìn)行就算學(xué)生平均成績(jī)。輸入文件中的每行內(nèi)容均為一個(gè)學(xué)生的姓名和他相應(yīng)的成績(jī)，如果有多門學(xué)科，則每門學(xué)科為一個(gè)文件。要...
-
Spark經(jīng)典案例之?dāng)?shù)據(jù)排序
業(yè)務(wù)場(chǎng)景：數(shù)據(jù)排序 1、”數(shù)據(jù)排序”是許多實(shí)際任務(wù)執(zhí)行時(shí)要完成的第一項(xiàng)工作，比如學(xué)生成績(jī)?cè)u(píng)比、數(shù)據(jù)建立索引等。這個(gè)實(shí)例和數(shù)據(jù)去重類似，都是先對(duì)原...
-
Spark經(jīng)典案例之?dāng)?shù)據(jù)去重
/** 業(yè)務(wù)場(chǎng)景：數(shù)據(jù)去重問(wèn)題 Created by YJ on 2017/2/7. 統(tǒng)計(jì)數(shù)據(jù),盡量用reduceByKey,不要用groupB...