一、根目錄：需要配置四項，其中context可選
{"type":"index_hadoop",
"spec"{},
"context":{},}
（1）type：表示上傳的方式，本地文件上傳使用index，hdfs文件上傳使用index_hadoop。
（2）context（可選）：用于配置一些運行參數，比如可以設置上傳csv時候是否包含表頭行
（3）dataSource：數據源名稱，用于設置上傳數據之后的表名稱。
（4）spec：用于設置數據的具體配置以及轉換方式，重點介紹
二、spec目錄
包含了三個字段：
1、dataSchema：用于指定上傳數據的格式
2、ioConfig：用于指定數據的來源以及存儲位置
3、tuningConfig（可選）：用于指定如何協調各種不同的參數
1、dataSchema
（1）dataSource： 數據源名稱，用于設置上傳數據之后的表名稱。
（2）parser：用于指定數據怎么被轉化，轉化為什么格式
（3）granularitySpec：指定如何劃分segment以及數據的時間范圍
（4）metricsSpec：包含了一系列的aggregators轉換
（1）“dataSource”=“tableName”
（2）parser
（2.1）type:指定常規數據的格式，默認為string，如果保存hdfs上那么指定為hadoopyString，注意hadoop后邊有個y；
（2.2）parseSpec：用于指定數據轉換格式
（2.1）type:默認為string，如果保存hdfs上那么指定為hadoopString；
（2.2）parseSpec包含以下格式
（2.2.1）format：指定上傳文件格式
（2.2.2）timestampSpec：指定時間戳序列
（2.2.3）columns（可選）：csv格式特有，用于指定源數據中的列名
（2.2.4）dimensionsSpec：配置維度數據，也就是將要在druid數據表中展現的列
（2.2.1）format：可以為csv，json，tsv，javascript、timeAndDims等
（2.2.2）timestampSpec:包含column以及format兩個參數，column必選，用于指定時間戳對應的列。format用于指定時間格式，可以使用iso、millis、posix、zuto，默認為auto。
"timestampSpec":{"format":"auto","column":"start_time"}
（2.2.3）columns：用于配置源文件中應該包含的所有列的列名
"columns":["columns","column2","column3"]
（2.2.4）dimensionsSpec用于指定維度列。dimensions用于指定所有的列；dimensionExclusion可選，用于指定不需要的數據，默認為空；spatialDimensions可選，用于指定列的空間限制，默認為空。
"dimensionsSpec":{
"dimensions":["page","language",
{"type":"long","name":"countryNum" } ? ] ? }
如果字段為String，那么直接列出，如果為其他類型如long/double等，需要使用{"type":"long","name":"字段名稱" }單獨列出，注意：配置時間戳的列不需要在dimensions中列出。
（3）granularitySpec包含如下五個維度：
（3.1）type：用來指定粒度類型的使用，默認為type=uniform，建議設置為uniform或arbitrary（嘗試創建大小相等的字段）
（3.2）segmentGranularity（可選）：指定每個segment包含的時間戳的范圍
（3.3）queryGranularity（可選）：允許查詢的時間粒度
（3.4）rollup（可選）：是否使用預計算算法
（3.5）intervals：用于指定上傳時間限制時間段
（3.1）type：默認為type=uniform，建議設置為uniform或arbitrary（嘗試創建大小相等的字段）
（3.2）segmentGranularity：默認為day，用來確定每個segment包含的時間戳的范圍，可以為 "SECOND" ... "MINUTE" ... "HOUR" ... "DAY" ... "DOW" ... "DOY" ... "WEEK" ... "MONTH" ... "QUARTER" ... "YEAR" ... "EPOCH" ... "DECADE" ... "CENTURY" ... "MILLENNIUM" ... 等。
（3.3）queryGranularity：默認為None，允許查詢的時間粒度，單位與segmentGranularity相同，如果為None那么允許以任意時間粒度進行查詢。
（3.4）rollup：是否使用預計算算法，默認為true，推薦true，比較快。
（3.5）intervals：使用時間段來將數據源進行限制。只有時間段內的數據可以上傳。
"granularitySpec" : {
????"type" : "uniform",
????"segmentGranularity" : "DAY",
????"queryGranularity" : { ?"type" : "none"},
????"rollup" : "true",
????"intervals" : [ "2017-11-15T00:00:00.000Z/2017-11-18T00:00:00.000Z" ]}}
（4）metricsSpec：包含了一系列的aggregators轉換
"metricsSpec":[{"type":"count","name":"count"},{"type":"doubleSum","name":"added","fieldName":"added"},{"type":"doubleSum","name":"deleted","fieldName":"deleted"},{"type":"doubleSum","name":"delta","fieldName":"delta"}]
type可以為：count、longSum、doubleSum、doubleMin\doubleMax、longMin\longMax、doubleFirst\doubleLast、longFirst\longLast
除count外其他都需要指定name和fieldName兩個參數，name表示最后輸出的，也就是在表中體現的名稱，而fieldName則代表源數據中的列名。
詳細用法：metricsSpec-Aggregations官網詳細解釋
3、ioConfig：用于指定數據的來源以及存儲位置
（1）type:用于指定源數據獲取方式
（2）inputSpec：指定源數據路徑
（1）type:保存為本地使用“local”，保存為hdfs使用“hadoop”
（2）inputSpec：包含type，以及paths路徑
（2.1）
"ioConfig" : {"type" : "hadoop",
"inputSpec" : {"type" : "static",
"paths" : "hdfs://master:9000/user/root/.."}
支持批量上傳數據，路徑指定到文件夾即可。
（2.2）當設置type為“granularity”時候，則需要根據時間戳使用路徑格式將數據導入目錄中。
"ioConfig" : {"type" : "hadoop",
"inputSpec" : {"type" : "granularity",
.."}
4、tuningConfig（可選）：用于指定如何協調各種不同的參數
（1）type：指定數據存放方式
（2）paritionSpec：用于指定數據的segment的分區方式以及大小,默認為hashed
（3）jobProperties:在添加mapreduce作業時候的一些配置，key:value表示
（4）workingPath：用于指示數據中間落地的路徑（mapreduce中間結果），默認為'/tmp/druid-indexing'
（5）version：創建更加詳細的版本，這將忽略hadoopindextask，除非將useExplicitVersion設置為true，默認為日期時間的索引為開始
（6）maxRowsInMemory：指定聚合之后的數據行數，默認75000
（7）leaveInermediate：作業完成后是否留下workingPath的中間文件，默認false。
（8）cleanupOnFailure：作業失敗時是否清除中間文件，只有在leavelnermediate為true時候生效默認true。
（9）overwriteFiles：在執行index導入數據時候是否覆蓋已經存在的文件。默認false
（10）ignoreInvalidRows：忽略發現有問題的行，默認false
（11）combineText：是否在CombineTextInputFormat階段將多個文件合并到一個文件split中，這可以在處理大量小文件時候加速hadoop作業。
（12）useCombiner：如果可能的話，是否在mapper階段中合并行，默認false
（13）indexSpec：調整數據的索引方式
（14）buildV9Directly：是否直接構建V9索引，而不是先構建V8 index再轉換為V9 index。
（15）numBackgroundPersistThreads：是否增加后臺持久化線程的數量，這會導致內存以及cpu的負荷增加，提高效率，默認為0（使用當前的持久化線程），建議用1
（16）forceExtendableShardSpecs：強制使用可擴展的ShardSpecs，該功能可以與kafka index擴展服務一起使用，默認false
（17）useExplicitVersion：是否強制使用HasoopIndexTask版本，默認false
（1）type：hadoop
（2）partitionSpec
Segment會給予時間戳進行分區，并根據其他類型進一步分區，druid支持hashed（基于每行所有維度的哈希值）和dimension（基于單個維度的范圍）來進行分區。為了讓druid在重查詢負載下運行良好，對于段文件大小的推薦在300Mb到700mb之間，可以使用partitionsSpec來調整大小。
（2.1）hashed分區
hashed分區首先會選擇多個Segment，然后根據每行數據所有列的哈希值對這些Segment進行分區，Segment的數量是輸入數據集的基數以及目標分區大小自動確定的。
type:要分區的類型，hashed
targetPartitionSize：包含在分區中的目標行數，應該在500M-1G
maxPartitionSize：分區中包括的最大行數，默認為比targetPartitionSize大50%。
numShards：直接指定分區的數量而不是分區的大小，可以跳過自動選擇多個分區的必要步驟，錄入數據將會更快。此項與targetPartitionSize只需要填入一項即可。
partitionDemensions（可選），只能配合numShards一起使用，指定需要分區的維度，為空則選擇所有維度列，當targetPartitionSize設置時候將自動忽略。
"partitionsSpec": {"type":"hashed","targetPartitionSize":5000000,"maxPartitionSize":7500000,"assumeGrouped":false,"numShards": -1,"partitionDimensions": [ ]}
（2.2）Only-dimension單維度分區
選擇作為分區指標的維度列，然后將該維度分隔成連續的不同的分區，每個分區都會包含該維度值在該范圍內的所有行。默認情況下使用的維度都是自動指定的。
type:要分區的類型，dimension
targetPartitionSize（必須）：包含在分區中的目標行數，應該在500M-1G
maxPartitionSize（可選）：分區中包括的最大行數，默認為比targetPartitionSize大50%。
partitionDemension（可選），要分區的維度，為空時自動選擇
assumeGrouped（可選）：如果數據源已經按照時間和維度分組了，該選項將會提高加載數據的速度，但是如果沒有那么會選擇次優分區。
（3）jobProperties：我們的集群因為一些問題需要對虛擬機進行一些調參
"tuningConfig" : {"type" : "hadoop",
"partitionsSpec" : {"type" : "hashed","targetPartitionSize" : 5000000},
"jobProperties" : {"mapreduce.map.log.level" : "DEBUG","mapreduce.reduce.log.level" : "DEBUG","mapreduce.reduce.java.opts" : "-Xmx1024m","mapreduce.map.java.opts" : "-Xmx1024m"}}}
（13）IndexSpec：
三、示例
curl -X 'POST' -H 'Content-Type:application/json' -d @index.json localhost:8090/druid/indexer/v1/task
其中的index.json便是需要配置的index文件
本地導入csv格式數據的 task文件示例
看不明白的稍微加工一下：使用json在線解析層次更加清晰
{"type":"index","spec":{"dataSchema":{"dataSource":"wikipedia","parser":{"type":"string","parseSpec":{"format":"csv","timestampSpec":{"column":"timestamp"},"columns":["timestamp","page","language","user","unpatrolled","newPage","robot","anonymous","namespace","continent","country","region","city","added","deleted","delta"],"dimensionsSpec":{"dimensions":["page","language","user","unpatrolled","newPage","robot","anonymous","namespace","continent","country","region","city"]}}},"metricsSpec":[{"type":"count","name":"count"},{"type":"doubleSum","name":"added","fieldName":"added"},{"type":"doubleSum","name":"deleted","fieldName":"deleted"},{"type":"doubleSum","name":"delta","fieldName":"delta"}],"granularitySpec":{"type":"uniform","segmentGranularity":"DAY","queryGranularity":"NONE","intervals":["2013-08-31/2013-09-01"]}},"ioConfig":{"type":"index","firehose":{"type":"local","baseDir":"./","filter":"wikipedia_data.csv"}},"tuningConfig":{"type":"index","targetPartitionSize":0,"rowFlushBoundary":0}}}
導入hdfs中的csv格式文件
{"type":"index","spec":{"dataSchema":{"dataSource":"wikipedia","parser":{"type":"string","parseSpec":{"format":"csv","timestampSpec":{"column":"timestamp"},"columns":["timestamp","page","language","user","unpatrolled","newPage","robot","anonymous","namespace","continent","country","region","city","added","deleted","delta"],"dimensionsSpec":{"dimensions":["page","language","user","unpatrolled","newPage","robot","anonymous","namespace","continent","country","region","city"]}}},"metricsSpec":[{"type":"count","name":"count"},{"type":"doubleSum","name":"added","fieldName":"added"},{"type":"doubleSum","name":"deleted","fieldName":"deleted"},{"type":"doubleSum","name":"delta","fieldName":"delta"}],"granularitySpec":{"type":"uniform","segmentGranularity":"DAY","queryGranularity":"NONE","intervals":["2013-08-31/2013-09-01"]}},"ioConfig":{"type":"hadoop","inputSpec":{"type":"static","paths":"hdfs://vm1.cci/tmp/druid/datasource/wikipedia_data.csv"}},"tuningConfig":{"type":"hadoop"}}}
官網傳送門：
