場景描述
最近工作中遇到需要導一批數據到mysql中。數據以txt文件形式給出，大概有80G大小，統計后有三千多萬行，也即會往表里導入三千多萬條數據。具體該怎么辦呢？寫程序一行一行讀文本，然后拼接SQL語句往數據庫里插入（批量插入），太耗時了也太麻煩了，否定了這種想法。有沒有工具能夠直接從文本到數據到mysql呢？經查詢，mysql客戶端自帶了導入工具mysqlimport同時mysql本身就支持LOAD DATA SQL語句。最終我選用了mysql的LOAD DATA命令來導入這些數據。下面我們就通過這個場景，一起了解一下mysql文本導入的使用方法。
文本預處理
數據文本是由以'\01'分隔的一行行字符串構成的。我們必須把這里的'\01'替換成mysql文本導入中支持的分隔符，我們這里選擇替換成'\t\t',在文本目錄下執行命令：
sed -i 's/\x01/\t\t/g' ./*
sed的執行速度還是很快的，一千六百萬行文本五分鐘左右就替換好了。替換后的文本如下所示：
現在我們的數據經過預處理，已經可以用來導入了。
數據導入
前面也說過，我們選擇mysql的命令來導入文本數據。所以我們先一起來看一下mysql的數據導入語法：
LOAD DATA [LOW_PRIORITY | CONCURRENT] [LOCAL] INFILE 'file_name'
[REPLACE | IGNORE]
INTO TABLE tbl_name
[PARTITION (partition_name,...)]
[CHARACTER SET charset_name]
[{FIELDS | COLUMNS}
[TERMINATED BY 'string']
[[OPTIONALLY] ENCLOSED BY 'char']
[ESCAPED BY 'char']
]
[LINES
[STARTING BY 'string']
[TERMINATED BY 'string']
]
[IGNORE number {LINES | ROWS}]
[(col_name_or_user_var,...)]
[SET col_name = expr,...]
我們一個個參數具體解釋一下：
- file_name
file_name必須是本地的要導入的文本數據 - CHARACTER SET
CHARACTER SET指定導入的文件的字符格式 - FIELDS | COLUMNS
如果需要在導入數據時對導入的文本進行分割，我們需要添加FIELDS TERMINATED BY ','語法，LINES TERMINATED BY 語句是以指定字符分隔文本為行，默認是以換行符進行行分隔。 - IGNORE number [LINES | ROWS]
IGNORE 后面加數字表示導入數據時忽略文本的前多少行. - (col_name1,col_name2...)字段列表
每一行文本被分隔為一個個字段，但是我們導入這些數據的時候，每個字段對應到表中哪一個字段，是在此處指定的。數據文本中的字段按順序導入到該字段列表指定的字段中。如果出現文本中的字段比我們mysql表中的字段要多，或者是我們只希望導入每一行數據的某一些字段，我們可以在字段列表中按照導入文本的字段順序加入一些用戶變量，如下所示：
LOAD DATA INFILE 'file.txt'
INTO TABLE t1
(column1, @dummy, column2, @dummy, column3);
這樣做就相當于我們直接丟棄了導入文本中的某些字段值。
- SET col_name = expr
如果表中某些字段我們希望是一個特定值，我們可以在這里直接設置。
我們的具體導入sql語句如下：
LOAD DATA INFILE '/opt/data/backup/xx_01_xx
INTO TABLE db_abc.t_info_xxx CHARACTER SET utf8 FIELDS TERMINATED BY '\t\t' IGNORE 1 LINES
(@dummycola,col1,col2,col3,col4,col5,col6,col7,col8,col9,col10,col11,
@dummycolb,@dummycolc,col12,col13,@dummycold,col14,col15,
@dummycole,col16,col17,col18,col19,@dummycolf,col19,col20,
col21,col22,col23,col24,col25,col26,col27);
先拿一部分數據測試，一百六十萬行數據，導入大概花了2min左右，速度還是可以接受的。
執行結束后，我們可以通過sql命令SHOW WARNINGS查看數據導入中的一些告警，我的導入中就發現了一些字段的寬度不夠的情況，通過調整、測試，保證表結構無誤，就可以正式來導入這些數據了。
由于我們的這些數據是由十多個文本組成的，一條一條語句的在mysql客戶端命令行去執行每個文件的導入太麻煩了，寫個腳本來執行方便多了，我們的腳本如下：
#!/bin/bash
mysql=/usr/bin/mysql
host="192.168.0.1"
port=1234
username=xxx
passwd="xxx"
dbname=db_abc
tbname=t_info_xxx
time0=`date +%s`
echo "------------------start to import data into mysql...-----------------------"
echo -e "\n"
for i in `seq 1 12`
do
num=`printf "%.2d" $i`
filename="xxx_${num}_xxx"
echo "import file:${filename}..."
time1=`date +%s`
mysql -h${host} -P${port} -u${username} -p${passwd} -e "
use ${dbname};
LOAD DATA LOCAL INFILE '/opt/data/backup/${filename}' INTO TABLE ${dbname}.${tbname} CHARACTER SET utf8
FIELDS TERMINATED BY '\t\t' IGNORE 1 LINES
(@dummycola,col1,col2,col3,col4,col5,col6,col7,col8,col9,col10,col11,@dummycolb,
@dummycolc,col12,col13,@dummycold,col14,col15,@dummycole,col16,col17,col18,col19,@dummycolf,col19,col20,col21,col22,col23,col24,col25,col26,col27);
quit
"
echo "import file:${filename} success!"
time2=`date +%s`
comp1=`expr $time2 - $time1`
echo "import file:${filename} has cost ${comp1} seconds!"
echo -e "\n"
done
timen=`date +%s`
comp2=`expr $timen - $time0`
echo "The whole data import cost ${comp2} seconds!"
echo -e "\n"
echo "-----------------import data into mysql end!-----------------------"
注：
- 因為是公司內部數據，所以具體的字段名稱、數據庫名稱等都做了處理，但是這個腳本的整體結構是一樣的。
- 最后sql語句中的字段列表中有一些@dummycolx列，這些用戶變量是為了解決文本中多出來的一些字段，而我們數據庫表中沒有對應字段，或者我們不需要一些文本中的字段，把這些@dummycolx列放在這里就相當于丟棄了這些字段，只導入我們需要的那些字段。
- 最終我們一共導入了2000萬條數據，總共耗時10多分鐘。
另外
mysqlimport工具使用起來也是十分方便，實際上mysqlimport工具內部就是包裝了LOAD DATA INFILE語句。如果使用的話，具體可以參考這里：mysqlimport
