mysql 自動自動化增量備份及恢復(fù)

1.1數(shù)據(jù)庫備份工具

Percona XtraBackup

官方地址:https://www.percona.com/software/mysql-database/percona-xtrabackup

1.2工具的安裝

#安裝

[root@localhost ~]# cd /opt/

[root@localhost opt]# wget?https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.5/binary/redhat/6/x86_64/percona-xtrabackup-24-2.4.5-1.el6.x86_64.rpm

[root@localhost opt]# yum installpercona-xtrabackup-24-2.4.5-1.el6.x86_64.rpm

#如果提示缺失依賴包

[root@localhost opt]# yum -y install perlperl-devel libaio libaio-devel perl-Time-HiRes perl-DBD-MySQL

#如果報錯如下:

postfix-2.10.1-6.el7.x86_64有缺少的需求libmysqlclient.so.18()(64bit)

則需要安裝相關(guān)依賴,檢查系統(tǒng)mysql版本:

[root@localhost opt]# mysql

Welcome to the MySQL monitor.Commands end with ; or \g.

Your MySQL connection id is 7

Server version: 5.7.15-log MySQL CommunityServer (GPL)

#下載依賴軟件包

[root@localhost opt]# wgethttp://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.15-1.el7.x86_64.rpm-bundle.tar

#解壓縮并安裝mysql-community-libs-compat-5.7.15-1.el7.x86_64.rpm

[root@localhost opt]# mkdir -p mysql

[root@localhost opt]# cd mysql/

[root@localhost opt]# mvmysql-5.7.15-1.el7.x86_64.rpm-bundle.tar mysql/

[root@localhost mysql]# tar -xvfmysql-5.7.15-1.el7.x86_64.rpm-bundle.tar

[root@localhost mysql]# yum installmysql-community-libs-compat-5.7.15-1.el7.x86_64.rpm

1.3工具的配置

Xtrabackup常用參數(shù)

--user=USER指定備份用戶,不指定的話為當前系統(tǒng)用戶

--password=PASSWD指定備份用戶密碼

--port=PORT指定數(shù)據(jù)庫端口

--defaults-group=GROUP-NAME在多實例的時候使用

--host=HOST指定備份的主機,可以為遠程數(shù)據(jù)庫服務(wù)器

--apply-log回滾日志

--database指定需要備份的數(shù)據(jù)庫,多個數(shù)據(jù)庫之間以空格分開

--defaults-file指定mysql的配置文件

--copy-back將備份數(shù)據(jù)復(fù)制回原始位置

--incremental增量備份,后面跟要增量備份的路徑

--incremental-basedir=DIRECTORY增量備份時使用指向上一次的增量備份所在的目錄

--incremental-dir=DIRECTORY增量備份還原的時候用來合并增量備份到全量,用來指定全備路徑

--redo-only對增量備份進行合并

--rsync加快本地文件傳輸,適用于non-InnoDB數(shù)據(jù)庫引擎。不與--stream共用

--safe-slave-backup

--no-timestamp生成的備份文件不以時間戳為目錄.

1.4備份及恢復(fù)策略

增量備份從庫到其他服務(wù)器;

若主庫掛而從庫正常,則將主線數(shù)據(jù)請求切到從庫,嘗試恢復(fù)主庫;

若主從都掛,則從備份服務(wù)器將數(shù)據(jù)恢復(fù)到從庫,再將主線數(shù)據(jù)請求切到從庫,之后嘗試恢復(fù)主庫,或者直接啟用遠程臨時庫(要考慮集群恢復(fù)后遠程臨時庫將變更為真正的數(shù)據(jù)源,實時數(shù)據(jù)如何恢復(fù)到集群的問題!);

1.5全量備份及恢復(fù)

#全量備份及恢復(fù)

[root@localhost opt]# innobackupex--user=root --password=dianzhong /data/backup/full

#上個命令在我的/data/backup/full/目錄生成了一個文件夾【2017-10-16_11-57-01】

#一般情況下,這個備份不能用于恢復(fù),因為備份的數(shù)據(jù)中可能會包含尚未提交的事務(wù)或已經(jīng)提交但尚未同步至數(shù)據(jù)文件中的事務(wù),此時數(shù)據(jù)文件處于不一致的狀態(tài)

#因此,我們現(xiàn)在就是要通過回滾未提交的事務(wù)及同步已經(jīng)提交的事務(wù)至數(shù)據(jù)文件也使得數(shù)據(jù)文件處于一致性狀態(tài)。

innobackupex --user=root --password--defaults-file=/data/mysql/my.cnf --apply-log /data/backup/full/2017-10-16_11-57-01

#恢復(fù)操作演練

#關(guān)掉服務(wù),遷移已有的數(shù)據(jù)目錄

service mysqld stop

mv /data/mysql /data/mysqlold

mkdir -p /data/mysql

#執(zhí)行innobackupex恢復(fù)命令

innobackupex--defaults-file=/etc/my.cnf --user=root --password=dianzhong --copy-back/data/backup/full/2017-10-16_11-57-01

#對新目錄執(zhí)行賦權(quán)操作,此操作需在innobackupex恢復(fù)命令后

chown -R mysql.mysql /data/mysql

#重啟服務(wù),并檢查數(shù)據(jù)是否恢復(fù)

service mysqld start

1.6增量備份及恢復(fù)

#全量備份

innobackupex--defaults-file=/data/mysql/my.cnf--user=root --password=passwd/data/backup/full

#第一次增量備份

innobackupex --defaults-file=/etc/my.cnf--user=root --password=dianzhong --incremental /data/backup/inc1--incremental-basedir=/data/backup/full/2017-10-16_11-57-01

# --incremental-basedir指的是完全備份所在的目錄

#此命令執(zhí)行結(jié)束后,innobackupex命令會在/data/backup目錄中創(chuàng)建一個新的以時間命名的目錄以存放所有的增量備份數(shù)據(jù)。

#另外,在執(zhí)行過增量備份之后再一次進行增量備份時,其--incremental-basedir應(yīng)該指向上一次的增量備份所在的目錄。

#需要注意的是,增量備份僅能應(yīng)用于InnoDB或XtraDB表,對于MyISAM表而言,執(zhí)行增量備份時其實進行的是完全備份。

#第二次增量備份

innobackupex --defaults-file=/etc/my.cnf--user=root --password=dianzhong --incremental /data/backup/inc2--incremental-basedir=/data/backup/inc1/2017-10-16_14-52-36

#備份恢復(fù)演練

#恢復(fù)到第一次備份點

service mysqld stop

mv /data/mysql /data/mysqlold

mkdir -p /data/mysql

innobackupex --apply-log --redo-only/data/backup/full/2017-10-16_11-57-01

innobackupex --apply-log --redo-only/data/backup/full/2017-10-16_11-57-01--incremental-dir=/data/backup/inc1/2017-10-16_14-52-36

innobackupex --defaults-file=/etc/my.cnf--user=root --password=dianzhong --copy-back/data/backup/full/2017-10-16_11-57-01

chown -R mysql:mysql /data/mysql

service mysqld start

#恢復(fù)到第二次備份點(比恢復(fù)到第一次備份點多一次操作)

servicemysqld stop

mv/data/mysql /data/mysqlold

mkdir -p/data/mysql

innobackupex--apply-log --redo-only /data/backup/full/2017-10-16_11-57-01

innobackupex--apply-log --redo-only /data/backup/full/2017-10-16_11-57-01--incremental-dir=/data/backup/inc1/2017-10-16_14-52-36

innobackupex --apply-log --redo-only/data/backup/full/2017-10-16_11-57-01--incremental-dir=/data/backup/inc2/2017-10-16_14-59-34

innobackupex--defaults-file=/etc/my.cnf --user=root --password=dianzhong --copy-back/data/backup/full/2017-10-16_11-57-01

chown -Rmysql:mysql /data/mysql

servicemysqld start

1.7遠程/異地備份

#遠程備份的方法except +

scp +md5(except需要單獨安裝,方法見《expect SCP安裝及使用》)

1.創(chuàng)建遠程機與源機的互信

#生成密鑰對

[root@localhost ~]# ssh-keygen -t rsa

#傳送到遠程機

[root@localhost ~]# ssh-copy-id -i ~/.ssh/id_rsa.pubroot@192.168.0.200

2.備份文件驗證

分別獲取本機備份文件及遠程機備份文件之后比對md5碼

3.限速遠程備份方法

#登陸遠程機并獲取遠程機上備份文件MD5碼的方法(4個參數(shù):遠程機IP、用戶名、密鑰對文件路徑、備份文件路徑)

#!/usr/bin/expect

# viscp.exp#免交互登陸腳本

setipaddress [lindex $argv 0]

setusername [lindex $argv 1]

setpassword_id_rsa [lindex $argv 2]

setfilepath [lindex $argv 3]

if {$argc != 4 } {

puts"Usage: expect scp.exp ipaddress username id_rsa filepath"

exit 1

}

spawn scp-i $password_id_rsa -l 300000 -r $filepath $username@$ipaddress:$filepath

expect"100%"

expect eof

4.登陸遠程機并獲取遠程md5碼的方法

#!/usr/bin/expect

# vi login.exp#免交互登陸腳本

# expectlogin.exp 192.168.0.200 root ~/.ssh/id_rsa

setipaddress [lindex $argv 0]

setusername [lindex $argv 1]

setpassword_id_rsa [lindex $argv 2]

setfilepath [lindex $argv 3]

if {$argc != 4 } {

puts"Usage: expect login.exp ipaddress username id_rsa filepath"

exit 1

}

settimeout 30

spawn ssh-i $password_id_rsa $username@$ipaddress

#spawnssh $username@$ipaddress

#expect"$username@*"{send "df-h\r"}

expect"$username@*"{send"md5sum $filepath\r"}

expect "$username@*"{send "exit\r"}

5.發(fā)送備份成功與否的實時信息

通過webQQ接口實時發(fā)送

1.8線上自動化備份策略

1.每天凌晨4點全量備份一次,之后每小時增量備份一次

2.多保留一天的備份數(shù)據(jù),以便可以按時間點恢復(fù)

1.9在其他機器上恢復(fù)數(shù)據(jù)源

當源數(shù)據(jù)庫短時無法恢復(fù)的情況下,可以考慮快速將數(shù)據(jù)庫在另一臺遠程機上恢復(fù),之后將數(shù)據(jù)源ip切換即可。

已實驗,在數(shù)據(jù)庫基礎(chǔ)配置一致的情況下,具體操作過程同1.5、1.6方式一致即可。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 227,967評論 6 531
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 98,273評論 3 415
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 175,870評論 0 373
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經(jīng)常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 62,742評論 1 309
  • 正文 為了忘掉前任,我火速辦了婚禮,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 71,527評論 6 407
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 55,010評論 1 322
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,108評論 3 440
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 42,250評論 0 288
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 48,769評論 1 333
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 40,656評論 3 354
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 42,853評論 1 369
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,371評論 5 358
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 44,103評論 3 347
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,472評論 0 26
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 35,717評論 1 281
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 51,487評論 3 390
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 47,815評論 2 372

推薦閱讀更多精彩內(nèi)容