Mysql 有4種類型的日志:Error Log、Genaral Query Log、 Binary Log 和 Slow Query Log**
一、Error Log
記錄Mysql運(yùn)行過(guò)程中的Error、Warning、Note等信息,系統(tǒng)出錯(cuò)或者某條記錄出問(wèn)題可以查看Error日志。
-
Mysql的錯(cuò)誤日志默認(rèn)以hostname.err存放在Mysql的日志目錄,可以通過(guò)以下語(yǔ)句查看:
mysql> show variables like "log_error"; +---------------+----------------+ | Variable_name | Value | +---------------+----------------+ | log_error | /tmp/mysql.log | +---------------+---------------
-
修改錯(cuò)誤日志的地址可以在/etc/my.cnf中添加--log-error = [filename]來(lái)開(kāi)啟mysql錯(cuò)誤日志。我的是:
log_error = /tmp/mysql.log
-
先來(lái)查看一下:tail -f /tmp/mysql.log
bash-3.2# tail -f /tmp/mysql.log 2015-12-23T02:22:41.467311Z 0 [Note] IPv6 is available. 2015-12-23T02:22:41.467324Z 0 [Note] - '::' resolves to '::'; 2015-12-23T02:22:41.467350Z 0 [Note] Server socket created on IP: '::'. 2015-12-23T02:22:41.584287Z 0 [Note] Event Scheduler: Loaded 0 events 2015-12-23T02:22:41.584390Z 0 [Note] /usr/local/Cellar/mysql/5.7.9/bin/mysqld: ready for connections. Version: '5.7.9' socket: '/tmp/mysql.sock' port: 3306 Homebrew 2015-12-23T02:22:42.540786Z 0 [Note] InnoDB: Buffer pool(s) load completed at 151223 10:22:42 151223 10:22:51 mysqld_safe A mysqld process already exists 2015-12-23T02:25:30.984395Z 2 [ERROR] Could not use /tmp/mysql_query.log for logging (error 13 - Permission denied). Turning logging off for the server process. To turn it on again: fix the cause, then either restart the query logging by using "SET GLOBAL GENERAL_LOG=ON" or restart the MySQL server. 2015-12-23T07:28:03.923562Z 0 [Note] InnoDB: page_cleaner: 1000ms intended loop took 61473ms. The settings might not be optimal. (flushed=0 and evicted=0, during the time.)
信息量比較大,暫不分析了。。。。當(dāng)然 如果mysql配置或連接出錯(cuò)時(shí), 仍然可以通過(guò)tail -f 來(lái)跟蹤日志的
二、General Query Log
記錄mysql的日常日志,包括查詢、修改、更新等的每條sql。
-
先查看mysql是否啟用了查詢?nèi)罩? show global variables like "%genera%"
mysql> show global variables like "%genera%"; +----------------------------------------+----------------------+ | Variable_name | Value | +----------------------------------------+----------------------+ | auto_generate_certs | ON | | general_log | OFF | | general_log_file | /tmp/mysql_query.log | | sha256_password_auto_generate_rsa_keys | ON | +----------------------------------------+----------------------+ 4 rows in set (0.00 sec)
我這里是配置了日志輸出文件:/tmp/mysql_query.log,并且日志功能關(guān)閉
查詢?nèi)罩镜妮敵鑫募梢栽?strong>/etc/my.cnf 中添加general-log-file = [filename]
-
Mysql打開(kāi)general log日志后,所有的查詢語(yǔ)句都可以在general log文件中輸出,如果打開(kāi),文件會(huì)非常大,建議調(diào)試的時(shí)候打開(kāi),平時(shí)關(guān)閉
mysql> set global general_log = on; Query OK, 0 rows affected (0.01 sec) mysql> set global general_log = off; Query OK, 0 rows affected (0.01 sec)
-
注意:
如果打開(kāi)了日志功能,但是沒(méi)有寫(xiě)入日志,那就有可能是mysql對(duì)日志文件的權(quán)限不夠,所以需要指定權(quán)限,我的日志文件是 /tmp/mysql_query.log , 則:
chown mysql:mysql /tmp/mysql_query.log
三、Binary Log
二進(jìn)制日志,包含一些事件,這些事件描述了數(shù)據(jù)庫(kù)的改動(dòng),如建表、數(shù)據(jù)改動(dòng)等,主要用于備份恢復(fù)、回滾操作等
1. 作用:
- 包含了所有更新了數(shù)據(jù)或者已經(jīng)潛在更新了數(shù)據(jù)(比如沒(méi)有匹配任何行的一個(gè)DELETE)
- 包含關(guān)于每個(gè)更新數(shù)據(jù)庫(kù)(DML)的語(yǔ)句的執(zhí)行時(shí)間信息
- 不包含沒(méi)有修改任何數(shù)據(jù)的語(yǔ)句,如果需要啟用該選項(xiàng),需要開(kāi)啟通用日志功能
- 主要目的是盡可能的將數(shù)據(jù)庫(kù)恢復(fù)到數(shù)據(jù)庫(kù)故障點(diǎn),因?yàn)槎M(jìn)制日志包含備份后進(jìn)行的所有更新
- 用于在主復(fù)制服務(wù)器上記錄所有將發(fā)送給從服務(wù)器的語(yǔ)句
- 啟用該選項(xiàng)數(shù)據(jù)庫(kù)性能降低1%,但保障數(shù)據(jù)庫(kù)完整性,對(duì)于重要數(shù)據(jù)庫(kù)值得以性能換完整
2. 格式
Binlog有3種格式
- STATMENT:每一條會(huì)修改數(shù)據(jù)的sql都會(huì)記錄到master的binlog中,slave在復(fù)制的時(shí)候sql進(jìn)程會(huì)解析成和原來(lái)master端執(zhí)行多相同的sql再執(zhí)行。
有點(diǎn):在statement模式下首先就是解決了row模式的缺點(diǎn),不需要記錄每一行數(shù)據(jù)的變化減少了binlog日志量,節(jié)省了I/O以及存儲(chǔ)資源,提高性能。因?yàn)樗恍枰?lì)在master上所執(zhí)行的語(yǔ)句的細(xì)節(jié)一屆執(zhí)行語(yǔ)句時(shí)候的上下的信息。
缺點(diǎn):在statement模式下,由于他是記錄的執(zhí)行語(yǔ)句,所以,為了讓這些語(yǔ)句在slave端也能正確執(zhí)行,那么他還必須記錄每條語(yǔ)句在執(zhí)行的時(shí)候的一些相關(guān)信息,也就是上下文信息,以保證所有語(yǔ)句在slave端被執(zhí)行的時(shí)候能夠得到和在master端執(zhí)行時(shí)候相同的結(jié)果。另外就是,由于mysql現(xiàn)在發(fā)展比較快,很多的新功能不斷的加入,使mysql的復(fù)制遇到了不小的挑戰(zhàn),自然復(fù)制的時(shí)候涉及到越復(fù)雜的內(nèi)容,bug也就越容易出現(xiàn)。在statement中,目前已經(jīng)發(fā)現(xiàn)不少情況會(huì)造成Mysql的復(fù)制出現(xiàn)問(wèn)題,主要是修改數(shù)據(jù)的時(shí)候使用了某些特定的函數(shù)或者功能的時(shí)候會(huì)出現(xiàn),比如:sleep()函數(shù)在有些版本中就不能被正確復(fù)制,在存儲(chǔ)過(guò)程中使用了last_insert_id()函數(shù),可能會(huì)使slave和master上得到不一致的id等等。 - ROW:日志中會(huì)記錄成每一行數(shù)據(jù)被修改的形式,然后在slave端再對(duì)相同的數(shù)據(jù)進(jìn)行修改,只記錄要修改的數(shù)據(jù),只有value,不會(huì)有sql多表關(guān)聯(lián)的情況。
優(yōu)點(diǎn):在row模式下,bin-log中可以不記錄執(zhí)行的sql語(yǔ)句的上下文相關(guān)的信息,僅僅只需要記錄那一條記錄被修改了,修改成什么樣了,所以row的日志內(nèi)容會(huì)非常清楚的記錄下每一行數(shù)據(jù)修改的細(xì)節(jié),非常容易理解。而且不會(huì)出現(xiàn)某些特定情況下的存儲(chǔ)過(guò)程和function,以及trigger的調(diào)用和出發(fā)無(wú)法被正確復(fù)制問(wèn)題。
缺點(diǎn):在row模式下,所有的執(zhí)行的語(yǔ)句當(dāng)記錄到日志中的時(shí)候,都將以每行記錄的修改來(lái)記錄,這樣可能會(huì)產(chǎn)生大量的日志內(nèi)容。 - MIXED:MySQL 會(huì)根據(jù)執(zhí)行的每一條具體的 SQL 語(yǔ)句來(lái)區(qū)分對(duì)待記錄的日志形式,也就是在 statement 和 row 之間選擇一種
3. 配置
-
查看mysql中二進(jìn)制文件的配置情況:show variables like "%log_bin%";
mysql> show variables like "%log_bin%"; +---------------------------------+-------+ | Variable_name | Value | +---------------------------------+-------+ | log_bin | OFF | | log_bin_basename | | | log_bin_index | | | log_bin_trust_function_creators | OFF | | log_bin_use_v1_row_events | OFF | | sql_log_bin | ON | +---------------------------------+-------+
log_bin : 用于設(shè)定是否啟用二進(jìn)制日志, 由此看是未開(kāi)啟
-
配置文件仍然是在 /etc/my.cnf 中, 修改/etc/my.cnf, 增加日志文件目錄:
log_bin = /tmp/mysql-bin.log
-
重啟mysql :
bash-3.2# mysql.server start; Starting MySQL . ERROR! The server quit without updating PID file (/usr/local/Cellar/mysql/5.7.9/data/mysql.pid).
-
又報(bào)錯(cuò),查看錯(cuò)誤日志,我的配置在/tmp/mysql.log
151224 00:37:34 mysqld_safe Starting mysqld daemon with databases from /usr/local/var/mysql 2015-12-23T16:37:34.643998Z 0 [Warning] TIMESTAMP with implicit DEFAULT value is deprecated. Please use --explicit_defaults_for_timestamp server option (see documentation for more details). 2015-12-23T16:37:34.644124Z 0 [Warning] 'NO_ZERO_DATE', 'NO_ZERO_IN_DATE' and 'ERROR_FOR_DIVISION_BY_ZERO' sql modes should be used with strict mode. They will be merged with strict mode in a future release. 2015-12-23T16:37:34.644129Z 0 [Warning] 'NO_AUTO_CREATE_USER' sql mode was not set. 2015-12-23T16:37:34.644189Z 0 [Warning] Insecure configuration for --secure-file-priv: Current value does not restrict location of generated files. Consider setting it to a valid, non-empty path. 2015-12-23T16:37:34.644226Z 0 [Note] /usr/local/Cellar/mysql/5.7.9/bin/mysqld (mysqld 5.7.9-log) starting as process 24268 ... 2015-12-23T16:37:34.646468Z 0 [Warning] Setting lower_case_table_names=2 because file system for /usr/local/var/mysql/ is case insensitive 2015-12-23T16:37:34.646945Z 0 [ERROR] You have enabled the binary log, but you haven't provided the mandatory server-id. Please refer to the proper server start-up parameters documentation 2015-12-23T16:37:34.646978Z 0 [ERROR] Aborting 2015-12-23T16:37:34.646991Z 0 [Note] Binlog end 2015-12-23T16:37:34.647068Z 0 [Note] /usr/local/Cellar/mysql/5.7.9/bin/mysqld: Shutdown complete 151224 00:37:34 mysqld_safe mysqld from pid file /usr/local/Cellar/mysql/5.7.9/data/mysql.pid ended
重點(diǎn):
You have enabled the binary log, but you haven't provided the mandatory server-id. Please refer to the proper server start-up parameters documentation
說(shuō)明需要配置一個(gè)server-id, 再拿這句話百度,果然是這樣。所以在 配置文件/etc/my.cn中添加 server-id = 1,再重啟mysql,解決問(wèn)題。而且在配置的bin-log同級(jí)目錄增加了mysql-bin.000001 mysql-bin.index mysql-bin.log 三個(gè)文件,前兩個(gè)是自動(dòng)生成。
參數(shù):
log_bin:設(shè)置此參數(shù)表示啟用binlog功能,并指定路徑名稱
log_bin_index:設(shè)置此參數(shù)是指定二進(jìn)制索引文件的路徑與名稱
binlog_do_db:此參數(shù)表示只記錄指定數(shù)據(jù)庫(kù)的二進(jìn)制日志
binlog_ignore_db:此參數(shù)表示不記錄指定的數(shù)據(jù)庫(kù)的二進(jìn)制日志
max_binlog_cache_size:此參數(shù)表示binlog使用的內(nèi)存最大的尺寸
binlog_cache_size:此參數(shù)表示binlog使用的內(nèi)存大小,可以通過(guò)狀態(tài)變量binlog_cache_use和binlog_cache_disk_use來(lái)幫助測(cè)試。binlog_cache_use:使用二進(jìn)制日志緩存的事務(wù)數(shù)量
binlog_cache_disk_use:使用二進(jìn)制日志緩存但超過(guò)binlog_cache_size值并使用臨時(shí)文件來(lái)保存事務(wù)中的語(yǔ)句的事務(wù)數(shù)量
max_binlog_size:Binlog最大值,最大和默認(rèn)值是1GB,該設(shè)置并不能嚴(yán)格控制Binlog的大小,尤其是Binlog比較靠近最大值而又遇到一個(gè)比較大事務(wù)時(shí),為了保證事務(wù)的完整性,不可能做切換日志的動(dòng)作,只能將該事務(wù)的所有SQL都記錄進(jìn)當(dāng)前日志,直到事務(wù)結(jié)束
sync_binlog:這個(gè)參數(shù)直接影響mysql的性能和完整性
sync_binlog=0:
當(dāng)事務(wù)提交后,Mysql僅僅是將binlog_cache中的數(shù)據(jù)寫(xiě)入Binlog文件,但不執(zhí)行fsync之類的磁盤(pán) 同步指令通知文件系統(tǒng)將緩存刷新到磁盤(pán),而讓Filesystem自行決定什么時(shí)候來(lái)做同步,這個(gè)是性能最好的。
sync_binlog=n,在進(jìn)行n次事務(wù)提交以后,Mysql將執(zhí)行一次fsync之類的磁盤(pán)同步指令,同志文件系統(tǒng)將Binlog文件緩存刷新到磁盤(pán)。
Mysql中默認(rèn)的設(shè)置是sync_binlog=0,即不作任何強(qiáng)制性的磁盤(pán)刷新指令,這時(shí)性能是最好的,但風(fēng)險(xiǎn)也是最大的。一旦系統(tǒng)繃Crash,在文件系統(tǒng)緩存中的所有Binlog信息都會(huì)丟失
-
登錄mysql,再次查看bin-log的狀態(tài),屬于啟用狀態(tài)
mysql> show variables like "%log_bin%"; +---------------------------------+----------------------+ | Variable_name | Value | +---------------------------------+----------------------+ | log_bin | ON | | log_bin_basename | /tmp/mysql-bin | | log_bin_index | /tmp/mysql-bin.index | | log_bin_trust_function_creators | OFF | | log_bin_use_v1_row_events | OFF | | sql_log_bin | ON | +---------------------------------+----------------------+
- binlog的刪除
binlog的刪除可以手工刪除或自動(dòng)刪除
自動(dòng)刪除binlog
通過(guò)binlog參數(shù)(expire_logs_days )來(lái)實(shí)現(xiàn)mysql自動(dòng)刪除binlog
mysql> show binary logs;
+------------------+-----------+
| Log_name | File_size |
+------------------+-----------+
| mysql-bin.000001 | 869 |
+------------------+-----------+
1 row in set (0.00 sec)
mysql> show variables like 'expire_logs_days' ;
+------------------+-------+
| Variable_name | Value |
+------------------+-------+
| expire_logs_days | 0 |
+------------------+-------+
1 row in set (0.00 sec)
mysql> ;set global expire_logs_days=3;
ERROR:
No query specified
Query OK, 0 rows affected (0.00 sec)
mysql> show variables like 'expire_logs_days' ;
+------------------+-------+
| Variable_name | Value |
+------------------+-------+
| expire_logs_days | 3 |
+------------------+-------+
1 row in set (0.00 sec)
手工刪除binlog
mysql> reset master; //刪除master的binlog
mysql> reset slave; //刪除slave的中繼日志
mysql> purge master logs before '2012-03-30 17:20:00'; //刪除指定日期以前的日志索引中binlog日志文件
mysql> purge master logs to 'mysql-bin.000001'; //刪除指定日志文件的日志索引中binlog日志文件
或者直接用操作系統(tǒng)命令直接刪除
mysql> set sql_log_bin=1/0; //如果用戶有super權(quán)限,可以啟用或禁用當(dāng)前會(huì)話的binlog記錄
mysql> show master logs; //查看master的binlog日志
mysql> show binary logs; //查看master的binlog日志
mysql> show master status; //用于提供master二進(jìn)制日志文件的狀態(tài)信息
mysql> show slave hosts; //顯示當(dāng)前注冊(cè)的slave的列表。不以--report-host=slave_name選項(xiàng)為開(kāi)頭的slave不會(huì)顯示在本列表中
-
blog查看:通過(guò)mysqlbinlog 查看日志文件
bash-3.2# mysqlbinlog /tmp/mysql-bin.log
四、Slow Query Log
記錄Mysql 慢查詢的日志
修改配置文件 /etc/my.cnf
1. Mysql 慢查詢配置相關(guān)命令:
-
查看日志功能是否開(kāi)啟:show variables like "%slow%";
mysql> show variables like "%slow%"; +---------------------------+----------------------------------------------------+ | Variable_name | Value | +---------------------------+----------------------------------------------------+ | log_slow_admin_statements | OFF | | log_slow_slave_statements | OFF | | slow_launch_time | 2 | | slow_query_log | OFF | | slow_query_log_file | /usr/local/var/mysql/tongkundeMacBook-Pro-slow.log | +---------------------------+----------------------------------------------------+
slow_query_log 配置為OFF , 說(shuō)明未開(kāi)啟慢日志
-
打開(kāi)慢日志功能:set global slow_query_log = on;
mysql> set global slow_query_log = on; Query OK, 0 rows affected (0.06 sec)
-
查看下默認(rèn)設(shè)置的慢查詢的時(shí)間:show variables like "%long_query%";
mysql> show variables like "%long_query%"; +-----------------+-----------+ | Variable_name | Value | +-----------------+-----------+ | long_query_time | 10.000000 | +-----------------+-----------+
可以看出,默認(rèn)是10秒,按照這個(gè)配置,數(shù)據(jù)得上n億才能達(dá)到,為了測(cè)試我們修改一下
2. 修改Mysql配置文件的方式
-
打開(kāi)/etc/my.cnf , 加入慢查詢配置文件
slow-query-log = 1 slow-query-log-file = /tmp/mysql-slow.log long_query_time = 1 #設(shè)置滿請(qǐng)求時(shí)間, 設(shè)置查多少秒的查詢算是慢查詢
保存退出后要重啟mysql
mysql.server restart;
-
通過(guò)mysql命令查看配置:
mysql> show variables like "%slow%"; +---------------------------+---------------------+ | Variable_name | Value | +---------------------------+---------------------+ | log_slow_admin_statements | OFF | | log_slow_slave_statements | OFF | | slow_launch_time | 2 | | slow_query_log | OFF | | slow_query_log_file | /tmp/mysql-slow.log | +---------------------------+---------------------+
這里顯示慢日志功能還未開(kāi)啟
-
打開(kāi)慢日志功能
mysql> set global slow_query_log = on; ERROR 29 (HY000): File '/tmp/mysql-slow.log' not found (Errcode: 13 - Permission denied)
恩,報(bào)錯(cuò)了,說(shuō)明什么呢,權(quán)限不夠,那就給權(quán)限,退出mysql 執(zhí)行:
chown mysql:mysql /tmp/mysql-slow.log
回到mysql,再次打開(kāi)慢日志:
mysql> set global slow_query_log = on; Query OK, 0 rows affected (0.00 sec)
ok, 解決。
3. 測(cè)試一下
先監(jiān)控下日志: tail -f /tmp/mysql-slow.log
-
在mysql中分別執(zhí)行兩句查詢:
mysql> SELECT 2; +---+ | 2 | +---+ | 2 | +---+ 1 row in set (0.00 sec) mysql> SELECT sleep(3); +----------+ | sleep(3) | +----------+ | 0 | +----------+ 1 row in set (3.01 sec)
-
查看一下日志文件的輸出:
?# Time: 2015-12-23T15:50:44.140140Z # User@Host: root[root] @ localhost [] Id: 2 # Query_time: 3.003542 Lock_time: 0.000000 Rows_sent: 1 Rows_examined: 0 SET timestamp=1450885844; SELECT sleep(3);
基本上查詢的所有信息都有顯示,就不多白花了。
?