lepus搭建
監(jiān)控mysql
整體環(huán)境：
192.168.1.30 mini1 監(jiān)控機(jī)
192.168.1.31 mini2主 被監(jiān)控機(jī)
192.168.1.32 mini3從 被監(jiān)控機(jī)
監(jiān)控機(jī)mini1上：
1.安裝依賴包
yum groupinstall Development tools
yum -y install mysql-devel
yum -y install openssl
2.安裝lamp
解壓安裝包
在/usr/local/apapche/conf/httpd.conf中修改
<IfModule dir_module>
DirectoryIndex index.html index.php
啟動(dòng)httpd
/usr/local/apache/bin/httpd -f /usr/local/apache/conf/httpd.conf &
啟動(dòng)php
./php &
3.安裝python2.7
tar -jxvf Python-2.7.13.tar.bz2
#進(jìn)入解壓后的?目錄
cd Python-2.7.13
#編譯和安裝
./configure
make
make install
檢查是否安裝成功
/usr/local/bin/python2.7 -V
#如果出現(xiàn)如下信息代表安裝成功
Python 2.7.3
4.建立軟連接
#正常情況下即使python2.7安裝成功后，系統(tǒng)默認(rèn)指向的python仍然是2.6.6版本，考慮到y(tǒng)um是基于python2.6.6才能正常?工作，
所以不不建議卸載。
#采用下面的方法把系統(tǒng)默認(rèn)的python修改為2.7.3版本
mv /usr/bin/python /usr/bin/python2.6.6
ln -s /usr/local/bin/python2.7 /usr/bin/python
#檢測是否成功
python -V
#出現(xiàn)2.7.3版本信息代表成功
Python 2.7.3
5.修改yum源
vi /usr/bin/yum
將#!/usr/bin/python
修改為
#!/usr/bin/python2.6.6
6.安裝setuptools
解壓
cd setuptools-12.0.3
安裝
python setup.py install
7.安裝MySQLdb
cd? MySQL-python-1.2.4
python setup.py build
python setup.py install
8.安裝MySQL作為監(jiān)控庫
create database lepus default character set utf8;
grant select,insert,update,delete,create on lepus.* to 'lepus'@'%' identified by '123456';
flush privileges;
導(dǎo)入建庫語句句
use lepus
mysql -uroot -p lepus < sql/lepus_table.sql
mysql -uroot -p lepus < sql/lepus_data.sql
修改表結(jié)構(gòu)
use lepus
alter table mysql_status modify column max_connect_errors bigint(18);
alter table mysql_status_history modify column max_connect_errors bigint(18);
創(chuàng)建監(jiān)控賬號(hào)
grant select,super,process,reload,show databases,replication client on *.* to'lepus_monitor'@'%'
identified by 'lepus_monitor';
flush privileges;
9.初始化python
cd python/
chmod +x install.sh
./install.sh
10.修改python配置文件
vi /usr/local/lepus/etc/config.ini
[monitor_server]
host="192.168.1.30"
port=3306
user="lepus"
passwd="lepus"
dbname="lepus"
拷貝PHP文件到相關(guān)目錄
cp -r php/* /usr/local/apache/htdocs
11.修改php配置文件
vi /usr/local/apache/htdocs/application/config/database.php
$db['default']['hostname']= '192.168.1.30';
$db['default']['port'] = '3306';
$db['default']['username']= 'lepus';
$db['default']['password']= 'lepus';
$db['default']['database']= 'lepus';
$db['default']['dbdriver']= 'mysql';
12.開啟lepus
cd /usr/local/lepus/
lepus start
日志目錄
tail -f /usr/local/lepus/nohup.out
tail -f /usr/local/lepus/logs/lepus.log
13.設(shè)置訪問域名
vi /usr/local/apache/etc/extra/httpd-vhosts.conf
<VirtualHost*:80>
AddDefaultCharset UTF-8
DocumentRoot "/usr/local/apache/htdocs"
ServerName mysqlmtop.tomato.com
Options FollowSymLinks
AllowOverride All
Order allow,deny
Allow from All
ErrorLog"|/usr/local/apache/bin/rotatelogs /home/logs/apache/php_%Y%m%d_error.log86400 480"
CustomLog"|/usr/local/apache/bin/rotatelogs /home/logs/apache/php_%Y%m%d_access.log86400 480"
common
</VirtualHost>
14.修改hosts
127.0.0.1 localhost.localdomain localhost
::1 localhost6.localdomain6 localhost6
192.168.1.30 mini1 mysqlmtop.tomato.com
15.訪問主頁 默認(rèn)賬號(hào)密碼
賬號(hào) admin
密碼Lepusadmin
監(jiān)控redis/mongodb
若要監(jiān)控redis 和mongodb,則需要安裝相關(guān)依賴
1.安裝Redis模塊（監(jiān)控Redis所需）
[root@vpn lepus]# tar zxvf redis-py-2.10.3.tar.gz
[root@vpn lepus]# cd redis-2.10.3/
[root@vpn redis-2.10.3]# python setup.py install
安裝pymongo模塊（監(jiān)控Mongodb所需）
[root@vpn lepus]# tar zxvf pymongo-2.7.tar.gz
[root@vpn lepus]# cd pymongo-2.7
[root@vpn pymongo-2.7]# python setup.py install
2.測試各個(gè)模塊安裝是否正常運(yùn)行（測試文件在 /root/lepus/lepus_v3.7/python/下）
[root@vpn pymongo-2.7]# cd /root/lepus/lepus_v3.7/python/
[root@vpn pymongo-2.7]# pwd
/root/lepus/lepus_v3.7/python
[root@vpn python]# python test_driver_mysql.py
MySQL python drivier is ok!
[root@vpn python]# python test_driver_redis.py
Redis python drivier is ok!
[root@vpn python]# python test_driver_mongodb.py
MongoDB python drivier is ok!
3.修改redis的配置文件
ln -s /software/redis-3.xxx/redis.conf /etc/redis.conf
vi /etc/redis.conf
bind 0.0.0.0
redis 可以沒有密碼連入天兔
cd /usr/local/lepus
修改check_mongodb.py中的 db.authenticate(user,passwd)注釋掉即可登錄無需用戶名密碼的MongoDB
4.打開天兔的全局配置項(xiàng)，redis,mongodb
5.重啟lepus
6.輸入被監(jiān)控端redis的IP，端口，標(biāo)簽即可，不用填密碼，刷新
? 輸入被監(jiān)控端mongo的IP，端口，標(biāo)簽即可，不用填用戶密碼，刷新
監(jiān)控操作系統(tǒng)OS
1 什么是snmp 協(xié)議？
簡單網(wǎng)絡(luò)管理協(xié)議（SNMP，Simple Network Management Protocol）構(gòu)成了互聯(lián)網(wǎng)工程工作小組（IETF，Internet Engineering Task Force）定義的internet協(xié)議簇的一部分。該協(xié)議能夠支持網(wǎng)絡(luò)管理系統(tǒng)，用以監(jiān)測連接到網(wǎng)絡(luò)上的設(shè)備是否有任何引起管理上關(guān)注的情況。它由一組網(wǎng)絡(luò)管理的標(biāo)準(zhǔn)組成，包含一個(gè)應(yīng)用層協(xié)議（application layer protocol）、數(shù)據(jù)庫模型（database schema），和一組資料物件。
2 在需要監(jiān)控的linux系統(tǒng)下snmp服務(wù)配置
2.1 snmpd 服務(wù)安裝
yum install net-snmp*
2.2 編輯snmpd.conf 配置文檔
vim /etc/snmp/snmpd.conf
41行 將default改為監(jiān)控服務(wù)器ip;2 將public改成lepus (備注: lepus是您在天兔配置文件里配置的通用實(shí)體，如果您配置的實(shí)體是其他名稱，這里要做相應(yīng)的修改)示例如下：
com2sec notConfigUser? 10.0.10.10? ? ? lepus
62行 將systemview 改為all,供所有snmp訪問權(quán)限
access? notConfigGroup ""? ? ? any? ? ? noauth? ? exact? all none none
85行 將#注釋符號(hào)去掉
view all? ? included? .1? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 80
2.3 啟動(dòng) snmpd 服務(wù)
/etc/init.d/snmpd start
2.4 驗(yàn)證snmpd 服務(wù)
//snmpd 使用 tcp/udp 161 端口
grep 'Simple Net Mgmt Proto' /etc/services?
snmp? ? ? ? 161/tcp? ? ? ? ? ? # Simple Net Mgmt Proto
snmp? ? ? ? 161/udp? ? ? ? ? ? # Simple Net Mgmt Proto
lsof -i :161
COMMAND? PID USER? FD? TYPE DEVICE SIZE NODE NAME
snmpd? 3734 root? 11u? IPv4? 13174? ? ? UDP *:snmp?
ps -ef | grep 'snmpd'
root? ? ? 3734? ? 1? 0 09:34 ?? ? ? ? 00:00:00 /usr/sbin/snmpd -Lsd -Lf /dev/null -p /var/run/snmpd.pid -a
2.5 修改snmpd 日志級(jí)別
//以上操作能夠滿足snmpd 服務(wù)正常使用，不過snmpd 默認(rèn)日志級(jí)別將會(huì)在/var/log/message 寫入大量snmp 信息，這樣會(huì)影響我們察看系統(tǒng)日志，所以我們需要更改下！
Mar? 1 09:55:01 monitor snmpd[3734]: Connection from UDP: [127.0.0.1]:37535?
Mar? 1 09:55:01 monitor snmpd[3734]: Received SNMP packet(s) from UDP: [127.0.0.1]:37535?
Mar? 1 09:55:01 monitor snmpd[3734]: Connection from UDP: [127.0.0.1]:47836?
Mar? 1 09:55:01 monitor snmpd[3734]: Received SNMP packet(s) from UDP: [127.0.0.1]:47836?
//注釋原有的OPTINOS,添加下面的一行，重啟snmpd 服務(wù)即可。
vim /etc/init.d/snmpd
#OPTIONS="-Lsd -Lf /dev/null -p /var/run/snmpd.pid -a"
OPTIONS="-LS 4 d -p /var/run/snmpd.pid -a"
/etc/init.d/snmpd restart
Stopping snmpd:? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? [? OK? ]
Starting snmpd:? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? [? OK? ]
2.6將SNMP服務(wù)設(shè)置開機(jī)啟動(dòng)
2.7 使用snmpwalk 命令驗(yàn)證，在監(jiān)控機(jī)上執(zhí)行以下命令
snmpwalk -v 1 -c lepus? 192.168.1.31
snmpwalk -v 2c -c lepus? 192.168.1.32
-v是指版本,-c 是指密鑰，獲取到系統(tǒng)信息則正常！
至此，您已經(jīng)成功地開啟了SNMP服務(wù)。
驗(yàn)證snmp服務(wù)
[root@HE1 bin]# ps-ef | grep 'snmpd'
root? ? 26100? ? 1? 0 11:20 ?? ? ? ? 00:00:00 /usr/sbin/snmpd -LS 4 d -p/var/run/snmpd.pid -a
root? ? 26114 25540? 0 11:30 pts/0? ? 00:00:00 grep snmpd
監(jiān)控機(jī)修改lepus配置文件添加44,45,46行內(nèi)容
[root@HE3lepus]# vi /usr/local/lepus/check_os.sh
在43行后添加44,45,46行內(nèi)容
? ? 40? ? mem_buffered=`/usr/bin/snmpwalk -v1 -c ${community}? ${ip} UCD-SNMP-MIB::memBuffer.0 |cut -d= -f2 |awk -F ' ' '{print $2}'`
? ? 41? ? mem_cached=`/usr/bin/snmpwalk -v1 -c ${community}? ${ip} UCD-SNMP-MIB::memCached.0 |cut -d= -f2 |awk -F ' ' '{print $2}'`
? ? 42? ? mem_usage_rate=`/usr/bin/snmpdf -v1 -c ${community}? ${ip} |grep "Physical"|awk '{print $6}'`
? ? 43? ? mem_available=$[$mem_free+$mem_buffered+$mem_cached]
if [ -z $mem_shared ]; then
mem_shared=0
fi
[root@HE3 lepus]#python check_os.py
安裝完成后即可在天兔系統(tǒng)配置需要監(jiān)控的主機(jī)。
監(jiān)控mysql慢日志
被監(jiān)控機(jī)主要有以下幾個(gè)步驟：mysql基礎(chǔ)配置--依賴軟件安裝---腳本配置--定時(shí)任務(wù)。
1.mysql基礎(chǔ)配置：
在mysql命令行中執(zhí)行以下命令:
set global slow_query_log=on;
set global long_query_time=1;#設(shè)置記錄查詢超過多長時(shí)間的sql，根據(jù)自己情況定
set global slow_query_log_file='/opt/lampp/var/mysql/';#設(shè)置mysql慢查詢?nèi)罩韭窂?/p>
斷開當(dāng)前連接然后重新連接進(jìn)入命令行查詢（緩存）：
show variables like '%slow%';
show variables like '%long_query_time%';
2.依賴軟件安裝：
# yum -y install perl-IO-Socket-SSL
# yum -y install perl-DBI
# yum -y install perl-DBD-MySQL
# yum -y install perl-Time-HiRes
# yum -y install perl-Digest-MD5
上傳percona-toolkit.rpm并安裝
rpm -ivh percona-toolkit.rpm
3.腳本配置：
vi /usr/local/lepus/client/mysql/lepus_slowquery.sh
#config lepus database server? lepus服務(wù)器
lepus_db_host="192.168.1.30"
lepus_db_port=3306
lepus_db_user="lepus"
lepus_db_password="123456"
lepus_db_database="lepus"
#config mysql server? 被監(jiān)控的mysql
mysql_client="/opt/lampp/bin/mysql"
mysql_host="192.168.200.31"
mysql_port=3306
mysql_user="lepus"
mysql_password="123456"
#config slowqury? 慢查詢?nèi)罩?/p>
slowquery_dir="/opt/lampp/var/mysql/"
slowquery_long_time=1
slowquery_file=`$mysql_client -h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_password? -e "show variables like 'slow_query_log_file'"|grep log|awk '{print $2}'`
pt_query_digest="/usr/bin/pt-query-digest"
#config server_id? 與web上配置中心，mysql列表中的ID對(duì)應(yīng)
lepus_server_id=1
4.手動(dòng)運(yùn)行查看是否正常運(yùn)行：
sh /usr/local/lepus/client/mysql/lepus_slowquery.sh
報(bào)錯(cuò)：/bin/sh^M: bad interpreter: No such file or directory
利用如下命令修改文件格式
:set ff=unix 或 :set fileformat=unix
:wq (存盤退出)
最后再執(zhí)行文件
#sh>./filename
定時(shí)任務(wù)：
查看所有定時(shí)任務(wù)：
crontab -l
添加定時(shí)任務(wù)：
crontab -e
*/5 * * * * sh /usr/local/sbin/lepus_slowquery.sh > /dev/null 2>&1
復(fù)制監(jiān)控沒有數(shù)據(jù)顯示
在被監(jiān)控的mysql數(shù)據(jù)庫
show variables like 'show_compatibility_56';
+-----------------------+-------+
| Variable_name? ? ? ? | Value |
+-----------------------+-------+
| show_compatibility_56 | OFF? |
+-----------------------+-------+
set global show_compatibility_56=on;
Query OK, 0 rows affected (0.00 sec)
---MySQL復(fù)制監(jiān)控中無法看圖形
vi /opt/lampp/htdocs/application/controllers/lp_mysql.php
337行，去掉'mysql/replication'，改為parent::check_privilege();
原來為parent::check_privilege('mysql/replication'）;
刷新天兔
配置表空間分析
vi /usr/local/lepus/lepus.py
在monitor_mysql中添加(注意python代碼格式)：
job = Process(target = job_run, args = ('check_mysql_bigtable',int(frequency_monitor)*120))
joblist.append(job)
job.start()
修改腳本（非必須）
vi /usr/local/lepus/check_mysql_bigtable.py
bigtable=curs.execute("SELECT table_schema as 'DB',table_name as 'TABLE',CONCAT(ROUND(( data_length + index_length ) / ( 1024 * 1024 ), 2), '') 'TOTAL' , table_comment as COMMENT FROM information_schema.TABLES group by table_name having total > 5 ORDER BY data_length + index_length DESC LIMIT 10;");
以上修改內(nèi)容表示提取表大小大于5M并且是排名前10的表。
pip install functions
將腳本放到crontab中執(zhí)行，定期采集數(shù)據(jù)
crontab -e
*/5 * * * * python /usr/local/lepus/check_mysql_bigtable.py
配置郵件發(fā)送
去申請(qǐng)一個(gè)新的126郵箱，選擇設(shè)置-POP3/SMTP/IMAP-客戶端授權(quán)密碼
在天兔上設(shè)置，SMTP賬號(hào)就是申請(qǐng)的126郵箱賬號(hào)，SMTP密碼就是你剛剛開啟的客戶端授權(quán)密碼，郵件發(fā)件人就是126郵箱地址
[root@HE3]# python test_send_mail.py
True
send_mail_status:success
編譯通過
在全局配置里面的郵件那配置郵箱，還有各個(gè)小項(xiàng)的郵箱配好收件箱即可。
