一、ELK介紹
本節內容來自開源實時日志分析ELK平臺部署，感謝原作者詳細的介紹。
日志主要包括系統日志、應用程序日志和安全日志。系統運維和開發人員可以通過日志了解服務器軟硬件信息、檢查配置過程中的錯誤及錯誤發生的原因。經常分析日志可以了解服務器的負荷，性能安全性，從而及時采取措施糾正錯誤。
通常，日志被分散的儲存不同的設備上。如果你管理數十上百臺服務器，你還在使用依次登錄每臺機器的傳統方法查閱日志。這樣是不是感覺很繁瑣和效率低下。當務之急我們使用集中化的日志管理，例如：開源的syslog，將所有服務器上的日志收集匯總。
集中化管理日志后，日志的統計和檢索又成為一件比較麻煩的事情，一般我們使用grep、awk和wc等Linux命令能實現檢索和統計，但是對于要求更高的查詢、排序和統計等要求和龐大的機器數量依然使用這樣的方法難免有點力不從心。
開源實時日志分析ELK平臺能夠完美的解決我們上述的問題，ELK由ElasticSearch、Logstash和Kiabana三個開源工具組成。官方網站請戳這里
Elasticsearch是個開源分布式搜索引擎，它的特點有：分布式，零配置，自動發現，索引自動分片，索引副本機制，restful風格接口，多數據源，自動搜索負載等。
Logstash是一個完全開源的工具，他可以對你的日志進行收集、過濾，并將其存儲供以后使用（如，搜索）。
Kibana 也是一個開源和免費的工具，它Kibana可以為 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以幫助您匯總、分析和搜索重要數據日志。
二、ELK架構
本圖片引自https://my.oschina.net/davehe/blog/539886
三、ELK安裝
系統環境 CentOS release 6.5 (Final)
Elasticsearch 2.4.1
Logstash 2.4.0
Kibana 4.6.1
java 1.7.0_79
本節主要介紹ELK的安裝，至于java的安裝和配置在這里不在進行闡述。
Elasticsearch
1、下載
wgethttps://download.elastic.co/elasticsearch/release/org/elasticsearch/distribution/tar/elasticsearch/2.4.1/elasticsearch-2.4.1.tar.gz
2、解壓
[userwyh@userwyhelk]$tar -xzvf elasticsearch-2.4.1.tar.gz[userwyh@userwyhelk]$cd elasticsearch-2.4.1
3、安裝Head插件
[userwyh@userwyh elasticsearch-2.4.1]$ ./bin/plugin install? mobz/elasticsearch-head-> Installing mobz/elasticsearch-head...Trying https://github.com/mobz/elasticsearch-head/archive/master.zip...Downloading ...........................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................DONEVerifying https://github.com/mobz/elasticsearch-head/archive/master.zip checksumsifavailable...NOTE: Unable to verify checksumfordownloaded plugin (unable to find .sha1 or .md5 file to verify)Installed head into /mnt/elk/elasticsearch-2.4.1/plugins/head
4、配置
[userwyh@userwyh elasticsearch-2.4.1]$ vim config/elasticsearch.yml#文件末尾添加以下四行，并修改你的IP地址path.data:/tmp/elasticsearch/datapath.logs:/tmp/elasticsearch/logs#↓↓↓↓↓你的IP↓↓↓↓network.host:192.168.1.102network.port:9200
5、啟動
[userwyh@userwyh elasticsearch-2.4.1]$ ./bin/elasticsearch[2016-10-22 18:21:45,994][WARN][bootstrap] unable to install syscall filter: seccomp unavailable: requires kernel 3.5+ with CONFIG_SECCOMP and CONFIG_SECCOMP_FILTER compiled in[2016-10-22 18:21:46,946][INFO][node] [Blue Bullet] version[2.4.1], pid[6821], build[c67dc32/2016-09-27T18:57:55Z][2016-10-22 18:21:46,946][INFO][node] [Blue Bullet] initializing ...[2016-10-22 18:21:48,437][INFO][plugins] [Blue Bullet] modules [lang-groovy, reindex, lang-expression], plugins [head], sites [head][2016-10-22 18:21:48,486][INFO][env] [Blue Bullet] using [1] data paths, mounts [[/ (/dev/mapper/vg_userwyh-lv_root)]], net usable_space [42gb], net total_space [49.2gb], spins? [possibly], types [ext4][2016-10-22 18:21:48,486][INFO][env] [Blue Bullet] heap size [1015.6mb], compressed ordinary object pointers [true][2016-10-22 18:21:48,486][WARN][env] [Blue Bullet] max file descriptors [4096] for elasticsearch process likely too low, consider increasing to at least [65536][2016-10-22 18:21:52,890][INFO][node] [Blue Bullet] initialized[2016-10-22 18:21:52,890][INFO][node] [Blue Bullet] starting ...[2016-10-22 18:21:53,007][INFO][transport] [Blue Bullet] publish_address {192.168.1.102:9300}, bound_addresses {192.168.1.102:9300}[2016-10-22 18:21:53,025][INFO][discovery] [Blue Bullet] elasticsearch/KuzVJMAlQ7WAsvZnunX0bw[2016-10-22 18:21:56,279][INFO][cluster.service] [Blue Bullet] new_master {Blue Bullet}{KuzVJMAlQ7WAsvZnunX0bw}{192.168.1.102}{192.168.1.102:9300}, reason: zen-disco-join(elected_as_master, [0] joins received)[2016-10-22 18:21:56,334][INFO][http] [Blue Bullet] publish_address {192.168.1.102:9200}, bound_addresses {192.168.1.102:9200}[2016-10-22 18:21:56,335][INFO][node] [Blue Bullet] started[2016-10-22 18:21:56,390][INFO][gateway] [Blue Bullet] recovered [0] indices into cluster_state
6、測試
使用curl:192.168.1.102:9200進行測試，回車后如果返回以下內容即為配置成功
[userwyh@userwyhelasticsearch-2.4.1]$curl192.168.1.102:9200{"name":"Blue Bullet","cluster_name":"elasticsearch","cluster_uuid":"fBQTeiZJRoS2S2FIpkmMFw","version":{"number":"2.4.1","build_hash":"c67dc32e24162035d18d6fe1e952c4cbcbe79d16","build_timestamp":"2016-09-27T18:57:55Z","build_snapshot":false,"lucene_version":"5.5.2"},"tagline":"You Know, for Search"}
通過瀏覽器訪問http://192.168.1.102:9200/_plugin/head/我們可以看到如下的界面，這是我們剛剛安裝的head插件，它是一個用瀏覽器跟ES集群交互的插件，可以查看集群狀態、集群的doc內容、執行搜索和普通的Rest請求等。
Logstash
1、下載
wget https://download.elastic.co/logstash/logstash/logstash-2.4.0.tar.gz
2、解壓
[userwyh@userwyhelk]$tar -xzvf logstash-2.4.0.tar.gz[userwyh@userwyhelk]$cd logstash-2.4.0
3、創建一個配置文件測試一下
[userwyh@userwyhlogstash-2.4.0]$ mkdir config[userwyh@userwyhlogstash-2.4.0]$ cd config/[userwyh@userwyhconfig]$ vim log.conf#以下為配置文件內容,path為日志收集的地址input {? ? file {? ? ? type=>"tomcat-log"path=>["/mnt/apache-tomcat-7.0.61/logs/catalina.out"]? ? ? start_position=>"beginning"}}output {? ? elasticsearch {? ? ? hosts=>"192.168.1.102:9200"index=>"logstash-%{type}"template_overwrite=>true} }
4、啟動
[userwyh@userwyhlogstash-2.4.0]$./bin/logstash agent -f config/log.confSettings:Defaultpipelineworkers:1Pipelinemain started
5、測試
訪問http://192.168.1.102:9200/_plugin/head/我們可以發現頁面不在是空空如也了，大概是這樣的畫面，我們可以看到剛才在配置文件里面配置的logstash-tomcat-log索引，并看到上傳了一些日志。
Kibana
1、下載
wget https://download.elastic.co/kibana/kibana/kibana-4.6.1-linux-x86_64.tar.gz
2、解壓
[userwyh@userwyhelk]$tar -xzvf kibana-4.6.1-linux-x86_64.tar.gz [userwyh@userwyhelk]$cd kibana-4.6.1-linux-x86_64
3、關聯Elasticsearch配置
[userwyh@userwyhkibana-4.6.1-linux-x86_64]$cd config/ [userwyh@userwyhconfig]$vim kibana.yml#以下為配置文件內容server.port:5601server.host:192.168.1.102elasticsearch.url:http://192.168.1.102:9200
4、啟動
[userwyh@userwyh kibana-4.6.1-linux-x86_64]$ ./bin/kibana? log? [19:20:46.485] [info][status][plugin:kibana@1.0.0] Status changed from uninitialized to green - Ready? log? [19:20:46.549] [info][status][plugin:elasticsearch@1.0.0] Status changed from uninitialized to yellow - Waiting for Elasticsearch? log? [19:20:46.644] [info][status][plugin:kbn_vislib_vis_types@1.0.0] Status changed from uninitialized to green - Ready? log? [19:20:46.673] [info][status][plugin:markdown_vis@1.0.0] Status changed from uninitialized to green - Ready? log? [19:20:46.683] [info][status][plugin:metric_vis@1.0.0] Status changed from uninitialized to green - Ready? log? [19:20:46.695] [info][status][plugin:spyModes@1.0.0] Status changed from uninitialized to green - Ready? log? [19:20:46.706] [info][status][plugin:statusPage@1.0.0] Status changed from uninitialized to green - Ready? log? [19:20:46.716] [info][status][plugin:table_vis@1.0.0] Status changed from uninitialized to green - Ready? log? [19:20:46.733] [info][listening] Server running at http://192.168.1.102:5601? log? [19:20:51.682] [info][status][plugin:elasticsearch@1.0.0] Status changed from yellow to yellow - No existing Kibana index found? log? [19:20:54.729] [info][status][plugin:elasticsearch@1.0.0] Status changed from yellow to green - Kibana index ready
5、測試
通過瀏覽器訪問http://192.168.1.102:5601/它會提示我們創建一個index pattern，輸入上述配置的logstash-tomcat-log，點擊Create按鈕
創建完成后我們進入到如下頁面，主要是一些字段信息，左上角可以看到我們剛才創建的logstash-tomcat-log
點擊Discover，來到如下頁面，此時我們就可以看到從日志文件收集上來的日志了
當然此時顯示得有點混亂，我們可以通過選擇左側的字段來具體的顯示，就可以哪個字段信息就顯示哪個信息了，比如我們選擇message頁面內容就會發生變化了，這就是原生態的日志了
更多具體的操作可以網上搜下Kibana的使用，比如像強大的搜索功能等，此處不在闡述了。
結語
至此，我們就成功的將ELK日志分析平臺搭建好了，并且使用了個小案例將他們三者結合在一起，成功收集到了日志，可以從瀏覽器中去瀏覽，搜索它。接下來我們就可以搭建更多的logstash從集群環境中收集各臺服務器產生的日志文件，進行統一的數據匯總、分析、問題排查等操作。更多細節的配置，后面在繼續補充。
I hear I forget;I see I remember;I do I understand.
