這篇文章主要是為了慶祝 Node Exporter 終于迎來了 v1.0.0 版本。
Prometheus 是最早由 SoundCloud 開源的監控告警解決方案。并已經成長為繼 Kubernetes 之后,第二個從 CNCF 畢業的項目。伴隨著云原生理念的普及和 Kubernetes 等技術的發展, Prometheus 在監控領域也有了長足的發展。
其主要組件包括 Prometheus,Alertmanager,Node Exporter,Blackbox Exporter 和 Pushgateway 等。
本文主要是為了慶祝 Node Exporter 終于迎來了 v1.0.0 版本, 所以重點主要放在一直被人詬病的安全性相關上,具體而言就是利用 TLS 和 Basic Auth 提升其安全性。
背景
Node Exporter 是 Prometheus 官方發布的,用于采集節點的系統信息,比如 CPU,內存,磁盤和網絡等信息。
通常情況下,如果我們在使用 Prometheus 作為監控方案,那 Node Exporter 基本都會用到的。
在 Promethues 的監控體系中,社區中一直存在的一個觀點是,Metrics 不包含過于私密的信息。所以你可以看到,大多數的 /metrics
接口都是直接暴露出來的,沒什么特別的安全措施。
但隨著 Prometheus 在生產中的大量應用,安全問題變得更加重要。
大家最先想到的解決辦法就是,為 Prometheus 與監控目標之間的連接啟用 TLS。 但由于各類 exporter 并不原生支持 TLS 連接,所以通常情況下我們會選擇配合反向代理來完成。
這種方式能滿足需求,但未免復雜了些。近期 Prometheus 對其安全模型做了修改 , 從 Node Exporter 開始到后續其他的組件,都將支持 TLS 和 basic auth, 同時也列出了最新的安全基準(默認情況下都支持 TLS v1.2 及以上)
使用 TLS
這里我們直接實踐下看看如何啟用 TLS 。
準備證書
(MoeLove) ? ~ mkdir -p prometheus-tls
(MoeLove) ? ~ cd prometheus-tls
(MoeLove) ? prometheus-tls openssl req -new -newkey rsa:2048 -days 365 -nodes -x509 -keyout node_exporter.key -out node_exporter.crt -subj "/C=CN/ST=Beijing/L=Beijing/O=Moelove.info/CN=localhost"
Generating a RSA private key
...........................................+++++
..+++++
writing new private key to 'node_exporter.key'
-----
(MoeLove) ? prometheus-tls ls
node_exporter.crt node_exporter.key
通過上面的步驟,我們得到了 node_exporter.crt
和node_exporter.key
這兩個文件。
Node Exporter 使用 TLS
下載 v1.0.0 版本的 Node Exporter, 并對其進行解壓等操作
(MoeLove) ? /tmp tar -zxvf node_exporter-1.0.0.linux-amd64.tar.gz
node_exporter-1.0.0.linux-amd64/
node_exporter-1.0.0.linux-amd64/node_exporter
node_exporter-1.0.0.linux-amd64/NOTICE
node_exporter-1.0.0.linux-amd64/LICENSE
(MoeLove) ? /tmp cd node_exporter-1.0.0.linux-amd64
(MoeLove) ? node_exporter-1.0.0.linux-amd64 ls
LICENSE node_exporter NOTICE
復制前面生成的 node_exporter.crt
和node_exporter.key
這兩個文件到當前目錄下。
(MoeLove) ? node_exporter-1.0.0.linux-amd64 cp ~/prometheus-tls/node_exporter.* .
(MoeLove) ? node_exporter-1.0.0.linux-amd64 ls
LICENSE node_exporter node_exporter.crt node_exporter.key NOTICE
編寫配置文件,并保存為 config.yaml
(命名隨意):
tls_server_config:
cert_file: node_exporter.crt
key_file: node_exporter.key
接下來就使用 --web.config
將配置文件傳遞給 Node Exporter
(MoeLove) ? node_exporter-1.0.0.linux-amd64 ./node_exporter --web.config=config.yaml
level=info ts=2020-05-26T17:50:12.123Z caller=node_exporter.go:177 msg="Starting node_exporter" version="(version=1.0.0, branch=HEAD, revision=b9c96706a7425383902b6143d097cf6d7cfd1960)"
level=info ts=2020-05-26T17:50:12.124Z caller=node_exporter.go:178 msg="Build context" build_context="(go=go1.14.3, user=root@3e55cc20ccc0, date=20200526-06:01:48)"
level=info ts=2020-05-26T17:50:12.130Z caller=node_exporter.go:105 msg="Enabled collectors"
...
level=info ts=2020-05-26T17:50:12.135Z caller=tls_config.go:200 msg="TLS is enabled and it cannot be disabled on the fly." http2=true
當你看到最后這句日志時,就說明你的 Node Exporter 已經啟用了 TLS 連接。
當然,我們也可以選擇手動驗證下:
# 直接 curl 請求
(MoeLove) ? prometheus-tls curl localhost:9100/metrics
Client sent an HTTP request to an HTTPS server.
(MoeLove) ? prometheus-tls curl https://localhost:9100/metrics
curl: (60) SSL certificate problem: self signed certificate
More details here: https://curl.haxx.se/docs/sslcerts.html
curl failed to verify the legitimacy of the server and therefore could not
establish a secure connection to it. To learn more about this situation and
how to fix it, please visit the web page mentioned above.
可以看到不能直接 curl 進行請求了,我們可以將證書傳遞給 curl ,用來驗證剛才的配置是否正確。
(MoeLove) ? prometheus-tls curl -s --cacert node_exporter.crt https://localhost:9100/metrics |grep node_exporter_build_info
# HELP node_exporter_build_info A metric with a constant '1' value labeled by version, revision, branch, and goversion from which node_exporter was built.
# TYPE node_exporter_build_info gauge
node_exporter_build_info{branch="HEAD",goversion="go1.14.3",revision="b9c96706a7425383902b6143d097cf6d7cfd1960",version="1.0.0"} 1
當然,除了通過 --cacert
參數將證書傳遞給 curl 外,也可以通過 -k
參數來忽略證書檢查。
(MoeLove) ? prometheus-tls curl -s -k https://localhost:9100/metrics |grep node_exporter_build_info
# HELP node_exporter_build_info A metric with a constant '1' value labeled by version, revision, branch, and goversion from which node_exporter was built.
# TYPE node_exporter_build_info gauge
node_exporter_build_info{branch="HEAD",goversion="go1.14.3",revision="b9c96706a7425383902b6143d097cf6d7cfd1960",version="1.0.0"} 1
配置 Prometheus 使用 TLS
接下來,我們就要配置 Prometheus 通過 HTTPS 從 Node Exporter 獲取指標了。安裝過程很簡單,無論直接下載最新的二進制版本,或是直接使用 Docker 鏡像均可。
注意,我這里把上文中簽發的證書復制到了當前目錄中。
(MoeLove) ? prometheus-2.18.1.linux-amd64 cp ~/prometheus-tls/node_exporter.crt .
(MoeLove) ? prometheus-2.18.1.linux-amd64 ls
console_libraries consoles LICENSE node_exporter.crt NOTICE prometheus prometheus.yml promtool tsdb
接下來,需要修改下配置文件,讓 Prometheus 可以抓取 Node Exporter 暴露的 metrics 。
global:
scrape_interval: 15s
evaluation_interval: 15s
scrape_configs:
- job_name: 'prometheus'
static_configs:
- targets: ['localhost:9090']
- job_name: 'node_exporter'
scheme: https
tls_config:
ca_file: node_exporter.crt
static_configs:
- targets: ['localhost:9100']
這里額外增加了 scheme: https
表示通過 HTTPS 建立連接,tls_config
中指定了所用的證書文件。完整的配置可以參考 官方文檔中對 tls_config 的說明 。
最后,啟動 Prometheus 并在瀏覽器中訪問 /targets
,如果你在 endpoint 中看到 https://localhost:9100/metrics
了,那么恭喜你,Prometheus 和 Node Exporter 已經通過 TLS 連接了。
添加 Basic Auth
上文中,我已經為你介紹了如何使用讓 Prometheus 和 Node Exporter 間使用 TLS 連接了,接下來,我為你介紹如何增加 Basic Auth 。
這里需要注意的是,Basic Auth 和 TLS 并不是強依賴的。你可以在不開啟 TLS 的情況下使用 Basic Auth ,但我個人建議,要做就做徹底點,同時啟用好了。
為 Node Exporter 配置密碼
我們直接可以使用 htpasswd
來生成 bcrypt 密碼 hash (這個工具想必大家不會太陌生)。
(MoeLove) ? prometheus-tls htpasswd -nBC 12 '' | tr -d ':\n'
New password:
Re-type new password:
$2y$12$WLw2sYa.NYZoBVoCOE84qe3xNm7kbSoKVIBXP.PvqNDna60vnZhEW
這里我只用它來生成了密碼 hash , 沒有傳遞用戶名。
接下來,修改上文中提到的 Node Exporter 所用的配置文件,如下:
tls_server_config:
cert_file: node_exporter.crt
key_file: node_exporter.key
basic_auth_users:
# 當前設置的用戶名為 prometheus , 可以設置多個
prometheus: $2y$12$WLw2sYa.NYZoBVoCOE84qe3xNm7kbSoKVIBXP.PvqNDna60vnZhEW
再次啟動 Node Exporter,并使用 curl 請求 metrics 接口,可以看到當前返回 401 。
(MoeLove) ? prometheus-tls curl -Ik https://127.0.0.1:9100/metrics
HTTP/1.1 401 Unauthorized
Content-Type: text/plain; charset=utf-8
Www-Authenticate: Basic
X-Content-Type-Options: nosniff
Date: Wed, 27 May 2020 11:45:16 GMT
Content-Length: 13
打開 Prometheus 的 Targets 頁面,也會看到當前提示 401 ,無法抓取 metrics 。
配置 Prometheus 使用 Basic Auth
接下來,只要修改 Prometheus 的配置文件,為其增加 basic_auth
的配置項即可。
global:
scrape_interval: 15s
evaluation_interval: 15s
scrape_configs:
- job_name: 'prometheus'
static_configs:
- targets: ['localhost:9090']
- job_name: 'node_exporter'
scheme: https
tls_config:
ca_file: node_exporter.crt
basic_auth:
username: prometheus
password: moelove.info
static_configs:
- targets: ['localhost:9100']
修改配置文件后,只要讓 Prometheus 重新加載配置文件即可:
(MoeLove) ? killall -HUP prometheus
現在刷新 Prometheus 的 Targets 頁面,就可以看到已經正常抓取 metrics 了。
總結
本文介紹了如何開啟 Prometheus 和 Node Exporter 之間的 TLS 連接, 以及開啟 Node Exporter 的 Basic Auth 認證。 在此之前,可能有小伙伴是通過加反代來完成的,比如: 給 Node Exporter 加上 Basic 認證
在生產中使用時,建議更加規范化操作,比如 CA 的選擇,密碼的管理等,比如 Node Exporter 的 Basic Auth 其實支持配置多個用戶名密碼的。
接下來,在 Prometheus 官方提供的基礎組件中,都將逐步推進本文中所提到的這類安全特性的支持,包括 Prometheus,Alertmanager, Pushgateway 和官方 exporter ,后續社區提供的 exporter 大概率也會逐步跟進的。
最后,再次恭喜 Node Exporter 迎來了 v1.0.0 版本。
歡迎訂閱我的文章公眾號【MoeLove】