Prometheus 收集 Docker 信息時(shí)，通常使用 cAdvisor（Container Advisor）作為收集器。cAdvisor 是一個(gè)開(kāi)源的工具，專門(mén)用于收集容器運(yùn)行時(shí)的資源使用情況和性能數(shù)據(jù)，支持 Docker 容器。它能夠監(jiān)控 CPU、內(nèi)存、網(wǎng)絡(luò)、磁盤(pán) I/O 等多種指標(biāo)，并將這些數(shù)據(jù)暴露為 Prometheus 可以抓取的指標(biāo)。
官方地址：
https://github.com/google/cadvisor
在CentOS上運(yùn)行參考地址：
https://github.com/google/cadvisor/blob/master/docs/running.md
運(yùn)行 cAdvisor 容器
你可以通過(guò) Docker 啟動(dòng)一個(gè) cAdvisor 容器
命令如下：
docker run \
--volume=/:/rootfs:ro \
--volume=/var/run:/var/run:ro \
--volume=/sys:/sys:ro \
--volume=/var/lib/docker/:/var/lib/docker:ro \
--volume=/cgroup:/cgroup:ro \
--publish=8080:8080 \
--detach=true \
--restart unless-stopped \
--name=cadvisor \
google/cadvisor:latest
在 Docker 中，--volume（或者簡(jiǎn)寫(xiě)為 -v）選項(xiàng)用于將宿主機(jī)的文件或目錄掛載到容器中。這里的命令示例中使用了多個(gè) --volume 選項(xiàng)，每個(gè)選項(xiàng)都將宿主機(jī)上的目錄或文件掛載到容器內(nèi)的某個(gè)位置。以下是這些掛載的含義：
如：--volume=/:/rootfs:ro：
- 宿主機(jī)路徑：/ （根目錄）
- 容器內(nèi)路徑：/rootfs
- 掛載模式：ro （只讀）
- 含義：將宿主機(jī)的根文件系統(tǒng)以只讀模式掛載到容器的 /rootfs 目錄中。這樣容器能夠訪問(wèn)宿主機(jī)的所有文件系統(tǒng)結(jié)構(gòu)，但不能進(jìn)行任何修改。
其他目錄：
- /var/run： 通常包含一些運(yùn)行時(shí)的進(jìn)程和服務(wù)相關(guān)的文件，如 Docker 守護(hù)進(jìn)程的 Unix socket，這樣容器可以讀取這些文件，但無(wú)法修改。
- /sys： 文件系統(tǒng)是 Linux 中用于存儲(chǔ)和訪問(wèn)系統(tǒng)設(shè)備的信息和狀態(tài)的虛擬文件系統(tǒng)，通過(guò)只讀方式掛載，可以讓容器獲取系統(tǒng)的狀態(tài)信息。
- /var/lib/docker：宿主機(jī)的 Docker 數(shù)據(jù)目錄（存放容器、鏡像、網(wǎng)絡(luò)等信息），cAdvisor 通過(guò)訪問(wèn)這個(gè)目錄，可以獲取有關(guān) Docker 容器的信息。
- cgroup 是 Linux 內(nèi)核提供的一種機(jī)制，用于對(duì)系統(tǒng)資源（CPU、內(nèi)存、I/O 等）進(jìn)行分組管理和限制，通過(guò)訪問(wèn) cgroup 文件系統(tǒng)，cAdvisor 可以獲取和監(jiān)控容器的資源使用情況。
查看指標(biāo)
啟動(dòng) cAdvisor 后，它會(huì)在 http://<cAdvisor_host>:8080/metrics 路徑下暴露所有收集的指標(biāo)數(shù)據(jù)。Prometheus 將按照配置的抓取間隔自動(dòng)抓取這些指標(biāo)。
如：
- http://192.168.31.77:8080/metrics
- http://192.168.31.77:8080/containers/
- http://192.168.31.77:8080/containers/docker
在 Prometheus 中配置抓取
在 Prometheus 的配置文件 prometheus.yml 中，添加一個(gè) scrape job 來(lái)抓取 cAdvisor 暴露的指標(biāo)。比如：
scrape_configs:
- job_name: 'cadvisor'
static_configs:
- targets: ['<cAdvisor_host>:8080']
重啟容器：
docker restart prometheus
prometheus 也是docker安裝的
查看：
Grafana可視化配置
要在 Grafana 中展示 cAdvisor 收集的 Docker 容器信息，可以使用以儀表盤(pán)模板。這些模板已經(jīng)預(yù)先配置好，可以直接導(dǎo)入并使用，從而快速開(kāi)始監(jiān)控 Docker 容器的資源使用情況。
使用模板
在儀表盤(pán)中選擇新建 -> 導(dǎo)入，填如復(fù)制的模板ID，選擇數(shù)據(jù)源，保存
搜索模板：
https://grafana.com/grafana/dashboards/?search=Docker
通過(guò)關(guān)鍵詞如 "Docker" 或 "cAdvisor" 進(jìn)行搜索
可用模板如：
- cAdvisor Dashboard
- ID: 19792
- Docker Dashboard for Prometheus 中文版
- ID：11558
- Docker overview with Cadvisor + docker state exporter + node exporter
- ID：21154
- Docker and system monitoring
- ID: 893
- Docker Swarm and Containers
- ID：609
- docker container & OS node(node_exporter, cadvisor)
- ID: 16314
- 中文 docker 容器 cadvisor 和主機(jī)指標(biāo)面板
- 主機(jī)指標(biāo) ( 可綁定到主機(jī)，需要 node-exporter 的 instance 標(biāo)簽值與 cadvisor 的 instance 標(biāo)簽值相同 )
將 cadvisor 與 node_exporter 指標(biāo)關(guān)聯(lián)
有的面板可以同時(shí)監(jiān)控 cadvisor 和 node_exporter 指標(biāo)，如需將 cadvisor 與 node_exporter 指標(biāo)關(guān)聯(lián)，需要將 cadvisor 和 node_exporter 的 instance 標(biāo)簽設(shè)置為相同的值 ( 例如主機(jī)名、ip地址等 )
cAdvisor 和 node_exporter 是常用的兩個(gè)數(shù)據(jù)源。cAdvisor 用于監(jiān)控 Docker 容器的資源使用情況，而 node_exporter 用于監(jiān)控主機(jī)級(jí)別的系統(tǒng)資源（如 CPU、內(nèi)存、磁盤(pán)等）。
為了在同一個(gè) Grafana 面板中同時(shí)展示這兩者的數(shù)據(jù)，并確保它們的監(jiān)控?cái)?shù)據(jù)能夠正確關(guān)聯(lián)起來(lái)，你需要確保這兩個(gè)數(shù)據(jù)源的 instance 標(biāo)簽具有相同的值。通常這個(gè)值是主機(jī)名或 IP 地址。
如何設(shè)置 instance 標(biāo)簽為相同值
你需要在 prometheus.yml 配置文件中使用 relabel_configs 來(lái)覆蓋 instance 標(biāo)簽的默認(rèn)值。
找到配置 cAdvisor 和 docker宿主機(jī)Node Exporter 的抓取任務(wù)的部分，并添加 relabel_configs 來(lái)替換 instance 標(biāo)簽的。
如：
# 監(jiān)控Docker宿主機(jī)主機(jī)的 Node Exporter
- job_name: 'docker_node_exporter'
static_configs:
- targets: ['192.168.31.77:9100']
relabel_configs:
- target_label: instance
replacement: 'DockerHost'
# 監(jiān)控Docker相關(guān)信息
- job_name: 'cadvisor'
static_configs:
- targets: ['192.168.31.77:8080']
relabel_configs:
- target_label: instance
replacement: 'DockerHost'
- target_label 指定要替換或設(shè)置的目標(biāo)標(biāo)簽。在這個(gè)例子中，instance 標(biāo)簽就是我們要替換的目標(biāo)標(biāo)簽。
- replacement 定義了 target_label 標(biāo)簽的新值。在這個(gè)例子中，我們將 instance 標(biāo)簽的值設(shè)置為 'DockerHost'。
重啟
docker restart prometheus
在 Prometheus 的 Status -> Targets 中查看
這樣 cAdvisor 的 instance 標(biāo)簽將與 宿主機(jī)的 node_exporter 的 instance 標(biāo)簽一致。
展示效果如：
